专业研究网站优化SEO培训技术,打造国内一流网站优化SEO技术基地!

网站地图 | 网站首页 | 网站内容

八零网优

专业的SEO技术团队

您现在的位置:主页 > SEO日记 > >
技术QQ:375543836电话:010-59793436

SEO培训课程

在此特别感谢《优客住处发而引擎》对本网站优化的大力支持,帮助众多的学员做到搜索引擎关键词第一

SEO培训高级班

SEO培训精英班

SEO培训基础班

SEO培训报名:010-59793436

上班时间周一至六:09:00-18:00

北京网站优化在分析网站日志时发现蜘蛛每天都会在网站抓取


八零网优SEO培训http://www.seooy.com/

第一:被robots.txt文件屏蔽。北京网站优化在分析网站日志时发现蜘蛛每天都会在网站抓取,但是网站依然是收录不充分,这时我们很有必要检测网站的robots文件,站长们都知道蜘蛛来网站抓取时,首先会检索网站是否存在robots文件,查看网站是否已经存在不需要抓取的页面,看文件中是否阻止了网站中某部分内容,很多站长因为不会正确的写robots文件,导致网站不能被充分的收录。对于很多新手站长不知道如何写文件,可以利用百度站长工具robots文件功能,可以检测你的文件写法是否正确,或者可以直接帮你生成文件,需要你填写屏蔽的文件路径即可。如下面的例子:
  User-agent: *
  Disallow: /news / 不允许所有的搜索引擎抓取news路径下的内容
如果某网站上添加了上面的文件,蜘蛛并不会抓取网站上在news路径下的内容,网站在news目录下更新的文章永远不会被收录,网站更新再多的文章,访问日志中蜘蛛每天都来抓取,但是对于这些内容还是不会给予收录。但是对于网站来说news下的内容是很重要的,这样错误的robots文件并是网站不能被充分收录的幕后黑手。
第二: robots meta标签禁止,网站在诊断的过程中,发现网站的实际收录率很低,网站有的栏目页可以被收录完整,但是有的栏目页更新原创的文章,也不会被收录,之后在检查网站代码时才发现,页面上使用了 noindex标签告诉蜘蛛不允许索引这个页面,显然保护这段代码的栏目页不会被收录,更新的内容即使质量再高也不会被抓取。同时,nofollow标签告诉蜘蛛此页面上的链接不传递权重,如果网站上的页面链接都带有nofollow,那这就是明显的告诉搜索引擎此页面没有任何价值。如果你的站遇到不能被充分收录,检查下meta标签,是否存在错误的标签。

你现在的位置: SEO首页 SEO培训 SEO日记 SEO工具 SEO入门 SEO服务 百度网站优化 关于我们 联系我们 网站地图

京ICP备09057209号

Copyrigh 版权所有 八零网优

北京市海淀区马连洼北路128号晨光物业202室

SEO-北京SEO培训-北京网站优化培训-网站优化SEO技术基地

技术QQ:375543836 联系方式:010-82758252 59793438 传真:010-59799984