当前位置 : 金戈铁马SEO培训 / 网站优化培训

关于robots能否替代nofollow的问题

金戈铁马SEO培训   http://www.yueseo.com.cn/   January-21 11:21:54

     以前觉得,网页上面不需要的URL,我用robots屏蔽就行了。可是事实上并不是这样。在GWT的Crawl Errors中,会出现Restricted by robots.txt这样的错误。很奇怪,我用robots屏蔽了,为何还算做crawl errors呢?

     我拿我自己的网站为例,我们的内页是www.mydomain.com/A/1.html
     在这个页面上有很多链接,其中有
     www.mydomain.com/A/1/similar1.html
     www.mydomain.com/A/1/similar2.html
     这两个链接是我不想让搜索引擎爬行的。


     原先只有similar1.html在网页上出现,我用robots屏蔽后,GWT里面出现了很多REstricted by robots.txt这样的错误,错误的链接都是/A/*/similar1.html
    然后再之后一次网站改版时,我将这个链接nofollow掉了,但是为了实现某些功能,前台程序员们又加上了www.mydomain.com/A/1/similar2.html这样的链接,我在第一时间内将其robot.txt。然后这时候我回头看GWT里面的crawl errors。所有的Restricted by robots.txt的条目都变成了similar2.html,而原先的similar1.html消失了。

       我记得国平老师似乎曾经说过,就算你用robots.txt禁止了某类URL,蜘蛛依旧会去探测这个URL。同时Google官方也确认,网站的每日爬行数量和PR有一定关系,那在我PR一定的情况下,我每天被爬行的URL数量是一个差不多定值。然后这类被robots.txt禁止的URL被蜘蛛探测,依旧会占用其他正常URL的探测机会。只有当使用了nofollow后,才能让蜘蛛彻底的不理睬这个URL,放在我上面的例子中来说,当蜘蛛来到/A/1.html页面后,它检查这个页面的链接信息,发现了similar1.html和similar2.html这两个URL,如果没有nofollow,那它会探测这两个URL, 当发现这两个URL被robots禁止后,会返回google官方服务器一个数据,这两个URL不能爬行。但是如果加上了nofollow,那蜘蛛可能连探测都不会去探测它是否遵循robots.txt,而是直接去请求下面的链接了。


      因此nofollow的运用,是提高蜘蛛效率的最佳工具,而robots.txt和meta标记,只是为了减少网页重复和垃圾信息的量。可以说是完全两个用途。当然,配合起来使用,可以让网站被搜索引擎爬行得更多,更好。


本文来自金戈铁马SEO培训网(www.Yueseo.com.cn),转摘请注明出处。

欧阳淳老师

欧阳淳SEO语录

体验版课程下载

最新文章