当前位置 : 金戈铁马SEO培训 / SEO培训资料

搜索引擎中蜘蛛的设计分析

金戈铁马SEO培训   http://www.yueseo.com.cn/   December-1 15:27:46

关于搜索引擎中蜘蛛的设计分析,说的简单易懂一些,网络爬虫跟你使用的〖离线阅读〗工具差不多。

1.url 的遍历和纪录

2.多进程 VS 多线程

3.时间更新控制

4.爬的深度

5.爬虫一般不直接爬对方的网页,一般是通过一个Proxy出去,这个proxy有缓解压力的功能,因为当对方的网页没有更新的时候,只要拿到 header 的 tag就可以了,没有必要全部传输一次了,可以大大节约网络带宽。

6.请有空的时候照看一下robots.txt

7.存储结构。

网页更新频度严重影响着搜索引擎蜘蛛程度对网站的爬行,爬取次数越多意味着网页收录几率会越大、收录数量越多,收录是SEO最基础的一个环节。

尽量将网站保持在三级目录内,深层次的网页会给搜索引擎带来很大的压力,当然,我想Google有足够的服务器来承担这些压力,但从侧面来说,3层目录下的网页被抓取及更新的频度要低很多。前面,我说过,要想办法使网站物理结构和逻辑结构吻合,这体现于URL的良好设计,现在你可以检查下前台生成的静态网页的实际目录有几层,考虑是否可以优化。


本文来自金戈铁马SEO培训网(www.Yueseo.com.cn),转摘请注明出处。

欧阳淳老师

欧阳淳SEO语录

体验版课程下载

最新文章