为了处理成百万的包含在万维网上的网页，搜索引擎公司已经几乎完全使得这个程序自动化了。搜索引擎有一个强盛的网页收集器，一般称为“网络蜘蛛”，也有叫“蜘蛛人”。 网络蜘蛛技术并不是一项十分高深的技术，但要做一个强盛的网络蜘蛛，却非易事。那么“蜘蛛人”又是如何工作的呢？情况是这样，每隔一段时间，“蜘蛛人”就会沿着自己的路线搜索一次，就像在网上爬行。蜘蛛人爬到某一个网页后，它的内容要变成一个模板，当使用者询问搜索引擎的时候，会很轻易找到，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来，把整个互联网很像蜘蛛网，蜘蛛所行路线我们无法百分之百猜测，只能是做好一切预备工作，守株待兔，等待“蜘蛛人”的光临。还有良多别的方法蜘蛛人不喜欢。好比，相同网址上的网页有超过一百个超链接会使得他们看一眼就累了。蜘蛛人不会追随这些链接。作为一个站长，假如想进步提高网站权重，必需要了解“蜘蛛人”的行踪，“蜘蛛人”只能读懂文本内容，flash、淘宝商城图片等非文本内容它是看不到的。当我们和搜索引擎逐渐培养起感情之后，它就会天天光临我们网站，常常抓取我们的网页。但是需要提醒大家一点，“蜘蛛人”很希奇，就像人一样，可谓是“明察秋毫”，眼里不揉沙子。建议大家多多增加原创的文章，增加网站权重，到更新快的地方发布围绕关键字相关内容的信息网站发你网站链接，让百度蜘蛛能够从多个地方找到你的网站上去。蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继承抓取在此网页中链接的所有网页。 另外我想告诉大家的是，就算是我们百分之百了解“蜘蛛人”，也不可能是安枕无忧、稳操胜券。由于“蜘蛛人”是我们无法掌控的，它随时在变，我们只有紧跟，才能受益。 本文由：时尚女装http://shop.tiancn.net 转载请保留版权!