今日，站长之家用户wxg8899通过新浪博客robots.txt文件发现，新浪已经在robots.txt文件中设置相关命令，屏蔽百度的蜘蛛爬虫，禁止百度蜘蛛获取网页信息。这也意味着，通过新浪博客获取百度外链的方式将不可取了。[/url] 长期以来新浪博客因其高PR、收录快的特点，一直被许多站长视为增加网站外链的宝地。新浪博客一度成为了外链推广基地，被站长作为增加外链的最好途径之一。不过这也导致了新浪博客存在大量的软文和垃圾内容。而新浪博客屏蔽百度蜘蛛将有利于改善这一问题，减少无价值内容的产生。 新浪博客robots.txt文件内容： ##################################################### # SINA BLOG 禁止搜索引擎收录配置文件 # 文件： ~/robots.txt # 编写： 阿狼 # 日期： 2005-03-24 ##################################################### #开放百度的搜索引擎的User-Agent代码，*表示所有########### User-agent: Baiduspider #限制不能搜索的目录，Disallow: 为空时开放所有目录#### Disallow: /admin/ Disallow: /include/ Disallow: /html/ Disallow: /queue/ Disallow: /config/ #限制的搜索引擎的User-Agent代码，*表示所有########### User-agent: * #临时限制对所有目录的禁止抓取 Disallow: / #限制不能搜索的目录，Disallow: 为空时开放所有目录#### ##Disallow: /admin/ ##Disallow: /include/ ##Disallow: /html/ ##Disallow: /queue/ ##Disallow: /config/ #开放搜索的目录有#################################### # / # /advice/ # /help/ # /lm/ # /main/ # /myblog/ #搜索引擎User-Agent代码对照表######################## # 搜索引擎 User-Agent代码 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu