robots.txt协议？

　　官方解答：robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

　　推56论坛答：几乎所有搜索引擎都遵循这一协议。SEO教程-推56论坛-王宝臣理解robots.txt最大的作用对于一些电子商务网站，比如网站的会员帐号密码。一些交易类网站的现金资料这类程序页面肯定是不能让被抓取的。例：http://wwww.178pua.com/robots.txt 这是王宝臣独立博客的robots.txt设置。其次robots.txt里面可以放上网站地图。方面搜索引擎蜘蛛抓取。（搜索蜘蛛先查询你有没有robots.txt文档。里面可以写上robots.txt 例:http://www.178pua.com/sitemap.html） PUA网站地图.