2017
11-14
11-14
robots.txt协议？ NEW
官方解答：robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 推56论坛答：几乎所有搜索引擎都遵循这一协议。SEO教程-推56论坛-王宝臣理解robots.txt最大的作用对于一些电子商务网站，比如网站的会员帐号密码。一些交易类网站的现金资料这类程序页面肯定是不能让被抓取的。例：http://wwww.178pua.com/robots.txt 这是王宝臣独立博客...
Read More >