什么是robots.txt？robots.txt（又称“爬虫协议”或“机器人协议”）是一个存放在网站根目录下的纯文本文件，它的作用是告诉搜索引擎的爬虫（如Googlebot,Baiduspider等）网站中哪些页面可以抓取，哪些页面...
