大家知道robots.txt是什么。 这里再详细介绍下： 搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。 搜索引擎机器人每次来到要抓取的网站，都会先访问这个网站...