准确模拟Google机器人

Google 抓取工具

“抓取工具”是一个通用名称，泛指通过跟踪从一个网页指向另一个网页的链接，从而自动发现并扫描网站的程序（如漫游器或“蜘蛛”程序）。Google 的主要抓取工具称为 Googlebot。此表格列出了在引用页日志中常能见到的 Google 抓取工具的相关信息，以及在 robots.txt、漫游器元标记和 X-Robots-Tag HTTP 指令中指定这些抓取工具应采用的方法。

https://support.google.com/webmasters/answer/1061943?hl=zh-Hans