robots.txt，是一个给爬虫下指令的文本文件，能让其合理地抓取网站内资源，而且可以将网站不重要的内容、模块等进行屏蔽，从而抓取更多有价值高质量的内容和网页，提高网站排名。大多数网站都可以通过网址/robots.txt进行获取， 还是拿掘金来举例：
网址/robots.txt