从本质上来讲，阻止Web 爬虫就意味着你需要让脚本和机器难以从你的网站上获取它们所需的数据，但不能让那些真正的用户和搜索引擎爬取数据变得困难。 然而不幸的是，要做到这一点很难，你需要在防止Web 爬虫和降级真实用户和搜索引擎的可访问性之间进行权衡。 为了阻止Web 爬虫（也称为Webscraping，Screenscraping，...
从本质上来讲，阻止Web 爬虫就意味着你需要让脚本和机器难以从你的网站上获取它们所需的数据，但不能让那些真正的用户和搜索引擎爬取数据变得困难。 然而不幸的是，要做到这一点很难，你需要在防止Web 爬虫和降级真实用户和搜索引擎的可访问性之间进行权衡。 为了阻止Web 爬虫（也称为Webscraping，Screenscraping，...
