2025 年 4 月 7 日备注

如果您是一家初创公司，运行自己的爬虫程序来收集出于任何目的的数据，那么您应该努力避免提高您正在抓取的网站的成本，从而使世界变得更糟。

当维基百科提供全面的批量下载选项时，确实没有理由抓取维基百科（“我们最昂贵的流量中 65% 来自机器人”）。

做得更好！

标签：爬行,杰里米-基思,维基百科,人工智能伦理,人工智能

原文： https://simonwillison.net/2025/Apr/7/crawlers/#atom-everything