Ben Welsh 列出了阻止 OpenAI 爬虫的新闻机构的列表：
homepages.news 档案调查的 1,147 家新闻出版商中，总共有 532 家指示 OpenAI、Google AI 或非营利组织 Common Crawl 停止扫描其网站，占样本的 46.4%。
这三个组织系统地抓取网站，收集信息，为 OpenAI 的 ChatGPT 和 Google 的 Bard 等生成式聊天机器人提供动力。发布商可以通过 robots.txt 约定选择退出，请求排除其内容。
在网络上，过去你会编写或制作一些东西，并且会有一个指向该东西的链接。其他网站可以链接到这个东西，人们就会去那个有这个东西的地方。随着最近的人工智能浪潮，很多东西最终都消失在别处，没有人看到原来的地方。
未来的欢乐时光。
原文： https://flowingdata.com/2023/10/09/news-organizations-blocking-openai/