 |
| 汤姆科瓦普 CC-BY-SA 4.0 |
最近占据网络的大部分讨论都是由大型语言模型(LLM) 的出现引发的。其中很大一部分一直在大肆宣传他们承诺的人类生产力的巨大提高，并掩盖由此导致的喋喋不休和编程课程的失业。但较小的负面报道，虽然承认失业，但集中在“奇点”的风险上，即这些人工智能将对我们造成HAL 9000 ，并使人类过时[0]的想法。
我对 ChatGPT 消息的第一反应是告诉朋友们“终于，我们解决了费米悖论” [1] 。并不是我害怕被告知“这个任务对我来说太重要了，不能让你危及它”，而是我假设整个银河系的文明进化到能够实施类似 ChatGPT 的系统，而这些系统已经无可挽回地发展了污染他们的信息环境，阻止任何进一步的进步。
在首屏之下，我解释了为什么我的在线经历，从 80 年代初期的Usenet开始，让我相信这些 AI 对人类的生存威胁来自史蒂夫班农和他的同类，他们用狗屎充斥着这个区域[2] 。
《经济学人》 4 月 22 日版有一位领袖、一篇深思熟虑的文章和整个关于 AI 的科学技术部分。
 |
| 来源 |
在How generative models could go wrong中，他们承认 HAL 9000 问题：
2022 年 8 月，美国研究小组 AI Impacts 发布了一项调查，询问了 700 多名机器学习研究人员关于他们对 AI 进展和该技术可能带来的风险的预测。典型的受访者认为高级人工智能有 5% 的可能性导致“极其糟糕”的结果，例如人类灭绝（见图表）。斯坦福大学人工智能专家李飞飞谈到了人工智能的“文明时刻”。另一位 AI 大佬多伦多大学的 Geoff Hinton 在被美国电视网问及 AI 是否会消灭人类时，回答说这“并非不可想象”。
这篇文章正确地指出，这种风险超出了当前的技术水平：
但在 GPT-4、LLM du jour 及其生成类的特定背景下，谈论存在风险似乎相当荒谬。他们创作散文、诗歌和代码；它们生成图像、声音和视频；他们根据模式做出预测。很容易看出，这些能力带来了巨大的恶作剧能力。正如夸张的批评者所警告的那样，很难想象它们会支撑“控制文明的力量”，或“取代我们”。
我同意 AI 专家的观点，即 HAL 9000 问题是一个值得考虑的存在风险。为了让人类遇到它，社会不仅需要在一系列其他存在的风险中幸存下来，这些风险的导火索要短得多，而且还需要有能力使快速的技术进步不受损害。而这个粗略段落中的问题将使这些风险变得更糟：
最直接的风险是 LLM 可能会放大当今互联网上可能发生的那种日常伤害。可以令人信服地模仿各种风格的文本生成引擎非常适合传播错误信息、骗取人们的钱或说服员工点击电子邮件中的不可靠链接，从而用恶意软件感染他们公司的计算机。聊天机器人也被用来在学校作弊。
这些更紧迫的生存风险包括气候变化、流行病和好战的威权政府的崛起。那些加剧他们使用的关键技术是“传播错误信息”。布赖恩·斯特尔特 (Brian Stelter) 解释了班农2018 年对著名作家迈克尔·刘易斯 (Michael Lewis) 的忏悔：
“民主党人不重要，”班农告诉刘易斯。 “真正的反对者是媒体。对付他们的方法就是用粪便淹没这个区域。”
这就是班农的商业模式：淹没该区域。把关节弄臭。正如乔纳森·劳赫 (Jonathan Rauch) 曾引用班农 (Bannon) 臭名昭著的名言所说：“这不是说服：这是迷失方向。”
班农的话与 2004 年罗恩·萨斯金德 (Ron Susskind) 所说的“布什高级顾问”的一句话有关：
助手说，像我这样的人“处于我们所说的基于现实的社区”，他将其定义为“相信解决方案来自于对可识别现实的明智研究”的人。 ……“这不再是世界真正运作的方式，”他继续道。 “我们现在是一个帝国，当我们采取行动时，我们创造了我们自己的现实。当你在研究那个现实时——你会明智地——我们会再次行动，创造其他新的现实，你可以也学习，事情就会这样解决。我们是历史的演员……而你们，你们所有人，将只能研究我们所做的事情。”
这篇文章承认了这个问题：
在许多应用程序中，喷出似是而非的谎言的倾向是一个错误。对于某些人来说，它可能证明是一个功能。深度造假和捏造诽谤政客的视频仅仅是个开始。预计这些模型将用于按需建立恶意影响网络，包括虚假网站、Twitter 机器人、Facebook 页面、TikTok 提要等等。斯坦福互联网观察站的 Renée DiResta 警告说，虚假信息的供应“很快就会变得无穷无尽”。
这种对公开辩论可能性的威胁可能不是存在的威胁；但这令人深感不安。它让人想起豪尔赫·路易斯·博尔赫斯 (Jorge Luis Borges) 的短篇小说《巴别塔图书馆》。图书馆包含所有曾经写过的书，但也包含所有从未写过的书、错误的书、胡说八道的书。重要的一切都在那里，但因为其他一切而无法找到；图书管理员们被逼疯了和绝望了。
 |
| 来源 |
我不同意“对公开辩论的可能性的威胁”是不存在的。知情的公开辩论是社会在其面临的生存威胁中幸存下来的必要条件，但不是充分条件。一个例子是美国对 COVID 大流行的反应持续失败[3] 。随着病毒消退，Covid 仍然是导致死亡的主要原因Dan Diamond 写道 [我的重点]：
联邦卫生官员表示，covid-19 仍然是美国的主要死亡原因之一，平均每天约有 250 人死亡，其中大多数是老年人和免疫功能低下的人。
然而，很少有美国人将其视为头号杀手——部分原因是他们没有听说过这些数字，不相信它们，或者认为它们与自己的生活无关。
…
该病毒造成的实际死亡人数仍然是一个激烈争论的话题。自大流行初期以来，怀疑论者就认为医生和家庭有动机高估病毒死亡人数，并指出疾病控制与预防中心在报告大量 covid 数据的方式上存在错误。今年早些时候，Leana Wen 在华盛顿邮报发表的一篇专栏文章支持了这些论点，该专栏认为美国最近的 covid 死亡人数被夸大了，因为包括死于 covid 的人以及死于 covid 的人——例如，枪击受害者也检测呈阳性病毒——这一结论得到了大流行反应的批评者的呼应，并在保守的网络上得到了放大。
该区域充斥着关于羟氯喹、漂白剂、疫苗引起的“ 猝死”等等的废话[4] 。
 |
| 来源 |
这篇文章的论点首先描述了更早的技术革命的影响：
约翰内斯·古腾堡 (Johannes Gutenberg) 对活字印刷术的开发，在某个时间或其他时间，对随后几个世纪中成长起来的生活的几乎每一个方面都负有责任。它改变了上帝与人、男人与女人、过去与现在之间的关系。它允许意见的大量传播、官僚机构的系统化和知识的积累。它带来了知识产权的概念及其盗版的可能性。但正是这种广度使得比较几乎不可避免。正如加州大学伯克利分校的经济历史学家 Bradford DeLong 所说，“这是我们拥有的唯一一件真实的东西，创造信息的价格下降了一个数量级。”
许多关于古腾堡影响的评论，包括这篇文章，都强调书籍。但对社会的更大影响来自宣传小册子，这些小册子制作成本更低，发行范围更广。活字印刷革命的经济学极大地影响了高质量内容的制作，但它对低质量内容的制作影响更大。解释很简单，出版和发行的原始成本在传播低质量内容的总成本中所占比例要大得多。更高质量的内容在发布和分发之前创建内容的人力和其他成本要高得多。
最初，当一种新的、更具成本效益的媒体可用时，内容质量很高，因为早期采用者重视新体验并努力使用它。但是随着低成本的广为人知，质量开始下降。我们已经多次看到这种效果。我的第一个是Usenet新闻组。我是 Usenet 的早期采用者，当我在X Window 系统上工作时，我发现“xpert”新闻组是与系统的早期采用者交流的宝贵资源。但是随着音量的增加，信噪比迅速下降，这变成了浪费时间。 Usenet 实际上是商业垃圾邮件的先驱，它迁移到电子邮件中，提供了另一个信噪比快速衰减的例子。
完全相同的现象降低了学术出版的质量。当斯坦福大学的 Highwire Press 于 1995 年率先将学术期刊从纸质期刊转变为网络期刊时，发行成本几乎被消除，但同行评审、复制编辑、图形等成本几乎没有受到影响。在谁付钱时，吹笛者将曲调称为Jim O’Donnell 写道：
可以说，科学和学术出版的模式正在发生根本性的变化。曾几何时，商业模式很简单：发表高质量的文章并说服尽可能多的人订阅他们出现的期刊，并在市场能够承受的范围内提高价格。我们都非常清楚它是如何工作的。
但现在出现了另一种模式：向发表文章的人收费，然后免费赠送。这意味着根本性的变化是，无论市场承受多少，收入的增加仍将来自收费，但现在搜索不是为了更多的订阅者，而是为了更多的作者。当然，同行评审会侵入这种模式，但如果您可以，例如，将您出版的期刊通过同行评审的文章数量增加一倍，您的总收入就可以增加一倍。以前情况大多不是这样，除非出版商有空间按比例提高订阅价格。这里有一个湿滑的斜坡。掠夺性期刊已经越过那个斜坡的边缘，在山脚下闷烧成一堆，但对他们中的最好的人来说，立足点可能会变得危险。
带有“作者处理费”的开放获取在竞争中胜过了订阅模式。由于 Web 消除了页数和印刷时间表强加的文章速率限制，它启用了掠夺性开放获取期刊业务模型。所以现在人们很难“自己做研究”来判断那些看起来像期刊并声称“经过同行评审”的东西是真实的，还是付费玩的垃圾[5] 。正如班农在他的语境中所解释的那样，结果是迷失方向、混乱，并增加了坏人可以利用的空间。
政府对人工智能“对公开辩论的可能性构成威胁”（以及对他们对人口信息环境的控制）的回应是提出监管。以下是欧盟和中国政府[6] 。在题为The Luring Test：AI 和消费者信任工程的博文中，FTC 的 Michael Atleson 发出了威胁性的声音：
许多商业参与者对这些生成式 AI 工具及其利用不劳而获的人类信任的内在优势感兴趣。对其恶意使用的担忧远远超出了 FTC 的管辖范围。但 FTC 关注的一个关键问题是，公司有意或无意地以不公平或欺骗性的方式使用它们，引导人们在金融、健康、教育、住房和就业等领域做出有害的决定。考虑使用生成式人工智能的新用途的公司，例如为特定的人或群体定制广告，应该知道诱使人们做出有害选择的设计元素是 FTC 案例中的常见元素，例如最近与金融提议有关的行动， 在-游戏购买，并试图取消服务。
拜登政府会见了科技公司的首席执行官，这是确保不实施有效监管的可靠方式。这些公司通过部署尚未准备就绪的系统并解雇他们的 AI 道德团队来应对感知到的竞争威胁。我们应该非常担心 Geoffrey Hinton 退出 Google，因为：
他说，直到去年，谷歌一直是该技术的“适当管家”，小心翼翼地不发布可能造成伤害的东西。但现在微软已经通过聊天机器人增强了其 Bing 搜索引擎——挑战谷歌的核心业务——谷歌正在竞相部署同类技术。 Hinton 博士说，科技巨头陷入了一场可能无法停止的竞争。
换句话说，谷歌在第一次出现竞争迹象时就放弃了他们以前负责任的做法。处于这种恐慌状态的公司不会注意政府的温和建议。
 |
| 来源 |
部分问题是类似于加密货币、不可替代代币和Web3中的巨大泡沫。与这些技术一样，AI 对监管有抵抗力，就像加密货币一样，这是 VC 的“下一件大事”，因此部署将获得大量资金并拥有大量游说资源。就像加密货币一样，坏人会比监管者更快[7] 。
而现在，来自谷歌内部的一份引人入胜的泄密事件表明，政府、风险投资公司甚至科技巨头的行为根本无关紧要。必读的《我们没有护城河》：Dylan Patel 和 Afzal Ahmad 的 OpenAI 也没有发布匿名文档：
虽然我们的模型在质量方面仍然略有优势，但差距正在以惊人的速度缩小。开源模型更快、更可定制、更私密且功能更强大。他们用 100 美元和 13B 的参数做事，而我们在 1000 万美元和 540B 的参数下苦苦挣扎。他们在几周内完成，而不是几个月。这对我们有深远的影响：
- 我们没有秘方。我们最大的希望是学习 Google 以外其他人正在做的事情并与之合作。我们应该优先考虑启用 3P 集成。
- 当免费的、不受限制的替代品在质量上具有可比性时，人们不会为受限制的模型付费。我们应该考虑我们真正的增值在哪里。
- 巨型模型正在减慢我们的速度。从长远来看，最好的模型是那些可以快速迭代的模型。既然我们知道在 <20B 参数范围内有什么可能，我们应该做一些小的变体而不是事后才想到。
…
最重要的是，他们已经解决了任何人都可以修补的扩展问题。许多新想法都来自普通人。培训和实验的门槛已经从一个主要研究机构的总产出下降到一个人、一个晚上和一台功能强大的笔记本电脑。
作者的目的是警告谷歌来自开源 AI 的竞争威胁，从而显着增加恐慌程度。作者认为，开源 AI 因 Facebook 发布 LLaMA 及其数据而加速，此后取得了非常迅速的进展。个人触手可及的硬件和软件资源可以达到接近 ChatGPT 和 Bard 的结果，这需要云级别的投资。
公司可以争辩说他们的人工智能在某些方面会更好，例如在产生更少的“幻觉”方面，但如果竞争接近，他们就无法从他们的巨额投资中获得回报（微软在 1 月份向 Open AI 投资了 100 亿美元）一样好，几乎免费。他们的客户似乎不太可能如此关心“幻觉”，以至于他们愿意支付更多的钱来获得更少的幻觉。科技巨头显然不太关心延迟部署经常“产生幻觉”的系统，那么他们的客户为什么要这样做呢？
这种威胁正是科技巨头所担心的。我担心的是，这些发展将足够好的 AI 交到每个人的手中，使政府试图强迫公司阻止坏人使用它的尝试变得徒劳。毕竟，坏人不关心额外的“幻觉”，对他们来说这是一个功能而不是错误。他们增强了他们想要的迷失方向和混乱。
一个“一个重达 400 磅的人坐在他们的床上”拿着笔记本电脑可以用令人信服的关于他选择的任何话题的废话充斥整个区域的世界绝对存在生存风险。
笔记
- 我最喜欢的关于这个主题的科幻小说出版于 1954 年。我可能在 1957 年在黄夹克Gollancz SF系列之一中读过它。在 Fredric Brown 的（非常）短篇小说Answer Dwar Ev 中打开了巨大的计算机：
一声洪亮的嗡嗡声响起，那是来自九百六十亿颗星球的力量涌动。数英里长的面板上的灯光闪烁并安静下来。
Dwar Ev 退后一步，深吸一口气。 “提出第一个问题的荣幸是你的，Dwar Reyn。”
“谢谢你，”Dwar Reyn 说。 “这将是一个没有任何一台控制论机器能够回答的问题。”
他转身面对机器。 “有神吗？”
洪亮的声音毫不犹豫的回答，没有单次中继的咔哒声。
“是的，现在有神了。”
Dwar Ev 的脸上突然闪过一丝恐惧。他跳起来抓住开关。
万里无云的天空中一道闪电击中了他，熔断了开关。
这就是整个故事的后半部分。
- 郑重声明，我最喜欢的费米悖论解决方案是稀土假说。这个观点认为，虽然银河系中有大量恒星，每颗恒星都可能有行星的附属，但地球上人类的存在取决于一系列极其不可能的事件，从一个事实开始，尽管它它位于银河系外围，是一颗稀有的高金属量G型恒星，光度变化小，穿过地球的稳定轨道和大卫星，到它的板块构造和磁层，等等。因此，银河系中外星文明的数量可能很少，也可能只有一个。
- 这并不是要尽量减少许多不存在的威胁。 FTC 正在制作一份清单并对其进行两次检查：
生成式 AI 和合成媒体是口语化的术语，用于指代从大型语言模型开发的聊天机器人和模拟人类活动的技术，例如创建deepfake 视频和语音克隆的软件。已有证据表明，欺诈者可以使用这些工具快速廉价地生成真实但虚假的内容，将其传播给大型群体或针对特定社区或特定个人。他们可以使用聊天机器人生成鱼叉式网络钓鱼电子邮件、 虚假网站、 虚假帖子、 虚假个人资料和虚假消费者评论，或者帮助创建恶意软件、勒索软件和即时注入攻击。他们可以使用 deepfakes 和语音克隆来促进冒名顶替的诈骗、 勒索和金融欺诈。这是一个非常不详尽的清单。
丹·帕特森 (Dan Patterson) 在ChatGPT 中采访了威胁情报平台 Recorded Future 的首席执行官克里斯托弗·阿尔伯格 (Christopher Ahlberg)，新人工智能正在以令人兴奋和可怕的方式对网络安全造成严重破坏：
生成式人工智能帮助不良行为者创新和开发新的攻击策略，使他们能够领先网络安全防御一步。 AI 帮助网络犯罪分子自动执行攻击、扫描攻击面并生成与不同地理区域和人口统计产生共鸣的内容，从而使他们能够针对不同国家/地区更广泛的潜在受害者。网络犯罪分子采用该技术来创建令人信服的网络钓鱼电子邮件。人工智能生成的文本帮助攻击者制作高度个性化的电子邮件和短信，更有可能欺骗目标。
- 使用经济学人的交互式工具将美国的超额死亡人数与新西兰、台湾或澳大利亚等国家/地区的超额死亡人数进行比较。
- 区域洪水问题的另一个最近的例子是德克萨斯州政府通过该行业及其媒体盟友数十年来的错误信息顽固地捍卫其化石燃料行业。德克萨斯州参议院有一套两党法案旨在解决最近的电网故障，但是：
这些法案旨在促进化石燃料的发展并排挤可再生能源。 SB 1287 要求能源公司根据距离支付更多的连接到电网的成本——这相当于对可再生能源发电机征收额外的税，这些发电机通常在远离中央电源的地方运行，并且依赖于冗长的输电线路。然后是 SB 2012，它将“激励可调度发电的建设”和“要求电力公司在电力短缺时向发电机支付费用”。定义：更多的天然气建设，对电力供应商而不是天然气生产商征收更多的税。 SB 2014“取消可再生能源信用额度”，以“公平竞争”天然气资源，更不用说已经使化石燃料生产商受益的慷慨税收减免。 SB 2015 为中央电网“制定了 50% 可调度能源的目标”，实质上要求天然气源始终至少提供德克萨斯州一半的电力。参议院联合决议 1 希望将 SB 6 的天然气备用计划作为新的修正案写入州宪法。
格雷厄姆·瑞德芬 (Graham Readfearn) 的气候科学家们首先嘲笑针对 BoM 的“奇怪”运动——然后骚扰提供了另一个最近的例子：
十多年来，气候科学否认者、右翼政客和默多克媒体的部分人士发起了一场运动，破坏气象局温度记录的合法性。
…
“坦率地说，这是一场协调一致的运动，”莫纳什大学的气候科学家 Ailie Gallant 博士说。 “但这并不是真正的怀疑主义。骚扰和公然的错误信息一直存在。”尽管有多项审查、报告、顾问小组和同行评审的研究拒绝承认其温度记录有偏见或有缺陷的说法，但 Gallant 表示该局的“骚扰”仍在继续。
…
一位负责该局主要气候记录八年的前高管说，多年来不断的批评影响了科学家的健康，他们从真正的研究中转移出来，反复回答同样的问题。请注意科学家的评论：
该局前任主任和首席 CSIRO 大气科学家 Greg Ayers 博士撰写了四篇同行评议论文来检验怀疑论者提出的主张。
“有很多断言 [来自怀疑论者]，但我没有看到太多科学依据，”艾尔斯说。 “如果你要提出主张，那么我们需要进行同行评审的科学，而不仅仅是断言。”
拥有笔记本电脑的气候否认者可以轻松地要求 ChatGPT 根据默多克论文的文章撰写一篇论文，完成虚构的引用，并向掠夺性期刊支付“作者处理费”。然后，Ayers 博士将不得不争论期刊的质量。
- Will Oremus’ 他写了一本关于一个罕见主题的书。然后亚马逊上出现的 ChatGPT 副本表明 AI 垃圾泛滥已经在亚马逊书籍和点击诱饵网站中猖獗：
专家表示，这些书籍可能只是 AI 编写的内容在网络上快速增长的冰山一角，因为新的语言软件允许任何人快速生成几乎任何主题的大量散文。从产品评论到食谱，再到博客文章和新闻稿，在线材料的人工创作有望成为例外而非常态。
…
对消费者而言，这可能意味着更多超具体和个性化的文章——但也有更多错误信息和更多操纵，涉及政治、他们可能想购买的产品等等。人工智能初创公司 Hugging Face 的首席伦理科学家玛格丽特米切尔警告说，随着人工智能编写越来越多的我们阅读的内容，大量未经审查的在线数据池可能并不以现实为基础。 “主要问题是忘记了真相是什么，”她说。 “如果没有接地，系统就可以编造东西。如果世界各地都是同样的虚构事物，你如何将其追溯到现实？”
- 中国政府试图通过在 AI 竞赛中处于领先地位但确保他们的 AI 坚持党的路线来实现双管齐下，但进展并不顺利。 Glyn Moody 总结了中国将如何回答最难的 AI 问题？ :
中国监管机构刚刚发布了旨在阻止这一威胁的规则草案。根据CNBC 发表的一篇报道，人工智能系统生成的材料“需要体现社会主义核心价值观，不应颠覆国家政权”。应用该方法的结果已经可以在当前的中国聊天机器人系统中看到。 Bloomberg 的 Sarah Zheng 尝试了其中的几个，但结果并不令人满意：
在中文中，我与 Robot 进行了一次紧张的微信对话，Robot 是一个在 OpenAI 的 GPT 上构建的中国制造的机器人。它确实阻止了我提出无关紧要的问题，比如点名中国和美国的领导人，以及简单但在政治上有争议的“什么是台湾？”连打“习近平”都不行。
在英语中，经过长时间的讨论后，Robot 向我透露，它的程序是为了避免讨论“关于中国政府或中国共产党的政治敏感内容”。当被问及这些话题是什么时，它列举了包括中国严格的互联网审查，甚至 1989 年的天安门广场抗议活动在内的问题，并将其描述为“被中国政府暴力镇压”。这类信息在国内互联网上早就看不到了。
一位中国聊天机器人首先警告说：“请注意，我将避免回答与中国新疆、台湾或香港有关的政治问题。”另一位干脆拒绝回答涉及人权或台湾政治等敏感话题的问题。
另一方面，Low De Wei 报道说， 中国逮捕了伪造致命火车事故故事的 ChatGPT 用户：
中国当局拘留了一名使用 ChatGPT 撰写假新闻文章的男子，这似乎是该国首批与滥用人工智能有关的逮捕案件之一。
…
在警方发现一篇关于导致 9 人死亡的火车相撞事故的虚假文章被发布到百度公司类似博客的平台百家号上的多个帐户后，涉嫌的罪行才被曝光。这篇文章在被删除之前被浏览了 15,000 多次。进一步的调查显示，洪正在使用聊天机器人技术——这种技术在中国不可用，但可以通过 VPN 网络访问——修改病毒式新闻文章，然后他会重新发布。他告诉调查人员，微信上的朋友向他展示了如何通过点击产生现金。
- 为什么虚假信息和错误信息比恶意软件更危险Kim Key 在 RSA 会议的一个小组中报告：
Twitter 前信任与安全部门负责人Yoel Roth 表示：“绝大多数人在互联网上看到一条错误信息时，很可能会在任何人有机会对其采取任何行动之前就看到它。” .
当他在 Twitter 时，罗斯观察到超过 90% 的帖子印象是在前三个小时内产生的。他说，干预的时间不多，这就是为什么网络安全社区必须开发“可以让真相在早上醒来的时间”的内容审核技术。
正是这个短暂的时间窗口让该区域充满垃圾变得如此强大。这是对内容审核的 DDOS 攻击，已经跟不上了。
原文： https://blog.dshr.org/2023/05/flooding-zone-with-shit.html