人工智能系统真的有自己的秘密语言吗？

新一代人工智能（AI）模型可以根据文本提示按需生成“创意”图像。 Imagen 、 MidJourney和DALL-E 2等公司开始改变创意内容的制作方式，并涉及版权和知识产权。

虽然这些模型的输出通常是惊人的，但很难确切地知道它们是如何产生结果的。上周，美国的研究人员提出了一个有趣的说法，即 DALL-E 2 模型可能已经发明了自己的秘密语言来谈论物体。

通过提示 DALL-E 2 创建包含文本标题的图像，然后将生成的（乱码）标题反馈回系统，研究人员得出结论，DALL-E 2 认为Vicootes的意思是“蔬菜”，而Wa ch zod rea指的是“海洋生物”鲸鱼可能会吃掉。”

这些说法令人着迷，如果属实，可能会对这种大型 AI 模型产生重要的安全性和可解释性影响。那么究竟发生了什么？

DALL-E 2 可能没有“秘密语言”。说它有自己的词汇可能更准确，但即便如此我们也不能确定。

首先，现阶段很难验证有关DALL-E 2 和其他大型 AI 模型的任何说法，因为只有少数研究人员和创意从业者可以使用它们。任何公开分享的图像（例如在 Twitter 上）都应该用相当多的盐来拍摄，因为它们是人类从 AI 生成的许多输出图像中“挑选出来的”。

即使是那些有权访问的人也只能以有限的方式使用这些模型。例如，DALL-E 2 用户可以生成或修改图像，但（还）不能更深入地与 AI 系统交互，例如通过修改幕后代码。这意味着无法应用用于理解这些系统如何工作的“ 可解释人工智能”方法，并且系统地调查它们的行为具有挑战性。

一种可能性是“胡言乱语”短语与非英语语言的单词有关。例如，似乎创造鸟类图像的 Apoploe 类似于拉丁语Apodidae ，后者是鸟类科的二项式名称。

这似乎是一个合理的解释。例如，DALL-E 2 接受了从互联网上抓取的各种数据的训练，其中包括许多非英语单词。

类似的事情以前也发生过：大型自然语言 AI 模型巧合地学会了在没有刻意训练的情况下编写计算机代码。

支持这一理论的一点是 AI 语言模型不像你我那样阅读文本。相反，他们在处理输入文本之前将其分解为“标记”。

不同的“标记化”方法有不同的结果。将每个单词视为一个标记似乎是一种直观的方法，但是当相同的标记具有不同的含义时会导致麻烦（例如，当您打网球和生火时，“匹配”的含义不同）。

另一方面，将每个字符视为一个标记会产生较少数量的可能标记，但每个标记都传达的有意义信息要少得多。

DALL-E 2（和其他模型）使用一种称为字节对编码(BPE) 的中间方法。检查 BPE 表示中的一些乱码表明这可能是理解“秘密语言”的一个重要因素。

“秘密语言”也可能只是“垃圾进垃圾出”原则的一个例子。 DALL-E 2 不能说“我不知道你在说什么”，所以它总是会从给定的输入文本中生成某种图像。

无论哪种方式，这些选项都不是对正在发生的事情的完整解释。例如，从乱码中删除单个字符似乎会以非常特定的方式破坏生成的图像。而且似乎个别胡言乱语不一定能产生连贯的复合图像（如果真的有一种秘密的“语言”在封面下）。

除了求知欲，你可能想知道这是否真的很重要。

答案是肯定的。 DALL-E 的“秘密语言”是针对机器学习系统的“对抗性攻击”的一个示例：一种通过有意选择 AI 无法很好处理的输入来破坏系统预期行为的方法。

对抗性攻击令人担忧的一个原因是它们挑战了我们对模型的信心。如果人工智能以意想不到的方式解释胡言乱语，它也可能以意想不到的方式解释有意义的词。

对抗性攻击也引发了安全问题。 DALL-E 2 过滤输入文本以防止用户生成有害或辱骂内容，但乱码的“秘密语言”可能允许用户绕过这些过滤器。

最近的研究发现了一些语言 AI 模型的对抗性“触发短语”——诸如“zoning tap fiennes”之类的简短无意义的短语，可以可靠地触发模型吐出种族主义、有害或有偏见的内容。这项研究是理解和控制复杂深度学习系统如何从数据中学习的持续努力的一部分。

最后，像 DALL-E 2 的“秘密语言”这样的现象引发了对可解释性的担忧。我们希望这些模型表现得像人类期望的那样，但是看到响应胡言乱语的结构化输出会混淆我们的期望。

你可能还记得 2017 年对一些“发明了自己的语言”的 Facebook 聊天机器人的喧嚣。目前的情况类似，结果令人担忧——但不是“天网即将接管世界”意义上的。

相反，DALL-E 2 的“秘密语言”突出了对深度学习系统的鲁棒性、安全性和可解释性的现有担忧。

在这些系统更广泛地可用之前——特别是在来自更广泛的非英语文化背景的用户可以使用它们之前——我们将无法真正知道发生了什么。

但是，与此同时，如果您想尝试生成一些自己的 AI 图像，您可以查看免费提供的更小的模型DALL-E mini 。请注意您使用哪些词来提示模型（英语或胡言乱语-您的电话）。

本文根据知识共享许可从The Conversation重新发布。阅读原文。