人工智能正在快速发展。 ChatGPT 已成为历史上增长最快的在线服务。谷歌和微软正在将生成式人工智能集成到他们的产品中。世界领导人正在兴奋地接受人工智能作为经济增长的工具。
随着我们超越 ChatGPT 和 Bard，我们可能会看到人工智能聊天机器人变得不那么通用，而更加专业。人工智能受到所接触数据的限制，以便更好地完成工作——在这种情况下，人工智能会模仿人类语音并为用户提供有用的答案。
培训通常会广泛传播， 人工智能系统会吸收数以千计的书籍和网页。但一组更具选择性、更有针对性的训练数据可以使人工智能聊天机器人对于在特定行业工作或生活在某些地区的人们更加有用。
数据的价值
这一演变的一个重要因素是为高级大语言模型 (LLM)（为 ChatGPT 提供支持的人工智能类型）收集训练数据的成本不断增加。公司知道数据很有价值：Meta 和谷歌通过销售针对用户数据的广告赚取了数十亿美元。但数据的价值现在正在发生变化。 Meta 和 Google 出售数据“见解”；他们投资于分析，将许多数据点转化为有关用户的预测。
数据对于 ChatGPT 的开发者 OpenAI 来说是有价值的，但方式却略有不同。想象一条推文：“猫坐在垫子上。”这条推文对于目标广告商来说没有价值。它很少涉及用户或他们的兴趣。也许，在推动下，它可能会表明对猫粮和苏斯博士的兴趣。
但对于 OpenAI 来说，该公司正在构建法学硕士以产生类似人类的语言，这条推文作为人类语言如何运作的例子很有价值。一条推文无法教会人工智能构建句子，但数十亿条推文、博客文章、维基百科条目等肯定可以。例如，高级 LLM GPT-4 可能是使用从 X（以前的 Twitter）、Reddit、维基百科等抓取的数据构建的。
人工智能革命正在改变数据丰富的组织的商业模式。 Meta 和 Google 等公司多年来一直在人工智能研究和开发方面进行投资，试图利用其数据资源。
X和Reddit等组织已开始向第三方收取 API 访问费用，该系统用于从这些网站抓取数据。数据抓取会花费 X 等公司的钱，因为他们必须花费更多的计算能力来完成数据查询。
展望未来，随着 OpenAI 等组织希望构建更强大的 GPT 模型版本，他们将面临更高的数据获取成本。该问题的一种解决方案可能是合成数据。
走向合成
人工智能系统从头开始创建合成数据，用于训练更先进的人工智能系统，以便它们不断改进。它们旨在执行与真实训练数据相同的任务，但由人工智能生成。
这是一个新想法，但面临很多问题。好的合成数据需要与其所基于的原始数据有足够的不同，以便向模型提供新的信息，同时又足够相似以向模型提供准确的信息。这可能很难实现。如果合成数据只是真实世界数据的令人信服的副本，那么由此产生的人工智能模型可能会缺乏创造力，从而巩固现有的偏见。
另一个问题是“哈布斯堡AI”问题。这表明，在合成数据上训练人工智能将导致这些系统的有效性下降——因此使用哈布斯堡王室臭名昭著的近亲繁殖进行类比。一些研究表明，ChatGPT 等系统已经发生了这种情况。
ChatGPT 如此出色的原因之一是它使用带有人类反馈的强化学习(RLHF)，人们根据准确性来评估其输出。如果人工智能生成的合成数据不准确，那么根据这些数据训练的人工智能模型本身也会不准确。因此，对人类反馈来纠正这些错误的需求可能会增加。
然而，虽然大多数人能够说出一个句子在语法上是否准确，但很少有人能够对其事实准确性发表评论——尤其是当输出是技术性或专业性的时候。 RLHF 不太可能发现专业主题的不准确输出。如果合成数据意味着有更多的不准确之处需要捕捉，那么通用法学硕士的质量可能会停滞或下降，即使这些模型“学到”了更多东西。
小语言模型
这些问题有助于解释人工智能的一些新兴趋势。谷歌工程师透露，几乎没有什么可以阻止第三方重新创建 GPT-3 或谷歌 LaMDA AI 等 LLM 。许多组织可以使用自己的专业数据来构建自己的内部人工智能系统，以实现自己的目标。从长远来看，这些对于这些组织来说可能比 ChatGPT 更有价值。
最近，日本政府指出，开发以日本为中心的 ChatGPT 版本对其人工智能战略来说可能是值得的，因为 ChatGPT 不足以代表日本。软件公司SAP最近推出了人工智能“路线图”，为专业组织提供人工智能开发能力。这将使公司更容易构建自己的定制版本的 ChatGPT。
麦肯锡和毕马威等咨询公司正在探索为“特定目的”训练人工智能模型。有关如何创建 ChatGPT 的私人、个人版本的指南可以在网上轻松找到。开源系统，例如GPT4All ，已经存在。
随着通用法学硕士面临的发展挑战以及潜在的监管障碍不断增加，人工智能的未来可能会是许多特定的小语言模型，而不是大型语言模型。如果小语言模型的训练数据少于 GPT-4 等系统，那么它们可能会遇到困难。
但它们在 RLHF 方面也可能具有优势，因为很少有语言模型可能是为特定目的而开发的。与通用人工智能系统的通用反馈相比，对其组织及其目标具有专业知识的员工可以为此类人工智能系统提供更有价值的反馈。这可以克服数据较少的缺点。
本文根据知识共享许可从The Conversation重新发布。阅读原文。
图片来源： Mohamed Nohassi / Unsplash