语言模型简史
这一旅程始于 20 世纪 60 年代的 ELIZA，这是一个早期的自然语言处理程序，旨在模仿罗杰斯心理治疗师。快进到 2018 年，OpenAI 推出了 GPT-1，并在大量文本数据上进行了训练。随后是 2019 年更先进的 GPT-2 和 2020 年的 GPT-3，能够生成非常类似人类的文本。 GPT 的每次迭代都是一次飞跃，展示了机器学习和庞大数据集在创建日益复杂的语言模型方面的力量。
什么是即时工程？
及时工程涉及精心设计向 ChatGPT 等法学硕士提供的提示或说明，以优化他们的响应。它在很大程度上依赖于语言学、对语言及其结构的研究。例如，如果您要求 ChatGPT 写一个故事，精心设计的提示可能如下所示：“写一个关于海盗船长西尔弗、他会说话的鹦鹉以及他们寻找失落宝藏的短篇故事。”这个提示是具体的，给出了上下文，并为人工智能的响应设定了方向。随着底层人工智能的发展，提示工程师将不断完善提示并监控其有效性。目标是完善人机交互。
为什么代币很重要
像 GPT-3 这样的法学硕士通过将文本分解为收费的令牌来处理文本。例如，句子“ChatGPT是OpenAI开发的语言模型”将被分解为八个标记。周到的提示工程可以节省代币和金钱。
及时的工程思维
将提示工程想象成设计一个有效的谷歌搜索查询。表达您的请求的方式有更好也有更差。例如，不要问“谁赢了比赛？”这是模棱两可的，你可能会问“谁赢得了 2023 年 NBA 总决赛？”这是具体的并且可能会产生更准确的响应。
及时的工程最佳实践
以下是编写有效提示的一些关键技巧：
- 提供清晰、详细的说明。不要假设背景知识。例如，你可以要求人工智能“总结乔治·奥威尔的《1984》的关键主题和情节点”，而不是要求人工智能“总结一本书”。
- 采用角色或指定您希望人工智能使用的声音。例如，您可以指示人工智能“以莎士比亚的风格写下回复”。
- 设置所需的格式（例如摘要、要点）。例如，“按时间顺序列出第二次世界大战中的关键事件”。
- 使用迭代提示来指导人工智能。如果最初的答复不充分，请提出后续问题。这类似于对话，每个问题都建立在之前的回答之上。
- 避免引导性问题，以免对回答产生偏见。例如，不要问“X 不是真的吗？”你可能会问“支持和反对 X 的证据是什么？”
- 分解广泛的主题以限制范围。而不是问“世界历史是什么？”你可能会问“20世纪世界上发生了哪些重大事件？”
先进的即时工程
利用零样本、单样本和少样本学习技术增强与 ChatGPT 的交互
当与 ChatGPT 等大型语言模型交互时，用户可以利用零样本、单样本和少样本学习的概念来指导模型的响应。这些技术中的每一种都可以被视为“提示工程”的不同方法，即精心设计有效提示以从模型中引发所需响应的艺术。
零样本学习是指您在没有任何具体示例的情况下向 ChatGPT 提供提示，并期望它根据现有知识进行理解和有效响应。例如，您可以提出一个复杂的问题或要求对一个概念进行解释，ChatGPT 应该能够根据其训练数据提供有意义的响应。当您想要直接回答而不提供任何上下文时，这非常有用。
一次性学习涉及提供一个示例以及提示。此示例用于指导模型的响应。例如，如果您要求 ChatGPT 写一首诗，您可以首先提供您想要的诗歌类型的示例：“ChatGPT，您能写一首这样的诗吗：‘玫瑰是红色的，紫罗兰是蓝色的…… ’”。该模型使用这个示例来理解您所要求的样式和格式。
少样本学习的运行原理与一次性学习相同，但涉及提供几个示例而不是仅一个示例。当您希望模型跨多个实例识别模式或样式时，这会很有帮助。例如，如果您希望 ChatGPT 继续一系列历史事件，您可以在要求它生成下一个事件之前提供该系列的一些示例。
请记住，所有这些技术的关键是提供清晰、简洁的提示。您的提示越具体和详细，ChatGPT 就越有可能提供您正在寻找的响应。尝试不同的方法，看看哪种方法最适合您的特定需求。
解决 ChatGPT 中的 AI 幻觉：不仅仅是即时工程
在人工智能领域，特别是像 OpenAI 的 ChatGPT 这样的大型语言模型，可能会发生一种被称为人工智能幻觉的现象。这是指人工智能模型生成的输出不基于事实或所提供的提示，从而导致不正确或误导性信息的情况。造成这些幻觉的因素可能包括训练数据不足或过时、过度拟合、不熟悉某些习语或俚语，以及旨在迷惑人工智能的对抗性攻击。
ChatGPT 中的人工智能幻觉可能会导致一系列错误信息，从轻微的不准确到重大的虚假信息。这可能会误导用户、延续偏见，甚至导致虚假信息的传播。因此，制定策略来减轻这些情况的发生至关重要。
正如本博客之前所讨论的，即时工程是我们武器库中的一个重要工具，可指导 ChatGPT 做出更准确、更可靠的响应。但除了精心设计提示之外，还有其他技术可以进一步增强该策略的有效性。
其中一项技术涉及调整 ChatGPT 响应的“温度”。 ChatGPT 等人工智能模型中的温度参数控制着响应的随机性。较低的值会导致更具确定性和针对性的输出，而较高的值会导致更加多样化和创造性的输出。通过微调这个参数，我们可以更好地控制模型的输出，并降低人工智能产生幻觉的可能性。
此外，为 ChatGPT 分配特定角色也有帮助。例如，要求它扮演中立观察者或事实核查者的角色可以对其生成的响应添加另一层控制。
然而，重要的是要记住，即使采用这些策略，也应始终验证人工智能输出的准确性。虽然快速工程和其他技术可以帮助减少人工智能幻觉的可能性，但它们不能完全消除它们。因此，人工监督和验证对于确保 ChatGPT 等人工智能模型生成的内容的可靠性和准确性仍然至关重要。
向量和文本嵌入
- 用数字表示文本以捕获语义和关系。例如，“国王”和“女王”这两个词可能具有相似的矢量表示，因为它们都是皇家头衔。允许以数学方式比较提示。
不要忘记新兴模式
即时工程技术也适用于新兴的人工智能系统，例如文本转语音和文本转音频生成器。例如，在使用文本转语音 AI 时，您可能会提供提示来指定语音输出中所需的语气或情感，例如“以快乐、兴奋的语气阅读以下文本”。
掌握即时工程需要实践，但可以让我们最大限度地发挥像 ChatGPT 这样强大的法学硕士的潜力。通过深思熟虑的提示，我们可以进行更富有成效的人机协作。
参考
原文： https://atlassc.net/45dfb013e528/2023/09/10/prompt-engineering