这是可信赖的 AI 的编辑摘录： Beena Ammanath 的 AI 中的信任和道德导航业务指南（威利，2022 年 3 月）。 Ammanath 是全球德勤人工智能研究所的执行董事，并在德勤领导值得信赖和道德的技术。她曾在多家公司担任人工智能和数据科学领域的领导职务，并且是Humans For AI的创始人，该组织致力于增加人工智能的多样性。
通过 AI 模型训练，数据集是现实世界的代理。模型在一个数据集上进行训练并针对另一个数据集进行测试，如果结果相似，则期望模型功能可以转化为操作环境。在实验室中有效的东西应该在现实世界中始终如一，但能持续多久？完美的操作场景在人工智能中是很少见的，现实世界的数据是杂乱无章的。这导致了领先的 AI 研究员 Andrew Ng 所称的“概念验证到生产差距”，即模型按照需要进行训练， 但一旦部署就会失败。这部分是鲁棒性和可靠性的问题。
当输出的准确性不一致并且随着时间的推移变得更糟时，结果就是不确定性。面对不断变化的现实世界数据，数据科学家面临着构建可证明稳健、始终准确的 AI 模型的挑战。在信息流中，算法可能会蜿蜒曲折，输入的微小变化会级联成功能的大转变。
可以肯定的是，并非所有工具都在容易发生巨大变化的环境中运行，并且如果它们变得不准确或不可靠，并非所有 AI 模型都会呈现相同的风险和后果。企业在扩大 AI 足迹时的任务是权衡稳健性和可靠性作为其 AI 战略的组成部分，并调整可以在动态环境中管理和纠正错误的流程、人员和技术。
为此，我们从稳健可靠的人工智能领域的一些主要概念开始。
强大与脆弱的 AI
国际标准化组织将人工智能稳健性定义为“人工智能系统在任何情况下保持其性能水平的能力”。在稳健的模型中，训练错误率、测试错误率和操作错误率几乎相同。当在运行中遇到意外数据或模型在不太理想的条件下运行时，强大的 AI 工具将继续提供准确的输出。
例如，如果一个模型可以识别训练数据集中的每张飞机图像，并且被证明在测试数据上表现出色，那么该模型应该能够识别任何数据集中的飞机图片，即使它没有遇到过他们以前。但是，如果飞机是粉红色的、在黄昏时拍摄、缺少机翼或从某个角度观察，飞机识别模型的表现如何呢？它的性能是否会下降，如果是这样，该模型在什么时候不再可行？
当环境的微小变化导致功能和准确性的巨大变化时，模型被认为是无弹性或“脆弱的”。脆弱性是软件工程中的一个众所周知的概念，它也适用于人工智能。最终，所有人工智能模型在某种程度上都是脆弱的。我们使用的不同类型的 AI 工具特定于它们的功能和应用。人工智能只做我们训练它去做的事情。
这还有另一个组成部分。那些部署和管理人工智能的人必须权衡不断变化的现实世界数据如何导致模型准确性随着时间的推移而下降。在“模型漂移”现象中，人工智能工具的预测准确性会随着通知模型的基础变量的变化而降低。曾经受信任的信号和数据源可能变得不可靠。网络中的意外故障可能导致数据流发生变化。
下棋的人工智能可能会随着时间的推移保持强大，因为国际象棋的规则和人工智能将遇到的移动是可预测的和静态的。相反，自然语言处理 (NLP) 聊天机器人在语音模式、口语、不正确的语法和句法以及各种变化因素的流动环境中运行。通过机器学习，意外的数据或不正确的计算可能会导致模型误入歧途，并且最初作为强大工具的东西会变得脆弱，除非采用纠正策略。
开发可靠的人工智能
欧盟委员会联合研究中心指出，评估可靠性需要考虑性能和脆弱性。即使给定未包含在训练数据中的输入，即所谓的分布外 (OOD) 输入，可靠的 AI 也会按预期执行。这些是不同于训练集的数据点，可靠的 AI 必须能够检测数据是否 OOD。一个挑战是，对于某些模型，OOD 输入的分类可信度很高，这意味着 AI 工具表面上是可靠的，但实际上并非如此。
以自动送货机器人为例。它的导航人工智能经过优化，可以找到通往目的地的最直接路径。训练数据集包含 AI 识别人行道、道路、人行横道、路缘石、行人和所有其他变量所需的所有示例数据——除了与道路相交的铁轨。在操作中，机器人会识别其路径中的铁轨，虽然它们是 OOD，但 AI 会计算出很高的可信度，即铁轨只是一种新的人行道，它会遵循它来加快交付速度。显然，AI 因 OOD 输入而误入歧途。如果它没有被火车撞到，它会验证送货机器人，“这是一条可行的路径”，并可能会寻找其他铁轨来使用。运营商可能并不明智——直到火车出现。
可靠的人工智能在面对任何新颖的输入时都是准确的。这与平均性能不同。提供良好平均性能的模型仍可能偶尔产生具有重大后果的输出，从而妨碍可靠性。如果一个 AI 工具 80% 的时间都是准确的，那么它是一个值得信赖的模型吗？一个相关的问题是对漏洞的弹性，无论是操作的自然结果还是对抗性攻击的结果。
数据可靠性的教训
模型的质量仅与用于开发它的训练和测试数据一样好。如果对数据质量相对于其对现实世界的表示没有信心，模型的输出可能无法在操作环境中可靠地提供准确的输出。对于美国政府问责局而言，数据可靠性取决于：
- 适用性——数据是否提供了相关质量的有效度量？
- 完整性——数据集在所有属性中的填充程度如何？
- 准确性——数据是否反映了收集数据集的真实世界？
这些是可信赖数据以及人工智能的跨领域组件。数据集需要得到充分的管理，在某些情况下需要标记甚至补充合成数据，这可以弥补丢失的数据点或填充不能（或不应该）用于训练的受保护信息。还必须清除数据中的潜在偏差，这会扭曲模型训练并导致不良输出或预测。
与人工智能工具本身一样，需要监控现实世界的运营数据，以了解不断变化的趋势和新兴的数据科学需求。例如，一个进行情绪分析的模型可能会被训练来对十几个变量的情绪进行评分，但在部署之后，人工智能团队会识别出其他需要在模型漂移和再训练中考虑的变量。
与可靠性一样，数据适用性也不是一成不变的。同样，数据准确性可能会根据传感器的性能、是否存在延迟或可用性问题或任何可能妨碍数据可靠性的已知因素而波动。
构建稳健可靠的人工智能的领先实践
无论模型是否受到不熟悉的数据的阻碍、受到恶意行为者的干扰或偏离准确性，组织都应在其 AI 计划中嵌入评估部署风险、跟踪预期规格的性能、衡量（如果不是衡量）稳健性以及有适当的流程来修复失败或漂移的模型，因为它们的可靠性会降低。由于可靠性源于稳健性，因此有助于提高 AI 可靠性的一些活动包括：
可靠性基准
即使在进行模型训练时，也要确定并定义哪些基准对跟踪和测量可靠性最有价值。基准可能包括人工智能系统相对于人类表现的表现，考虑到深度学习模型试图模仿人类认知，这一点尤其合适。
执行数据审计
作为测试的一个组成部分，审查数据可靠性评估、纠正措施和培训数据样本。让数据利益相关者（例如，IT 领导者、法律专家、伦理学家）参与来探索数据质量和可靠性。人工智能模型需要反映现实世界的数据集，因此作为数据审计的一个组成部分，调查数据集的平衡、公正、适用和完整的程度。
随着时间的推移监控可靠性
可靠性在整个 AI 生命周期中不断发展。当模型输出或预测与预期不同时，将数据编入目录以进行分析和调查。此分析中经常使用的数据类型是事件发生时间（模型偏离之前的时间）、退化数据（关于模型如何退化的信息）和重复事件数据（不止一次发生的错误）。
不确定性估计
洞察力孕育信心。为了更深入地了解人工智能的运作方式，出现了一些工具，允许模型在预测或输出的同时报告不确定性程度。这转向了对健壮系统的信任。如果模型报告高度不确定性，这对于人类操作员或其他联网 AI 来说是有价值的洞察力。不确定性估计可以标记一个漂移模型，突出数据的变化，或者提供对抗样本进入数据流的意识。
管理漂移
操作员可以通过将实时部署期间的模型输入和输出与参考集中的输入和输出进行比较来评估漂移。相似性是在测试和训练数据输入之间成对测量的，并在输出上进行分割。通过密切了解输入和输出相对于参考集的变化情况，操作员可以采取纠正措施（例如，重新训练模型）。
持续学习
建立持续学习工作流程，以根据预定义的可接受阈值监控模型性能。这些阈值可能包括系统准确性在面对小扰动时保持弹性的措施，以及系统及其运行环境的安全约束。作为其中的一部分，维护数据版本控制框架，以实现 AI 模型的可审计性、透明度和可再现性。
持续测试
开发一个包含可变性（例如，系统或训练数据的变化）的测试制度，以评估 AI 是否足够强大以按预期运行。检查模型的稳健性和准确性的频率应取决于模型的优先级以及模型的更新频率。最好每天检查高风险、定期更新的模型（通过人工验证输出）。可以在更长的时间线上检查变化较慢、优先级较低的模型，在某些情况下使用 API 来自动评估功能。这些检查的结果应促使对任何异常、差异和意外结果进行调查和解决。
探索替代方法
鉴于稳健性和普遍性是积极研究的领域，新工具、设计和策略将继续出现并推动该领域的发展。这些很可能是技术方法，该组织的数据科学专业人员致力于探索新想法如何支持部署的人工智能以及模型开发。例如，“Lipschitz 约束模型”具有有限导数，可以帮助神经网络在对抗对抗样本时变得更加健壮。最简单地说，他们提倡并可以证明输入的微小扰动只会导致输出的微小变化。
构建可靠 AI 模型的 7 种技术帖子首先出现在Future上。
原文： https://future.a16z.com/7-techniques-for-building-reliable-ai-models/