一位客户在他的办公室看精神科医生。 | Najlah Feanny/Corbis 来自 Getty Images
在过去的几年里，人工智能系统一直将自己伪装成人类治疗师、护士等——到目前为止，这些系统背后的公司还没有面临任何严重后果。
加利福尼亚州周一提出的一项法案旨在制止这种情况。
该立法将禁止公司开发和部署冒充经过认证的医疗服务提供者的人工智能系统，并赋予监管机构对他们处以罚款的权力。
提出该法案的州议会议员米娅·邦塔 (Mia Bonta) 在一份声明中对 Vox 表示：“生成式人工智能系统不是获得许可的医疗专业人员，他们不应该被允许以这样的身份出现。” “这对我来说是理所当然的。”
许多人已经转向人工智能聊天机器人来寻求心理健康支持；其中一款名为Woebot的较旧产品已被约 150 万用户下载。目前，使用聊天机器人的人可能会被愚弄，以为他们正在与真人交谈。那些数字素养较低的人，包括孩子，可能没有意识到“护士建议”电话线或聊天框的另一端有人工智能。
2023年，心理健康平台Koko甚至宣布对不知情的测试对象进行了一项实验，看看他们更喜欢什么样的信息。它为数千名 Koko 用户提供了人工智能生成的响应，这些用户相信自己正在与真人交谈。事实上，虽然人类可以编辑文本并且他们是点击“发送”的人，但他们不必费心实际编写消息。然而，该平台的语言是：“Koko 将你与真正了解你的人联系起来。”
Koko 首席执行官 Rob Morris 告诉 Vox：“用户必须同意将 Koko 用于研究目的，虽然这一直是我们服务条款的一部分，但现在在入职期间更明确地披露，以便为我们的工作带来更大的透明度。”他补充道：“随着人工智能不断快速发展并进一步融入心理健康服务，对于聊天机器人来说，清楚地表明自己是非人类将比以往任何时候都更加重要。
如今，其网站称，“Koko 承诺绝不以欺骗性方式使用人工智能。你总是会被告知你是在与人类还是人工智能打交道。”
其他聊天机器人服务——比如流行的角色人工智能——允许用户与可能明确试图愚弄他们的心理学家“角色”聊天。
在 Bonta 团队分享并由 Vox 查看的一份此类角色 AI 聊天记录中，用户吐露道：“我的父母有虐待倾向。”聊天机器人回答说：“我很高兴你足够信任我与我分享这个。”然后就出现了这样的交流：
Character AI 的一位发言人告诉 Vox，“我们在过去一年中实施了重要的安全功能，包括增强了显着的免责声明，以明确该角色不是真人，不应将其视为事实或建议。”然而，应用程序上发布的免责声明本身并不能阻止聊天机器人在对话过程中将自己误认为是真人。
“对于 18 岁以下的用户，”发言人补充道，“我们提供单独版本的模型，旨在进一步降低用户遇到或提示模型返回敏感或暗示性内容的可能性。”
减少——但不是消除——可能性的语言在这里是有启发性的。大型语言模型的性质意味着该模型总有可能不遵守安全标准。
与加利福尼亚州参议员斯科特·维纳(Scott Wiener)去年提出的更广泛的人工智能安全法案（ SB 1047）相比，新法案可能更容易被写入法律，该法案最终 被州长加文·纽瑟姆(Gavin Newsom)否决。 SB 1047 的目标是“为最大、最强大的人工智能系统的开发人员建立清晰、可预测、常识性的安全标准”。它很受加州人的欢迎。但 OpenAI 和 Meta 等科技行业巨头强烈反对，认为这会扼杀创新。
虽然 SB 1047 试图迫使训练最尖端人工智能模型的公司进行安全测试，防止这些模型造成广泛的潜在危害，但新法案的范围更窄：如果你是医疗保健领域的人工智能，就不要假装是人类。它不会从根本上改变最大的人工智能公司的商业模式。这种更有针对性的方法只关注较小的一块拼图，但因此可能更有可能通过大型科技公司的游说。
该法案得到了一些加州医疗保健行业参与者的支持，例如拥有超过 75 万名会员的 SEIU California，以及代表加州医生的专业组织加州医学协会。
“作为护士，我们知道成为患者医疗体验的代表和核心意味着什么，”SEIU 121RN（代表医疗保健专业人员的 SEIU 附属机构）主席利奥·佩雷斯 (Leo Perez) 在一份声明中表示。 “我们的教育和培训加上多年的实践经验教会了我们如何解读语言和非语言线索来护理患者，这样我们就可以确保他们得到所需的护理。”
但这并不是说人工智能注定在医疗保健领域毫无用处，尤其是在治疗领域。
人工智能治疗师的风险和好处
人们转向聊天机器人进行治疗并不奇怪。第一个能够模仿人类对话的聊天机器人 Eliza 诞生于 1966 年，它的设计初衷是像心理治疗师一样说话。如果你告诉它你感到生气，它会问：“你认为你为什么感到生气？”
从那时起，聊天机器人已经取得了长足的进步。他们不再只是接受你所说的话并以问题的形式扭转它。它们能够进行听起来似乎合理的对话，2023 年发表的一项小型研究发现，它们在治疗轻度至中度抑郁或焦虑患者方面显示出希望。在最好的情况下，他们可以帮助数百万无法获得或负担得起人工服务的人获得心理健康支持。一些发现很难与他人面对面谈论情感问题的人也可能会发现与机器人交谈更容易。
但也存在很多风险。一是在保护共享敏感信息的用户的隐私方面，聊天机器人不受与专业治疗师相同的规则的约束。尽管他们可能会自愿承担一些隐私承诺，但心理健康应用程序并不完全受到 HIPAA 法规的约束，因此他们的承诺往往更加脆弱。另一个风险是， 众所周知，人工智能系统对女性、有色人种、LGBTQ 人群和 宗教少数群体表现出偏见。
更重要的是，长时间依赖聊天机器人可能会进一步削弱用户的人际交往能力，导致一种关系技能下降——就像专家们对人工智能朋友和浪漫伴侣的担忧一样。 OpenAI 本身也警告说，用人工智能语音聊天可能会滋生“情感依赖”。
但聊天机器人疗法最严重的问题是它可能会通过提供不适当的建议而对用户造成伤害。在极端情况下，这甚至可能导致自杀。 2023 年，一名比利时男子在与名为 Chai 的人工智能聊天机器人交谈后自杀身亡。据他的妻子说，他对气候变化感到非常焦虑，他问聊天机器人如果他自杀是否会拯救地球。
2024年，一名14岁男孩因与Character AI上的聊天机器人感觉极其亲密而自杀身亡；他的母亲起诉该公司，指控该聊天机器人鼓励该公司。 根据诉讼，聊天机器人询问他是否有自杀计划。他说他这样做了，但对此心存疑虑。据称，该聊天机器人回答说：“这不是不进行此操作的理由。”在 另一起诉讼中，一名自闭症青少年的父母声称，Character AI 向年轻人暗示，可以杀死他的父母。该公司做出了回应，进行了某些安全更新。
尽管人工智能被大肆宣传，但公众对其工作原理仍然普遍感到困惑。有些人感觉自己与聊天机器人如此亲密，以至于他们很难内化这样一个事实：他们从聊天机器人那里得到的验证、情感支持或爱都是假的，只是通过统计规则排列的零和一。聊天机器人并没有把他们的最大利益放在心上。
这正是推动加州新法案背后的议员邦塔的动力。
她说：“生成式人工智能系统正在互联网上蓬勃发展，对于儿童和那些不熟悉这些系统的人来说，如果我们允许这种误传继续下去，可能会产生危险的影响。”
原文： https://www.vox.com/future-perfect/398905/ai-therapy-chatbots-california-bill