格温·布兰文 (Gwern Branwen) 对 Sidney/Bing 出了什么可怕的错误进行了引人入胜的评论，这与我自己的一些怀疑是一致的。 Gwern 认为 Bing 由一个高级模型提供支持，该模型在 RLHF 安全进步进入 ChatGPT 之前获得了 OpenAI 的许可，并在谷歌之前匆忙推出，以便将人工智能辅助搜索推向市场。 “如果 Sydney 根本没有接受过 OA RLHF 培训怎么办，因为 OA 不会分享多年用户反馈的皇冠上的宝石，以及非常昂贵的聘请自由程序员以及生成数据进行培训的东西？”
原文： http://simonwillison.net/2023/Feb/19/gwern-bing-misaligned/#atom-everything