尽管微调感觉像是更自然的选择——毕竟 GPT 是通过数据训练来学习所有其他知识的——我们通常不建议将其作为教授模型知识的一种方式。 Fine-tuning 更适合教授专门的任务或风格,对事实回忆不太可靠。 […] 相反,消息输入就像短期记忆。当您将知识插入消息时,就像用打开的笔记参加考试一样。手头有笔记,模型更有可能得出正确答案。
原文: http://simonwillison.net/2023/Apr/15/ted-sanders-openai/#atom-everything
翻译英文优质信息和名人推特
尽管微调感觉像是更自然的选择——毕竟 GPT 是通过数据训练来学习所有其他知识的——我们通常不建议将其作为教授模型知识的一种方式。 Fine-tuning 更适合教授专门的任务或风格,对事实回忆不太可靠。 […] 相反,消息输入就像短期记忆。当您将知识插入消息时,就像用打开的笔记参加考试一样。手头有笔记,模型更有可能得出正确答案。
原文: http://simonwillison.net/2023/Apr/15/ted-sanders-openai/#atom-everything