在 Phind 最近发布的博客中，他们宣布细调版的 CodeLlama-34B 和 CodeLlama-34B-Python 在人类评估（HumanEval）挑战中取得了 67.6% 和 69.5% 的首次通过率，分别超过了 GPT -4 的 67% 的成绩。这些数据都是根据 OpenAI 今年 3 月发布的官方技术报告进行比较的。
CodeLlama 是 Phind 新发布的模型，其在人类评估挑战中的表现令人印象深刻。CodeLlama-34B 和 CodeLlama-34B-Python 在挑战中的首次通过率分别达到了 48.8% 和 53.7%。Phind 对这个模型进行了细致的调整，用了他们自有的大约 80,000 个高质量的编程问题和解决方案的数据集。这个数据集不是代码完成的例子，而是包含指令-答案对，这在结构上与人类评估挑战有所不同。
Phind 在两个周期内对这些模型进行了训练，总共使用了大约 160,000 个示例。他们没有使用 LoRA，而是进行了间歇性的细调。他们在三小时内使用了 DeepSpeed ZeRO 3 和 Flash Attention 2 32 个 A100-80GB 的 GPU 训练了这些模型，序列长度为 4096 个令牌。
为了确保结果的有效性，Phind 还对他们的数据集应用了 OpenAI 的去污染方法，并且没有发现任何被污染的例子。该方法包括随机抽取样本中的三个子字符串，每个子字符串都包含50个字符，或者如果整个例子缺少50个字符，就使用整个例子。如果任意抽取的子字符串是处理过的训练示例的子字符串，就被认为是匹配的。
Phind 的细调模型在人类评估挑战中的得分如下： Phind-CodeLlama-34B-v1 在人类评估挑战中的首次通过率为 67.6% Phind-CodeLlama-34B-Python-v1 在人类评估挑战中的第一次通过率 69.5%
Phind 已经在 Huggingface 上发布了这两个模型，以便进行验证，并为开源社区提供支持。他们欢迎对结果进行独立验证。
如果你想在 M1 Mac 或类似的机器上运行这些模型，你将需要大量的资源。具体来说，对于包含 340 亿参数的 4 位量化版本的模型，你将需要大约32GB的内存。模型的大小相当大，大约为20GB，这表明运行这些先进的AI模型需要大量的计算能力。
参考
原文： https://atlassc.net/90798431be48/2023/08/26/phind-code-llama-beats-gpt4