在开源这件事上,次经Meta 不愧是由率源代逾业界知己。
这多少天,%开代码大模子规模又凋敝了起来!码大模 先是最新 Meta 开源代码专用大模子 Code Llama,且收费商用。次经下场也颇为宜 ,由率源代逾Code Llama 在 HumanEval 以及 MBPP 代码数据集上的%开一次天生经由率(pass@1)轻松逾越 GPT-3.5
,其中「Unnatural」版本的码大模 pass@1 迫近了原始 GPT-4(OpenAI 在往年 3 月 GPT-4 技术陈说中的数据)
。  Code Llama 宣告仅一天,最新来自 Phind 机关的次经钻研职员用微调的 Code Llama-34B 在 HumanEval 评估中击败了 GPT-4。他们的由率源代逾两个模子 Phind-CodeLlama-34B-v1 以及 Phind-CodeLlama-34B-Python-v1 在 HumanEval 分说实现 67.6% 以及 69.5% 的 pass@1 ,显明都逾越了原始 GPT-4 的%开 67%。  不外,码大模仅仅又过了一天
,最新Phind 微调版 Code Llama 又迎来了一个单薄的对于手
。这次是 WizardLM 团队的编程专用大模子 WizardCoder。 该团队推出了基于 Code Llama 的最新版本模子 WizardCoder 34B ,它运用 Evol-Instruct 妨碍微调而成。 服从展现,它在 HumanEval 上的 pass@1 抵达了惊人的 73.2%,逾越了原始 GPT-四、ChatGPT-3.5 以及 Claude 二、Bard。此外,WizardCoder 13B 以及 7B 版本也将很快到来。  这次详细版本是 WizardCoder-Python-34B-V1.0
,下图是与主流闭源以及开源模子的 HumanEval pass@1 比力。除了最新 API 的 GPT-4(该团队测试后患上到的服从是 82.0%),该模子逾越了所有闭源以及开源模子
,搜罗最新 API 的 ChatGPT(72.5%)以及原始 GPT-4(67%) 。  因此 ,WizardCoder-Python-34B-V1.0 成为了最新的 SOTA 开源代码大模子
。  WizardLM 团队还展现
,WizardCoder-Python-34B-V1.0 的功能百分之百是可能复现的
。  想要体验 WizardCoder-Python-34B-V1.0 的小过错可能试验如下 demo。  demo 地址 :http://47.103.63.15:50085/ 有人展现,在试了 demo 后发现 |