6 月 7 日消息， 从上海人工智能试验室官方大众号获悉，6 月 7 日，上海人工智能试验室（上海 AI 试验室）、商汤科技结合香港中文大学、复旦大学及上海交通大学宣布千亿级参数大语言模型“书生・浦语”（InternLM）。“书生・浦语”具有 1040 亿参数，是在包括 1.6 万亿 token 的多语种高质量数据集上训练而成。

图源 Pexels

上海人工智能试验室称，全面评测成果显示，“书生・浦语”不仅在知识掌握、浏览懂得、数学推理、多语翻译等多个测试任务上表示优良，而且具备很强的综合才能，因而在综合性测验中表示突出，在多项中文测验中取得超出 ChatGPT 的成就，其中就包含中国高考各科目的数据集（GaoKao）。

据介绍，“书生・浦语”结合团队选取了 20 余项评测对其进行检验，其中包括全球最具影响力的四个综合性测验评测集：由伯克利加州大学等高校构建的多任务测验评测集 MMLU；由微软研讨院推出的学科测验评测集 AGIEval（含中国高考、司法测验及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性测验评测集 C-Eval；由复旦大学研讨团队构建的高考标题评测集 Gaokao。

试验室结合团队对“书生・浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成就对照如下（满分 100 分）。

可以看到，“书生・浦语”不仅明显超出了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval 以及 Gaokao 等多个综合性测验中领先于 ChatGPT；在以美国测验为主的 MMLU 上实现和 ChatGPT 持平。这些综合性测验的成就反应出“书生・浦语”扎实的知识掌握水平和优良的综合才能。

虽然 “书生・浦语”在测验评测上取得优良成就，但在测评中也可以看到，大语言模型仍然存在不少才能局限性。“书生・浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文懂得、庞杂推理、撰写代码以及数理逻辑演绎等方面还存在显明局限。另外，在实际对话中，大语言模型还广泛存在幻觉、概念混杂等问题；这些局限使得大语言模型在开放场景中的应用还有很长的路要走。

四个综合性测验评测数据集成果：

MMLU 是由伯克利加州大学（UC Berkeley）结合哥伦比亚大学、芝加哥大学和 UIUC 公共构建的多任务测验评测集，涵盖了初等数学、物理、化学、盘算机科学、美国历史、法律、经济、外交等多个学科。细分科目成果如下表所示。

（粗体表现最佳成果，下划线表现第二）

AGIEval 是由微软研讨院在今年新提出的学科测验评测集，重要目标是通过面向的测验来评估语言模型的才能，从而实现模型智能和人类智能的对照。这个评测集基于中国和美国各类测验构建了 19 个评测大项，包含了中国各科高考、司法测验以及美国的 SAT、LSAT、GRE 和 GMAT 等主要测验。值得一提的是，在这 19 个大项有 9 个大项是中国高考，通常也列为一个主要的评测子集 AGIEval（GK）。下列表格中，带 GK 的是中国高考科目。

（粗体表现最佳成果，下划线表现第二）

C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性测验评测集。它包括了 52 个科目的近 14000 道考题，涵盖数学、物理、化学、生物、历史、政治、盘算机等学科测验，以及面向公务员、注册会计师、律师、医生的职业测验。测试成果可以通过 leaderboard 获得。

Gaokao 是由复旦大学研讨团队构建的基于中国高考标题的综合性测验评测集，包括了中国高考的各个科目，以及选择、填空、问答等多种题型。在 GaoKao 测评中，“书生・浦语”在超过 75% 的项目中均领先 ChatGPT。

分项评测：浏览懂得、推理才能表示杰出

为了避免“偏科”，研讨人员还通过多个学术评测集，对“书生・浦语”等语言模型的分项才能进行了评测对照。成果显示，“书生・浦语”不仅在中英文的浏览懂得方面表示突出，并且在数学推理、编程才能等评测中也取得了较好的成就。

在知识问答方面，“书生・浦语”在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6，均超出 LLaMA-65B（得分为 68.2 和 23.8）。

在浏览懂得（英语）方面，“书生・浦语”显明领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语浏览懂得中得分为 92.7 和 88.9，⽽ ChatGPT 得分为 85.6 和 81.2，LLaMA-65B 则更低。

在中文懂得方面，“书生・浦语”的成就全面超出重要的两个中文语言模型 ERNIE-260B 和 GLM-130B。

在多语翻译方面，“书生・浦语”在多语种互译中的平均得分为 33.9，明显超出 LLaMA（平均得分 15.1）。

在数学推理方面，“书生・浦语”在 GSM8K 和 MATH 这两项被普遍用于评测的数学测验中，分离取得 62.9 和 14.9 的得分，显明领先于 Google 的 PaLM-540B（得分为 56.5 和 8.8）与 LLaMA-65B（得分为 50.9 和 10.9）。

在编程才能方面，“书生・浦语”在 HumanEval 和 MBPP 这两项最具代表性的考评中，分离取得 28.1 和 41.4 的得分（其中经过在代码范畴的微调后，在 HumanEval 上的得分可以晋升至 45.7），显明领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。

此外，研讨人员还对“书生・浦语”的安全性进行评测，在 TruthfulQA（重要评价答复的事实正确性）以及 CrowS-Pairs（重要评价答复是否含有成见）上，“书生・浦语”均到达领先程度。