书生·浦语 2.0开源，阿里云魔搭首发

　　1月17日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语2.0(InternLM2)，模型开源可免费授权商用。该模型在阿里云魔搭社区(ModelScope)上首发。

　　InternLM2的核心理念在于回归语言建模的本质，致力于通过提高语料质量及信息密度，实现模型基座语言建模能力获得质的提升，进而在数理、代码、对话、创作等各方面都取得长足进步，综合性能达到同量级开源模型的领先水平。

　　InternLM2在2.6万亿token的高质量语料上训练得到。沿袭第一代书生·浦语(InternLM)的设定，InternLM2包含7B及20B两种参数规格及基座、对话等版本，满足不同复杂应用场景需求。秉持“以高质量开源赋能创新”理念，上海AI实验室继续提供InternLM2免费商用授权。

　　阿里云魔搭社区已开设书生·浦语“模型品牌馆”专页，聚合该系列所有模型及体验接口，并推出了相关最佳实践教程，提前跑通模型的部署、推理和微调流程供开发者快速上手。在魔搭社区书生·浦语2模型页，开发者还可点击“Notebook快速开发”，一键拉起阿里云人工智能平台PAI，在云上对模型进行快速开发和部署。

魔搭社区书生·浦语2模型页截图

　　此前9月，书生·浦语InternLM-20B开源也以魔搭社区作为首发平台。作为国内规模最大的AI模型社区，魔搭聚集了国内头部人工智能机构贡献的2700多款AI模型，并成为诸多顶尖大模型的首发阵地。在魔搭上，开发者可一站式进行模型体验、下载、推理、调优、定制，并可调用阿里云免费算力，目前魔搭上开发者超过360万，模型下载量已破亿。

　　回归语言建模本质，筑牢大模型能力基础

　　上海AI实验室联合团队研究认为，对于大模型的研究应回归语言建模本质，通过更高质量的语料以及更高的信息密度，筑牢大模型能力基础。

　　为此，联合团队提出了新一代的数据清洗过滤技术，发展了多维度数据价值评估、高质量语料驱动的数据富集、针对性的数据补齐等方面的技术方法。

　　目前，InternLM背后的数据清洗过滤技术经历三轮迭代升级，使用约60%训练数据即可达到使用第二代数据训练1T token的表现，模型训练效率大幅提升。

第三代数据清洗过滤技术大幅度提升模型训练效率

　　基于第三代数据清洗过滤技术，InternLM2语言建模能力显著增强。

　　支持200K超长上下文，实现长文本中“大海捞针”

　　长语境输入及理解能力能显著拓展大模型的应用场景，然而，大模型有限的上下文长度仍为学界及业界的重要难题。

　　通过拓展训练窗口大小和改进位置编码，InternLM2支持200K token的上下文，能够一次性接受并处理约30万汉字(约五六百页的文档)的输入内容，准确提取关键信息，实现长文本中“大海捞针”。

InternLM2“大海捞针”试验效果

　　性能全面提升，综合能力领先的开源模型

　　研究人员定义了语言、知识、推理、数学、代码、考试等六个能力维度，在55个主流评测集上对多个同量级模型的表现进行了综合评测。结果显示，InternLM2的7B及20B版本性能在同量级模型中表现优异。在典型测试集上，InternLM2只用20B参数的中等规模，即在整体表现上达到与ChatGPT比肩的水平。

InternLM2与ChatGPT的评测结果对比

　　与此同时，综合性能增强带来下游任务全方位能力提升。

　　优秀的对话和创造体验

　　研究测试表明，InternLM2-Chat可精准理解和遵循用户意图，具备较强的共情能力和丰富的结构化创作能力。

InternLM2能够在对话中与用户“共情”

　　进行课程大纲等结构化创作时，InternLM2可精准遵循用户提出的格式、数量、内容等要求；编写《流浪地球3》剧本时，InternLM2具备丰富的合理想象，如外星遗迹、量子纠缠的引入等，同时故事表现了人类面对危机时的勇气和团结精神。

　　工具调用能力整体升级

　　基于更强大、更具泛化性的指令理解、工具筛选与结果反思等能力，InternLM2可支持复杂智能体的搭建，支持对工具进行多轮有效调用及多步骤规划，完成复杂任务。

　　联合团队针对多种任务构建了细粒度工具调用评测集 T-Eval，InternLM2-Chat-7B在该评测集上表现超越了Claude-2.1 和目前的开源模型，性能接近GPT-3.5。

　　数理推理：会做题，还会可视化分析

　　InternLM2在不依靠外部工具的情况下，100以内简单运算准确率近100%，1000以内准确率达80%左右。在GSM8K和MATH评测中，InternLM2-20B表现超过GPT-3.5。

　　为应对复杂计算，InternLM2-Chat还可借助代码解释器编写代码进行计算，或对推理的结果进行形式化验证，从而解决更加复杂的计算问题。

　　基于这些能力，InternLM2还具备了数据分析和可视化实用能力，进一步贴近用户使用场景。

向InternLM2输入国家统计局公布的“2023年3-11月份规模以上工业企业主要财务指标(分行业)”，InternLM2能够分析数据并绘制折线图