商汤升级“日日新5.0”大模型 对标GPT-4Turbo

　　·“日日新5.0”采用混合专家架构，超10TB tokens训练，覆盖大量合成数据，推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中，用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。

　　“日日新5.0”和GPT-4回答趣味推理问题。

　　4月23日，在2024商汤技术交流日上，商汤科技董事长兼CEO徐立发布行业首个云、端、边全栈大模型产品矩阵，满足不同规模场景应用需求；升级“日日新SenseNova 5.0”大模型体系，综合能力全面对标GPT-4 Turbo。

　　“商汤在尺度定律的指导下，持续探索大模型能力的KRE(知识-推理-执行)三层架构，突破大模型能力边界。”徐立表示，“日日新SenseNova 5.0”(以下简称“日日新5.0”)采用混合专家架构(MoE)，超10TB tokens训练，覆盖大量合成数据，推理时上下文窗口达200K左右。本次更新主要增强知识、数学、推理及代码能力，全面对标GPT-4 Turbo。

　　在文科能力方面，“日日新5.0”的创意写作能力、推理能力及总结能力均有提升，相同的中文知识注入后，可获得更好的理解总结及问答，为教育、内容产业等垂直应用场景提供辅助。在理科能力方面，“日日新5.0”数理能力、代码能力及推理能力提高，为金融、数据分析等场景落地提供基础。

　　“日日新5.0”的多模态能力在多模态大模型权威综合基准测试MMBench中综合得分排名首位，在多模态榜单MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU中取得领先成绩。“日日新5.0”支持高清长图的解析和理解、文生图交互式生成，还可实现跨文档知识抽取及总结问答展示。

　　商汤科技云、端、边全栈大模型产品矩阵中，用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求，端侧大语言模型推理速度在中端平台可实现18.3字/s的平均生成速度，旗舰平台可达78.3字/s。扩散模型同样可在端侧​实现快速推理速度，端侧LDM-AI扩图技术在某主流平台上的推理速度小于1.5秒，支持输出1200万像素及以上的高清图片，支持在端上快速进行等比扩图、自由扩图、旋转扩图等图像编辑功能。

　　演示扩图功能。

　　大模型产品矩阵还包括面向金融、代码、医疗、政务等领域的边缘产品“商汤企业级大模型一体机”，支持企业级千亿模型加速和知识检索硬件加速，实现本地化部署。端云协同解决方案可通过智能化判断协同发挥端云各自优势，需要联网搜索或处理复杂场景时分流至云端处理，部分场景端侧处理占比超80%，从而降低推理成本。在个人出行场景，小米汽车SU7智能车舱中应用了商汤大模型技术，基于商汤端云大模型解决方案，小米小爱同学为车主提供智能化交互体验。

　　文生视频平台。

　　“商汤在这么多年做了非常多视频、感知、理解的技术和内容，商汤关注如何把视频的生成做到可控。我们打造了文生视频平台，强调对人物的可控性、情绪的表达、微表情等相关内容，同时我们也强调对于动作的可控性和交互性。”徐立带来了3段完全由大模型生成的视频。未来，输入一段文字或一个完整描述就可以生成一段视频，人物的服饰、发型、场景可预先设定，保持视频内容的连贯性和一致性，“我们会在很短时间内发布为大家提供服务的文生视频平台。”