2025/02/14 12:00 光锥智能
2025年开年,DeepSeek在国内外大模型行业掀起了地震。除了深度推理模型DeepSeek-R1在回答问题上的表现优异之外,DeepSeek的存在,给国内大模型圈注入了紧张又鲜活的空气。
其一,凭借技术优势,DeepSeek一举进入国际大模型头部梯队,这给国内大模型公司看到了弯道超车的可能性。
其二,DeepSeek的训练成果,打破了算力受限的问题,证明通过算法优化,同样可以以低算力训练出高质量的模型。
当算力“卡脖子”的隐忧被放下,兼顾能耗和精度的大模型应该解决哪些问题?在这个层面上,国内大模型公司纷纷交出了各自的答卷。
最近,由中国科学院自动化所孵化的AI企业中科闻歌发布的雅意大模型旗舰版——YAYI-Ultra在破解大模型落地"精度-能耗"困局前给出了自己的答案。
作为覆盖全球100+模型的权威评测体系,OpenCompass榜单历来是观察大模型技术路线的"晴雨表",在其近日发布的OpenCompass大模型公开学术榜单中,中科闻歌YAYI-Ultra,以64.5分首次闯入前十,成为TOP10中五个中国大模型之一。
在OpenCompass最新大语言模型公开学术实时榜单中,YAYI-Ultra排名综合得分64.5,排名第十,其中:
代码生成:LiveCodeBench排名第五,表现优于GPT-4o-20241120版本
复杂指令理解:IFEval排名第九
知识推理能力:MMLU-Pro排名第九
在侧重中文理解的C-Eval评测中,YAYI-Ultra在允许自主验证的公开访问榜单位列第二,展现了在中文场景下的技术优势。一手实测:超长文输出复杂任务规划精准拿捏
根据官方信息,YAYI-Ultra在图表理解、复杂任务、长文理解与生成方面表现突出,我们立马上手从六个维度(多模态图表深度理解、复杂图像理解、复杂任务智能规划(Function Call)、数据统计分析及超长文本理解与生成)实测下YAYI-Ultra表现到底如何。
01 视觉理解再升级:懂语言,更懂图表
上来我们先来读个图表试试。
prompt:2000年前后,哪个价格区间的物业费占比变化最多?
YAYI-Ultra可以准确识别柱状图中的不同颜色和数字,充分理解图表并给出回答。
除了中文场景外,在多语言场景中,YAYI-Ultra也能够准确理解并遵循用户指令,提供跨语言的精准回复。
prompt:How did the distribution of agriculture-related employment change between 2012 and 2022? Did it increase or decrease, and by what percentage or amount? Answer in Chinese。
可以看到,在视觉理解方面,针对跨语言多模态对齐、多图推理、可变分辨率等技术难点,YAYI-Ultra全面升级,增强了模型在跨语言图表理解、多图表问答、多模态指令遵循等方面的能力,不仅能轻松应对堆积条形图、散点图、混合图表等复杂图表场景,在图表重绘、图表转换等任务上也表现突出。
02 表格智解:万千表格不在话下
在工作中,复杂报告统计费时又费力,我们“喂”给YAYI-Ultra一张包含行业普通报告、行业深度报告、公司普通报告三种类型交替出现的表格,YAYI-Ultra准确统计出不同类型报告的数量。
prompt:每种报告类型的数量是多少?
当涉及不规则表格时,YAYI-Ultra依然能够精准解析并提取关键数据。以下表格包含总分结构及复杂数据表述,YAYI-Ultra能够准确理解表格中的模型类型、方法及局部性指标变化数值,并完成对比分析。
prompt:哪个基座模型使用IKE方法后局部性下降最多?
在统计数据理解方面,可以看出YAYI-Ultra重点增强了表格问答中复杂排版理解、跨语言问答等能力。
从金融报告、学术论文,到包含嵌套结构的复杂表格,YAYI-Ultra都能精准定位信息、理解用户意图;同时,模型也能够在跨语言表格问答场景中,提供高效、清晰的解答。
03 Function Call:复杂任务智能规划
继续上难度,我们让YAYI-Ultra绘制一下去年奥运会中国队金、银、铜奖牌数量折线图(随时间变化)。
首先可以看到,YAYI-Ultra准确理解了用户意图,确定“去年奥运会”指的是巴黎奥运会,并制定出详细的任务规划;接下来,模型通过搜索引擎获取巴黎奥运会中国队金、银、铜牌相关数据(包括91枚奖牌的类型及获得时间);再将这些奖牌数据进行梳理,归类分组、按时排序,并生成代码,通过调用代码解释器,完成折线图绘制。
YAYI-Ultra之所以能够完成这一系列的复杂任务拆解与规划,离不开其增加的工具调用能力,主要包含搜索引擎、代码解释器、图像解析、天气等基础工具;新闻热榜追踪、传播影响力分析等特色垂直领域工具。
模型显著增强了在多工具串行调用场景下的规划合理性,同时提升了复杂搜索场景下的信息收集能力。
04 多模态输出:图文并茂,直观简洁
在文献阅读或者信息收集过程中,我们通常需要从多篇文档中查找、分析特定信息(如数值变化、实验结果等),现在一句话就能找到想要的内容,并且YAYI-Ultra在文字分析描述的基础上,可同步给出对应的图片内容。
比如,提问:The percentage of different behaviors under different collaborative strategies
YAYI-Ultra根据问题,从用户构建的“人工智能论文知识库”中识别相关的多篇人工智能论文,并据此进行回答。答案中不仅有文字,还在对应的引用位置给出了原始图片,大大提升了阅读体验及答案可靠性。
05 全栈长文:吞吐万言,下笔如神
最让人眼前一亮的要属超长文输出,YAYI-Ultra支持最长20万字输入和10万字超长输出,形成从“输入理解”到“内容创作”的全链路长文本能力闭环。
YAYI-Ultra支持联网智能创作与文献锚定创作双模式,并将长文写作任务拆解为更小、更可控的子任务(先生成大纲,再根据大纲生成全文),这样有效保证了文本结构,提升长文生成质量。
●联网智能创作:联网收集信息完成创作
prompt:写一篇30000字的中国儒家文化发展历史分析报告
●文献锚定创作:划定知识边界精准写作
prompt:请根据参考资料写一篇长文,写作的主题是“通用人工智能解决方案:创新与效率的完美结合”
06 数据分析:精准求解,可视交互
最后,我们也针对基础的数据分析和可视化图表绘制进行了实测,YAYI-Ultra准确完成分析、计算和图表绘制任务。
prompt:根据表格,计算人均月收入,然后计算月收入与人均月收入的差值,绘制一个柱形图,横轴是名字,纵轴是差值,标题是“每人收入与平均值差距”。
YAYI-Ultra根据用户要求,通过Python of Thought(POT)能力,生成Python代码并执行,精准完成了统计推断、矩阵运算、数值优化等数值密集型任务。
榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。