混元大模型，好饭不怕晚

　　作者：张奕丹

　　编辑：吴辰光

　　期待已久的腾讯混元大模型终于亮相。

　　9月7日，在腾讯全球数字生态大会2023上，腾讯混元大模型面世。这是腾讯全链路自研的实用级通用大语言模型，拥有超千亿参数规模，预训练语料超2万亿tokens，具有强大的中文理解与创作能力、逻辑推理能力，以及可靠的任务执行能力。

　　目前混元大模型只通过腾讯云向B端开放，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等多个腾讯内部业务和产品，已经接入腾讯混元大模型测试并取得初步效果。腾讯表示，大模型外部接口应用形式是混元助手，会关注C端应用。

　　腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生表示，腾讯产业互联网将全面拥抱智能时代，以大模型生成技术为核心，人工智能正在成为下一轮数字化发展的关键动力，也为解决产业痛点带来了全新的思路。腾讯产业互联网将通过智能增强、数据增强、连接增强，助力产业建构“智能引擎”，挖掘数据价值，连接场景应用，实现高质量发展。

　　据赛迪顾问8月底发布的数据显示，受ChatGPT驱动，今年国产大模型开始爆发式增长，仅1-7月，就有共计64个大模型发布。截至2023年7月，中国累计已有130个大模型问世。

　　虽然姗姗来迟，但腾讯曾多次表示要务实，要拿出成熟的大模型，而不是半成品。此次腾讯指出，混元大模型是腾讯云MaaS服务的底座，各行各业可以基于混元、也可以基于开源模型，做自己专属的行业大模型。

　　在腾讯看来，对于基础模型而言，不应只局限于问答式聊天，长期价值将通过应用来体现，应用场景是决胜的关键因素。要从实践中来，到实践中去。

　　姗姗来迟，但该有的都有了

　　所谓全链路自研，即从模型算法到机器学习框架，再到AI基础设施都由腾讯自主研发。具备的特点包括大规模、高质量、多样化的语料库;创新的大模型算法;自研Angel机器学习框架，训练方法的创新性;强大的算力基础设施。

　　超千亿的参数规模，预训练语料超2万亿tokens，这让混元大模型具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。

　　针对行业普遍难题，混元大模型优化了预训练算法及策略，让幻觉相比主流开源大模型降低了30%-50%;通过强化学习的方法，让模型学会识别陷阱问题，对难以回答或不应回答的问题说“不”;通过位置编码优化，提高了超长文的处理效果和性能;提出思维链的新策略，能够像人一样结合实际的应用场景进行推理和决策。

　　腾讯自研Angel机器学习框架，使训练速度相比业界主流框架提升1倍，推理速度比业界主流框架提升1.3倍。

　　其实，腾讯从2018年就开始探索预训练模型技术，在内部有广泛的实践。从2021年开始，腾讯先后推出千亿和万亿参数的NLP稀疏大模型。2022年，在中文语言理解权威评测集合CLUE 与 VCR、MSR-VTT，MSVD等多个权威多模态数据集榜单中登顶，实现跨模态领域的大满贯。打破CLUE三大榜单记录，实现在中文语理解能力上的新突破。混元大模型是多次迭代之后的产品，在使用场景资源、数据方面都有优势，再加上云计算基础设施的加持，竞争力大大提升。

　　腾讯集团副总裁蒋杰表示，腾讯研发大模型的目标不是在评测上获得高分，而是将技术应用到实际场景中，腾讯将全面拥抱大模型。

　　对于为何姗姗来迟，在此前的腾讯2023年股东大会上，腾讯董事会主席兼首席执行官马化腾给出了解释：“我们最开始以为这是互联网十年不遇的机会，但是越想越觉得这是几百年不遇的、类似发明电的工业革命一样的机遇。互联网企业都有很多的积累，都在做，我们也一样在埋头研发，但是并不急于早早做完，把半成品拿出来展示。”

　　马化腾以工业革命举例，认为早一个月把电灯泡拿出来在长的时间跨度上来看是不那么重要的，关键还是要把底层的算法、算力和数据扎扎实实做好，而且更关键的是场景落地。

　　“一个公司不能包揽一切，腾讯应该思考的是如何更聚焦在最擅长的做到业内最好的发挥自己的价值，而不贪图把宝贵的精力分散在其他人更专业的方面去抢一杯羹。所以还是更专注在能最大化发展自己的优势，发现哪些业务和过去的业务能产生1+1大于2的效益，用得上自己过去的经验并且能做到业内最好的水准，经常去思考这个会使自己的动力更足。总结起来就是不急功近利，要了解自己的优势，抓住适合自己的的机会，并把自己擅长的事情做到极致。”马化腾表示。

　　在3月的财报电话会议上，腾讯总裁兼投资委员会主席刘炽平表示，AI将成为公司未来业务增长的放大器。生成式AI和基础模型技术可以补充优化腾讯的业务。因此，该公司将积极投入资源来构建基础大模型，这将在未来对每个业务线都起到正向补充作用。同时，这也有助于推出新业务。腾讯希望沿着正确的路线踏实前进，不急于求成，先打好基础，再追求新进展，第一款产品将会是多次迭代之后的产品，整个过程将是长期的。而且，聊天机器人也将只是腾讯未来发布的众多产品中的一种。

　　在8月的财报电话会中，刘炽平再次表示，就生成式AI技术或广泛地对于基础模型而言，腾讯认为此类技术和机会并不仅局限于聊天机器人这样的问答式体验。AI技术将有助于提高用户交互服务的效率和质量，促进腾讯的广告定位、数据定位能力，以及提升许多内容生产的效率。因此，通过持续发展生成式AI，腾讯将能从多个方面受益。

　　艾媒咨询CEO张毅表示，腾讯的姗姗来迟，一方面是因为不需要用大模型来刺激股价，另一方面是现在有正在成长且发展较好的产品，如金融服务、视频号等，所以不需要着急跟风。至于目前只开放B端不开放C端，或许与自己的产品排队有关，至少腾讯不需要用大模型来招揽C端用户。同时，目前国内主要还是偏搜索类型的企业大模型更有需求，大模型对C端的主要应用场景应该是搜索的升级版。其他企业在C端的机会并不大，因此还是在B端，B端应用的方向比较多，距离商业化也相对近一些。

　　CHIP奇谱科技总编罗国昭认为，大模型是近半年来很多科技公司包括创业公司的新融资方向，一些企业需要表现出“我有”以及“我有能力”。嗓门大能获得投资者和舆论的注意，而声音小要么缺实力，要么就是有真材实料已进入关键的行业应用，不需要特意发声。腾讯本身拥有全国几乎最大体量的互联网用户及信息资源，再加上多积累半年数据，混元大模型无论在B端还是C端都更接近市场需求，更有实用性。而C端的数据规模、用户规模以及可能使用的场景复杂度都远远超过B端，这或许是先开放B端的原因。

　　从实践中来，到实践中去

　　自8月底以来，百度、商汤科技、百川、阿里等多家科技公司均表示，已通过首批《生成式人工智能服务管理暂行办法》备案，旗下大模型向全社会开放，至此，国产大模型将进入“百花齐放”时间，很快将进入应用场景的比拼。

　　9月5日，在2023百度云智大会上，百度智能云交出大模型服务的成绩单：千帆大模型平台上月活企业数已近万家，覆盖金融、制造、能源、政务、交通等行业的400多个场景。

　　百度创始人、董事长兼首席执行官李彦宏表示，模型本身是不直接产生价值的，基于基础大模型开发出来的应用才是模型存在的意义，对于创业者来说，卷大模型没有意义，卷应用机会更大。

　　7月7日，世界人工智能大会上，阿里云CTO周靖人表示，“模型即服务”不简单指大模型本身或者各种各样丰富的模型，更重要的是如何让模型能够集成，并在各行各业管理下真正进行一系列优化，让模型释放本身的能力，结合行业具体业务场景完成业务系统智能化。

　　目前，阿里云正在开启多个行业的大模型合作，已公布的通义千问合作伙伴众多，覆盖油气、电力、交通、金融、酒旅、企服、通信等行业。

　　6月，360集团创始人周鸿祎表示，中国市场已进入“百模大战”，将开启应用场景的比拼，谁的大模型具有多模态的能力，就预示着真正走上一个新的台阶。目前中国大模型在很多方面已经赶上了GPT-3.5，追赶GPT-4的速度也超出了想象，中国自研大模型弯道超车的关键就在于多模态。

　　再看腾讯，大模型技术积累来自腾讯丰富的应用场景，混元大模型经过业务场景充分磨练，是多次迭代之后的通用技术底座，能满足应用需要，正所谓从实践中来。

　　至于如何到实践中去，目前，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等多个腾讯内部业务和产品，已经接入混元大模型测试。

　　例如腾讯会议基于混元大模型打造的AI小助手，只需要简单的自然语言指令，就能完成会议信息提取、内容分析等复杂任务，会后还能生成智能总结纪要;在文档处理方面，混元大模型支持数十种文本创作场景，在腾讯文档推出的智能助手功能中已有应用;同时，腾讯混元还能够一键生成标准格式文本，精通数百种Excel公式，支持自然语言生成函数，并基于表格内容生成图表，目前这些功能正在内测阶段，将在成熟后面向用户开放;在广告业务场景，腾讯混元大模型支持智能化的广告素材创作，能够适应行业与地域特色，满足千人千面的需求，实现文字、图片、视频的自然融合。此外，基于混元大模型的能力，广告智能导购能够帮助商家在企业微信等场景，提升服务质量和服务效率。

　　汤道生表示，千行百业可以通过API调用混元，或者将混元作为基底模型，为不同产业场景构建大模型应用。目前腾讯已经和1万1千家生态伙伴展开紧密合作，推出了覆盖100多个产业场景的行业解决方案，共同服务千行百业。去年，生态伙伴收入占到腾讯云整体收入的三分之一，收入增速是腾讯云增速的4倍。在探索未来的道路上，腾讯愿与伙伴携手共同探索大模型等全新行业机遇，持续拓展下沉市场。

　　自2018年至今，腾讯累计研发投入超过2300亿元。

　　另据全国工商联在9月12日发布的2023中国民营企业500强调研分析报告显示，从研发费用排名看，排名前十位的500强企业涉及互联网和相关服务，汽车制造业，计算机、通信和其他电子设备制造业，电气机械和器材制造业等4个行业。其中，榜单中研发投入排名前三的企业均来自互联网行业，分别为腾讯、阿里巴巴和百度，在2022年度研发投入分别为614亿元、538亿元和233亿元。

　　盘古智库高级研究员江瀚认为，部分企业首批通过备案意味着国产大模型已经进入了一个相对成熟的阶段，政策缩紧可能会对一些模型的开发和应用造成一定的影响，但是这并不意味着百模、千模大战不会到来。随着技术的不断发展和应用场景的不断拓展，自然语言处理技术仍然有很大的发展空间和应用前景，因此未来可能会出现更多的模型和竞争。

　　DCCI互联网研究院院长、知名互联网学者刘兴亮表示，腾讯有场景方面的优势，有云计算基础设施方面的加持，也有使用场景的资源，绝对是大模型的种子选手。大模型自研不仅可以提升技术实力，也在推动创新和应用，提升中国企业在国际市场上的竞争力。国产大模型的长期价值将通过多元化的应用场景来体现。