循环智能与华为云联合推出首个千亿中文语言模型 刷新CLUE三项榜单记录

　　4月25日,循环智能(Recurrent AI)与华为云联合推出千亿参数、40TB训练数据的全球最大中文语言预训练模型“盘古”,鹏城实验室提供算力支持。在权威的中文语言理解评测基准CLUE榜单中,总成绩及阅读理解、分类任务单项均排名第一,刷新三项榜单纪录,总成绩得分83;在NLPCC2018文本摘要任务中,取得了Rouge平均分0.53的业界最佳成绩,超越第二名百分之六十。

　　“跟以往的大规模预训练模型不同,盘古模型从第一天起就是奔着商业化落地和企业级应用的角度进行设计和研发的。”循环智能(Recurrent AI)联合创始人杨植麟博士表示,“作为一个深耕 NLP 企业服务的团队,我们看到了 GPT-3 等大规模预训练模型的潜力,但也看到了它们在落地过程中的局限。盘古NLP大模型正是为了克服这些局限而生。”

　　三大创新,瞄准NLP大模型落地难题

　　在NLP大模型的企业级落地应用中,GPT-3等模型由于应对复杂商用场景的小样本学习能力弱、难以结合微调扩展业务场景以及难以融入不同领域的知识,所以很难在商业场景中得到应用。为了克服这些局限,盘古NLP大模型带来三大创新。

　　第一,盘古NLP大模型在小样本学习任务上超越GPT-3,解决后者难应对少样本复杂商用场景的问题。比如在企业客户心声分析和员工执行力分析场景中,使用盘古NLP大模型生产语义标签时,实测得到目标结果所需的样本量仅为GPT-3模型的十分之一,即AI生产效率可提升十倍。

　　第二,盘古团队在预训练阶段加入了基于 prompt 的任务,大幅降低微调难度,解决以往大模型难为不同行业场景进行微调的问题。在下游数据充足时,微调难度的降低使得模型可以随着数据变多而持续优化;在下游数据稀缺时,微调难度的降低使得模型的少样本学习效果得到显著提升。比如,在企业借助沟通内容判断客户购买意向,以找出更多目标客户从而提升转化率的场景中,实测盘古NLP大模型相比GPT-3可提升 27% 的成单转化率。

　　第三,除了能像GPT-3等仅基于端到端生成的方式以外,盘古NLP大模型还可以通过少样本学习对意图进行识别,转化为知识库和数据库查询,解决以往大模型难融入行业知识和数据的问题。比如在金融服务场景中,盘古NLP大模型能更好地赋能实时沟通辅助系统,帮助服务人员快速提升业务水平,重塑消费者体验。

　　此外,盘古NLP大模型涉及千亿参数、40TB训练数据,对算法、算力、海量数据处理都提出了很大挑战。在算法方面,循环智能与华为云的算法研究团队经过数月的联合攻关,通过在预训练阶段引入基于Prompt的任务等多项创新方案,成功突破了大模型微调的难题。在算力方面,鹏城实验室的国内最大规模AI训练集群鹏城云脑II,在大模型训练中展示出强大的AI算力和数据吞吐能力,为盘古大模型训练打下坚实的基础。在海量数据处理等方面,华为云底层软件、训练框架、ModelArts平台协同优化,充分释放算力,达成全栈性能优化。

　　全新理念,增强“人”的智能

　　在高附加值的产品销售与服务过程中,如保险、房产、教育、财富管理等行业,企业需要借助人与人之间的沟通过程,让销售人员与客户建立更紧密的联结,提供更专业的服务。但由于销售人员的素质和能力提升缓慢,同时企业缺乏对目标客户的了解,导致客户体验不佳,销售难获增长。

　　循环智能(Recurrent AI)为企业提供人员产能提升、精准销售和新一代合规质检解决方案,帮助企业更快地提升销售人员能力、更快地找到目标客户以及降低合规风险。

　　• 人员产能提升 Expert↑:借助深入业务流程的优秀实践挖掘、沟通实时辅助和执行监督报表产品组合,帮助企业将优秀销售人员的实践经验传递给每一名普通销售。在与客户沟通中实时辅助销售人员,提升他们的表现,将他们为企业创造的价值最大化。

　　• 精准销售 Target↑:循环智能开创了基于沟通对话数据与成单结果的意向预测模型,通过算法模型,可筛选存量线索中的高意向线索,或筛选对某产品更感兴趣的客户名单,帮助销售人员更精准地找到目标客户,提升销售和服务效率。

　　• 新一代合规质检 Complicance↑:不同于基于“关键词+正则”的传统方案,循环智能提供高准确率和召回率的“非正则”合规质检方案,配合独家的“违规率排序”功能,可助力质检员多找出 2～10 倍违规对话,帮助企业大幅降低合规风险。

　　截止2021年4月,循环智能(Recurrent AI)已服务了银行、保险、在线教育、房产和消费金融等领域的众多行业标杆客户,包括招商银行、人保财险、太平洋保险、招商信诺、水滴、新东方在线、51Talk、豌豆思维、万科、我爱我家、安居客和捷信等。

　　关于循环智能

　　循环智能(Recurrent AI)是一家 AI 企业服务公司,借助原创的自然语言处理和深度学习技术,帮助中大型企业充分挖掘对话数据的价值,提升员工产能,带来业绩增长。公司服务的客户主要在保险、银行、房产和在线教育等领域。创始团队来自清华大学、卡内基梅隆大学,并获得红杉资本中国基金、真格基金、金沙江创投、靖亚资本等知名投资机构的支持。2021年,循环智能入选CB Insights 年度“AI 100全球榜单”。2020年,循环智能获得高新技术企业认证,并被德勤Deloitte评选为“中国明日之星50强”。2019～2020年,循环智能连续两年入选《机器之心》年度“最具产业价值”榜单。