2024/07/05 11:05 数智前线
大模型落地,谁先集齐七颗龙珠召唤神龙?
文|周享玥
编|赵艳秋
中关村科金CTO李智伟博士最近发现,大模型商业闭环,正在被提到很重要的位置。
不同于过去20年间中国IT行业的发展,可以通过烧钱来快速积累用户,靠估值和广告实现商业变现;大模型时代,投资市场愈加理性,正在倒逼业界加快实现商业闭环。
前不久的华为HDC开发者大会上,华为主机上云军团CEO、混合云总裁尚海峰强调,“加速商业闭环,是使用大模型最关键的一点”,市场终归要回归理性,只有真正的为用户创造价值,实现商业闭环,才有更长远的未来。
而经过数个月的摸索,业界对于如何催动客户从试点探索,走向规模化买单,加速商业闭环这件事,也有了一些方法论。
01
价值共识,1千客户1千哈姆雷特如何解?
“以前买个软件,有些什么功能,给个清单,客户一看就知道了;但大模型时代不一样,客户对这件事的认知并不统一,1000个人可能就有1000个哈姆雷特。”中关村科金李智伟告诉数智前线,这就需要和客户沟通时,有一套方法论,对客户进行正确的价值导向。
毕竟,在大模型落地这件事上,期待值过高或过低,都会极大影响企业应用闭环的形成。“大模型基于Transformer,我们本身也成为了一个Transformer,是把大模型变成一个看得见、摸得着的应用转化者。”快递100总经理陈登坤说。
“为了降低沟通成本,我们现在所有产品都在公有云上有试用版。”李智伟介绍,这样的一个个小的原型系统,有助于客户快速了解大模型能实现什么效果,边界在哪,进而加速从前期讨论到PoC,再到落地部署的推进。
另外,帮企业计算ROI(投资回报率),也是加速落地的普遍做法。中工互联董事长智振介绍,这不仅包括短期ROI,比如上了大模型后,能提高多少效率,节省多少人,多大程度降低对关键人员的依赖,减少人为犯错的可能性等,也包括长期ROI。
这也导致,他们去和客户沟通时,最核心的一项工作,就是引导客户找到整个价值链上最痛、最有价值的点。比如设备运维场景,往往和知识管理紧密相关,一个设计文档出问题,往往可能造成成百上千万元的损失,而原来靠人工去排查,假如需要两小时、千分之一的概率漏检,大模型配合人工可能十分钟就能完成,且漏检率降低90%。
“我们就先给他做那样的场景。”智振说,这对于企业建立对大模型的信心,包括向更多、更深的场景推行,都是非常有帮助的。
02
实施周期,要限定在3到6个月?
过去一年,客户与业界探索了大量场景,但真正从PoC走向商业闭环,却并非每个场景都可以。
面对大模型掀起的这波新变革,也很少有企业愿意一开始就花上几千万、几年的时间来做。
“一年能回本,客户很容易接受;三五年回本,客户就要考虑考虑;7年回本,肯定得政策强制要求了。”智振说,“大家现在普遍能接受的价格区间是50万到200万,实施周期一般要限定在3~6个月。”一些大项目虽然会跨年,但一般都会切分到几个月为一期,以作观察。
一些小型项目,上线时间还能更短。“比如我们也在给一些电商客户提供售前、售后的大模型技术服务,它的决策周期、试用周期很短,甚至收费都是按月的。”智振说。
“我们现在所有项目都是按‘短平快’的方式去做实施,会帮客户把一个大需求,切到一个个比较小的点,逐点试错,逐点突破,而不像以前做软件,一个项目做上一年半载的,客户才能看到效果。”新致软件副总经理曹玺告诉数智前线。
在场景方面,与大语言模型相关的知识类场景,成为企业选择的优先级闭环方向。
泰康科技有限公司人工智能部AI架构师朱兴杰介绍,今年上半年,他们最先在知识如何加工再造,通过知识助手、销售助手等赋能代理人方面下了功夫,形成了初步效果,后续将针对理赔等场景,做风险识别等能力的提升。
而中国工商银行软件开发中心大数据与人工智能实验室副主任夏知渊,在华为HDC大会有关大模型混合云的论坛上,公布的工行“1+X”的工程化解决方案中,除了1指代的是智能体,X种解决方案也大多与知识类场景相关,如多模态的知识检索、交互式的智能搜索等。而基于这些能力,工行在远程银行场景,形成了大模型的全流程赋能,将通话时间压降了10%,员工坐席效率提高18%。
03
大模型中台,避免“散装作战”
为了加速大模型在各行各业的落地应用,各家主流大模型厂商都在纷纷强调模型的“最优性价比”,轻量化模型、MoE、价格战轮番上阵。再加上开源江湖的持续繁荣,企业对于模型的选择,正在更加多元化。
“各种开闭源大模型,只要我们能去把推理部署起来,我们都会去尝试,看效果。”泰康科技朱兴杰告诉数智前线,泰康科技支撑着整个集团的上千个应用,集团各分部门都能根据各自不同的场景,选择不同的模型,“识别出一条最佳路径”。
不可否认的是,相比闭源,出于成本等考虑,开源是更受欢迎的存在。比如在行政执法领域,北京可为高科信息技术有限责任公司正在通过开源模型,为政府客户提供私有化部署。在金融领域,中关村科金CTO李智伟观察,在闭源、源代码开源,以及“源代码+训练数据”开源三种模式中,银行客户更想要第三种。
开闭源之外,业界的一大共识是,大小模型混用正在成为常态。比如中关村科金的混合模型质检平台,让小模型负责声音、画面等基础数据质检,承担高频易检场景,大模型负责低频难检的内容,以及为质检结果提供判定原因,辅助人工快速复审,已经帮助某头部金融机构实现了检测效率提升1千倍,大幅降低人工检测成本。
“这就好比一家公司有分工才能更高效运转。”李智伟说。
而更深一层,一些企业已经开始搭建统一的大模型中台,纳管N个大小模型,以及安全、知识注入、工具、服务分发等。“这样可以有效避免散装作战造成资源浪费,也有助于后续的迭代升级。”泰康科技朱兴杰说。
大模型也正在成为企业的底座。智振透露,他们目前就向客户提出了“三个平台”的思路,即基于大模型底座,做数据平台、业务平台和知识平台。以往工业互联网平台主要在解决数据不贯通和业务不流畅的痛点,但对于知识难沉淀很难解决。而大模型很可能带来巨大提升。
智振看到,目前包含了大模型底座+平台的项目,普遍在百万元量级。但企业并不会一期全建,或全部将旧系统推翻重来,而是循序渐进,“比如现在知识平台好,我就先上知识平台,跟其他业务系统打通,如果用得好,再逐步把别的系统替换掉。”
04
数据飞轮,是难点也是制胜点
作为大模型三要素中的关键一环,数据无疑是影响大模型商业闭环形成的一大重要因素。
“尤其过程数据的缺失,是我们落地过程中,遇到的最大障碍。”北京可为联合创始人曾明告诉数智前线,除了金融、电商等数字化进程原本就比较成熟的行业,大量行业企业都存在数据方面的问题。
比如法律领域,有海量的案件公开数据,但大多都只有简单的案件描述。“如果说一个案件中,正常的思考过程是a到b、b到c……x到y、y到z,那大模型只学a到z,是无法学会的。”曾明说,“现在最缺的就是b到y的过程数据。”
“数据如果只是知识之间的关联性缺失,我们可以通过大模型自带的知识体系来补足。但如果是事实类数据的缺失,就只能通过传统方式去采集回来。“中关村科金李智伟告诉数智前线。
曾明透露,他们目前正通过数据清洗、数据标注等工作,帮助企业进行历史存量数据的补足,同时也正在大模型落地过程中,加速收集增量数据,双管齐下,填补数据空白。
大模型厂商也正在从工具链方面着手,助力企业加速数据治理,形成自己的数据飞轮。事实上,在不少人士看来,越往后走,越不能只盯着模型本身的训练。工具链的建设,将在加速大模型商业闭环中,占据愈发重要的位置。
李智伟告诉数智前线,不仅仅是数据方面,模型的部署、安装、运维和日常的优化调试等,都可以通过工具链来进行提升。为此,他们在今年推出了PowerAgent平台,大模型的部署效率能够提升2~3倍。
05
算力选择,混合云最经济?
算力是加速大模型落地和商业闭环过程中,另一个备受关注的问题。“基于对数据安全、开发成本和训推效率的综合要求,混合云目前正成为越来越多政企的优先选择。”在HDC期间大模型混合云的论坛上,华为尚海峰强调,这是当前最合规也最经济的一个方式。
此前,《深度用云展望2025》白皮书中也曾指出,2025年,75%的企业将会使用AI大模型,而基于混合云的AI大模型占比将达到38%。
比如在政务行业,广州市政务服务与数据管理局副局长梁文谦在华为HDC开发者大会上介绍,为了兼顾数据不出域和大模型的训练需求,他们构建了一个公有云和政务云混合的人工智能公共算力中心,其中100P部署在政务云,提供训练好或还需精调的模型,给人社部门、城市管理部门等应用,另外200P公有云,则作为训练应用。
在金融、汽车等领域,不少企业也采用了公有云和私有云协同的架构。泰康科技有限公司人工智能部AI架构师朱兴杰告诉数智前线,这一方面是出于成本的考虑,“私有算力我们评估都是几千万的投入,才能有不错的效果”。另一方面,业界普遍认为,国产算力仍需在规模、性能、底层生态上完善。
“对于核心的商业知识,肯定要求私有云,因此我们目前会有少量本地私有化的集群,同时也会调公有云服务,去做一个混合的部署。”朱兴杰表示,大家的普遍做法是,利用公有云的高弹性和高扩展性,满足做AI场景创新时的算力灵活租用和场景多方尝试,等到验证一个场景的价值后,再通过私有云的部署,快速实现本地的安全化的数据不出域。“下一步的话,一旦我们看到效果,我们可能就会建立一个很大的私有算力”。
混合云之外,企业也可以选择“公有云的私有化”模式,即在公有云上开一个私有化的环境,达到节省成本的目的。目前,在零售、酒店和文旅等数据管控没那么严格的行业中,有不少企业都选用了这种模式。
中关村科金CTO李智伟则建议,央国企牵头建立专有云,可以让大模型的算力效率和成本更经济。“比如某个区域形成一个能源行业的链主企业,提供公有云,服务区域内所有能源企业。”
06
定制化,“老大难”有新解法
在To b市场,定制化一直是无法规避的问题,同时也是影响商业闭环形成快慢的重要因素之一。
业界观察,过去三十年间,整个信息化和智能化的发展历程,也是定制化的一个简化过程。以人工智能为例,上一个AI时代,AI技术泛化能力差,甚至存在面向同一场景开发的产品,无法在同一银行的不同部门直接复用的情形,定制化成为必然。大模型时代,人们发现它的泛化性,在一定程度上解决了定制化问题。
但随着大模型真实的落地开始,业界发现定制化需求依然大量存在,“甚至在某种意义上增加了。”中关村科金CTO李智伟告诉数智前线,这尤其体现在多样性的客户需求和尚未稳定或收敛的技术阶段。在他看来,与其回避定制化,还不如拥抱这个诉求。
“我们在做很多工具化和配置化的工作,让大模型所依赖的这些偏定制化产品的基建,能够做得更高效、实施成本更低。”百度智能云知识管理产品部总经理宋勋超说。
中关村科金李智伟告诉数智前线,一方面,需要产品经理更了解客户场景,产品标准能力要能够尽可能多地cover业务需求,即产品的满足度要提升。另一方面,产品交付过程中也要提供服务/咨询能力,与客户一起,赋能客户成长。而这一点在行业应用领域非常重要。
中工互联董事长智振则举例称,给企业做定制化,就好比定制西服,量体裁衣的效果必然更好,但成本和耗费时间也会更多。
要想降低定制化的成本、时间,就要提高标准化的比例,也即标准化的产品,加上更加标准化的服务流程。
“今年以来,我们已经将过去一年探索出的能做的方向,全都产品化了。”智振说。而这不仅有利于企业去落地大模型应用的过程中,更快得到能力的交付,也能加快服务商的大模型落地能力推广复制的速度。智振透露,他们目前除了自己面向客户提供产品+服务的整体方案,也将标准产品卖给了伙伴,再由伙伴向客户出方案。
07
运维,让投资不打水漂
“好多人往往忽略了大模型的运维运营,但我认为它和大模型的建设同样重要,值得我们长期的投入,否则你根本用不起来。”华为主机上云军团CEO、混合云总裁尚海峰表示,这其中,涵盖了体系建设、AI培训、技术运营、场景运营、生态运营、市场运营、运营门户等多个环节。
比如,鄂尔多斯市政府与华为联合打造的以行业AI大模型为核心的工业互联网平台,采用‘前店后厂’模式。据鄂尔多斯市创新投资集团有限公司副总经理廉咏梅介绍,在这种模式下,“后厂”不断聚集生态伙伴来拓展新场景,开发新的大模型应用产品的同时,“前店”也能通过线上应用商城,实现商业的变现,实现成果转换和商业闭环。
但与此同时,这也对企业和服务商都提出了新的要求。
于企业而言,需要尽快通过服务商们提供的AI赋能、AI培训等模式,打造落地大模型的内生能力。
于服务商而言,也更加要求长期服务和陪伴的能力。“to b企业软件领域有一个逻辑是,每年如果不更新,就会损失15%的能力。”智振告诉数智前线。
显然,在今天的大模型时代,技术的更迭和升级还要更快。而这也同样意味着,不管是企业,还是大模型服务商们,都需要更经常地进行经验总结,更新方法论。
榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。