对话百度侯震宇：大模型的成本门槛，还能怎么砍？

　　上线15年，苹果应用商店的App数量达到180万个。繁荣的应用生态，直接为苹果带来的运营利润率据信超过70%。

　　生成式AI的热浪涌动以来，构建一个繁荣的应用生态、成为下一个App Store甚至iOS成为众多科技巨头追求的目标。不过从目前进展来看，从基础大模型走向AI原生应用的爆发，这个过程障碍重重。

　　底层IT基础设施重构、大模型使用成本、应用研发范式，环环皆门槛。

　　在AI原生时代的「愤怒的小鸟」出现之前，位于变革底层的云计算产业以及云服务商应该如何自我重构、如何磨平大模型的准入门槛去加速AI原生应用生态的繁荣?面对大模型浪潮，企业客户诉求又发生了哪些变化?

　　在2023百度云智大会·智算大会期间，《降噪NoNoise》对话了百度集团副总裁侯震宇。

　　在国内云计算厂商中，百度智能云是最早进行大模型「适配」的一家。今年3月27日，百度智能云基于刚上线的文心一言，推出面向企业客户的千帆大模型平台;8月31日，千帆平台全面开放，近4个月内的大模型日调用量增长了10倍。

　　作为百度智能云事业群云计算产研以基础技术工程团队的负责人，侯震宇向我们分享了百度智能云的最新业务布局，以及百度内部对于行业发展趋势的最新判断和思考。

　　01

　　降模型成本

　　2024年非常关键的事

　　今年以来，算力已经被公认为是大模型竞争的「军火库」。这不仅让英伟达的市值超过英特尔，也让其财报中的GPU收入超过了手机芯片之王高通。

　　但算力的另一面是GPU供应紧张、价格昂贵。成本压力是会层层传导的。

　　比如AWS首席执行官Adam Selipsky前不久在谈到整个行业时曾直言：「我接触过的很多客户都对运行其中一些模型的成本感到不满。」

　　在这个问题上，中美企业所面临的挑战并无不同。在同《降噪NoNoise》交流时，侯震宇提到他的一个判断——预计2024年整体算力资源供应的不确定性或者说紧张程度仍然比较大，所以云计算厂商面临的共性问题是如何更高效地使用算力资源。

　　其实不仅是算力资源昂贵，目前人力资源、数据资源(如数据标注)，本身成本也很高。「确保大家用足够少的钱能训练出来想要的模型，以及用一个客户可接受的成本使其真的把AI大模型用起来，这些会是2024年非常关键的事。」

　　目前，国内云计算厂商的思路大多是在保证同等效果前提下，通过推理优化、模型训练工具链优化等，以缩短算力使用时间。

　　以百度智能云为例，其主要通过基础设施层的异构计算平台「百舸」、大模型平台层的「千帆」互相打配合，以实现算力性价比。

　　追求算力性价比的方向无非两个：一是提高GPU利用率，缩短使用时间。比如在大模型训练环节，百度通过分布式并行训练策略和微秒级互联，让万卡规模集群训练的加速比达到95%、万卡集群有效训练时间占比达到98%。

　　「百舸」升级到3.0版本后，训练和推理场景的吞吐量据称可提高30%-60%，这些意味着原来要用100天的训练，现在可能只用70天，节约时间等于间接省钱。

　　二是适配成本更低的AI芯片，除英伟达外，千帆平台还兼容昆仑芯、昇腾、海光DCU、英特尔等国内外主流AI芯片。毕竟不是所有训练都需要动用H800这种顶格待遇。

　　通过组合选项，理论上客户可以用最小的切换成本完成算力适配。这种属于直接省钱。

　　不过再怎么省钱，前提还是要保证AI模型的效果。若达不到客户的预期效果，云服务商对算力资源「算计」再多，也是没有意义的。

　　02

　　AI原生应用生态，需要先“松土”

　　今年下半年以来，李彦宏在多次在公开场合奋力疾呼：别再卷基础大模型了，跑偏了，现在应该去卷AI原生应用。

　　对于李彦宏所提建议，外界并不意外。AI原生应用是构建大模型生态繁荣的重中之重，也是百度等AI巨头在大模型商业变现路上的核心变量。

　　未来的大模型变现，一部分将通过模型生产获取收益，更多还是通过原生应用调用模型API带来的算力消费，这部分将会是规模更大的收入来源。所以说，仅有算力未必能搞定一切，孵化生态更为重要。

　　反映到百度智能云，一是千帆平台的「既要又要」——作为大模型层平台，千帆上不仅有百度「文心大模型4.0」，还先后上架了50多个第三方基础大模型和行业大模型，相当于搞了个「大模型商店」;二是「卖铲子」——为企业提供大模型开发的全流程工具链和整套环境。

　　在AI原生应用层，为降低开发门槛，百度智能云宣布AI原生应用开发工作台——「千帆AppBuilder」全面开放，将开发大模型应用的常见模式、工具、流程，沉淀成一个工作台。通过上面的应用组件和应用框架，开发者、企业可以快速搭建AI原生应用。

　　这就好比一名想要出租房屋的房东，他不仅要把毛坯变成精装，还要提供床、沙发等生活基本套件，最好能做到租客拎包入住，只有这样，房屋的出租、流转效率才有可能提高。

　　我们从交流中获悉，百度智能云早期并没有意识到一个问题——许多开发者还不擅长使用大模型做应用开发。

　　他们访问了一批开发者，想要知道当这些人想到了一个检索增强的框架、希望用一个Agent的时候，自己知不知道一个Agent该怎么搭建?

　　结果发现，很多人真的以为只用大模型Prompt接口，就可以完成应用开发。

　　这也说明，要构建一个百万级的原生应用生态，平台需要率先为开发者松松「土壤」、扫除各种障碍，而不是等后者直接被研发新范式「劝退」。

　　毕竟开发者是应用爆发的主要推动力量。

　　「如果没有应用调用，意味着你做出来这个模型效果不够好或者大家用不起，意味着这个产业就有问题。」侯震宇提醒，只有行业客户的场景里有更多的AI原生应用落地，构建出新的应用生态，才能真正实现大模型的价值。