2023/09/21 16:12 DoNews
9月21日,华为云CTO张宇昕在华为全联接大会2023主题演讲中表示,大模型重塑千行万业的背后,是众多复杂的技术挑战,需要核心技术的持续创新和突破。华为云以全局的系统性创新,不断攻坚克难,构建AI时代最佳云底座。
张宇昕指出,随着大模型出现能力涌现、多模态融合、MOE等趋势,模型参数将从现在的5400亿很快超过数万亿,对海量的稳定算力、大规模并行训练、以及整体的架构设计都提出了更高要求;同时,数据集规模和Token长度的激增也将带来新的挑战。这些挑战相互影响、环环相扣,可以说大模型及相关应用是迄今为止最复杂的软硬件系统工程。
为应对AI时代的挑战,华为云实现了软硬件结合的系统性创新:
在系统架构层,华为云QingTian架构全新升级分布式QingTian架构,通过打破计算、存储、网络的边界,把过去主从式架构升级为对等架构,极大地提升了AI算力。
基于分布式QingTian架构,华为云昇腾AI云服务提供了算力集群、计算引擎CANN、AI开发框架MindSpore和AI开发平台ModelArts,为大模型和AI应用的开发、运行提供最佳算力服务。
在数据处理层,华为云提供云上全流程一站式能力,包括数据存储、分析、共享、标注方案,让企业实现大模型数据“找得到”“存得下”“记得住”“用得了”。
在AI云存储方面,华为云独创了具备220TB超大带宽和微秒级超低时延的内存服务EMS,以此支持NPU/GPU的内存扩展,可以容纳PB级超大规模参数,让参数存得下;同时,基于SFS Turbo文件存储的大并发、高吞吐缓存服务,可提供千万级IOPS,将10亿条数据和元数据的准备时间从100小时缩短至5小时,让数据准备速度快;此外,基于OBS对象存储构建的低成本大容量知识湖服务,通过深度归档、智能存储分级和存储管理统计平台实现数据精细化管理,数据和向量的存储TCO降低30%,让海量数据存得起。
作为大模型的“超级外脑”,向量数据库是AI时代的刚需产品。华为云GaussDB向量数据库具备千亿级大规模向量数据快速查询更新的能力,检索规模提升10倍,查询时延<10ms,响应速度提升2倍。另外,GaussDB向量数据库具有千维查询能力,查询结果更精准,助力企业业务更智能。
榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。