首页 > 人物

郑纬民院士:综合考虑,构建基于国产AI卡的万卡大模型训练平台

2024/04/28 13:41      C114通信网   


  4月28日消息(九九)今天上午,以“算力网络点亮AI新时代”为主题的中国移动算力网络大会在苏州开幕。在大会主论坛上,中国工程院院士郑纬民指出,人工智能对算力产生爆发式需求,模型研发、模型训练、模型精调、模型推理都需要算力,算力存在于大模型生命周期的每一环。

  郑纬民进一步指出,构建基于国产AI卡的万卡大模型训练平台需要考虑到几个问题:

  一是半精度运算性能与双精度运算性能的平衡

  设计中不仅要考虑半精度运算性能,还要考虑双精度运算能力,双精度与半精度运算性能之比为1:50-100为宜。根据科学计算(AI For Science)和大模型训练的发展趋势,提出了变精度平衡设计的思想,为适应科学计算和更广泛的AI算法和应用提供了保障。

  二是网络平衡设计

  网络设计不能针对CNN算法,还需考虑极大规模预训练模型对系统的需求。大规模预训练模型需要高带宽低延迟网络。并支持数据并行,模型并行和专家平行模式。

  三是体系结构感知的内存平衡设计

  一方面访问内存的请求使网络拥塞,降低吞吐量,反映到应用程序上表现为访存性能显著下降;另一方面,多个访问内存的请求可能访问同一存控对应的内存空间,负载不均,存控需要顺序处理访存请求。

  四是IO子系统平衡设计

  需要支持检查点,增加SSD。另外,系统的本地nvme ssd仅通过本地文件系统访问,限制了其应用范围,需要将每台服务器上的快速本地nvme整合成应用可见的全局分布式文件系统。

  榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。

相关阅读