AI 2024的方向

　　按：英伟达本周公布了最新季报。比起超预期的财务数据，电话会议才是真正的看点：AI的2024怎么走?“算力沙皇”的权杖，指明了潮水的方向。以下为电话会纪要内容。第三季度又是创纪录的季度。营收达181亿美元，环比增长34%，同比增长超过200%。

　　远高于我们160 亿美元的预期。从数据中心开始，基于Hopper Tensor Core GPU架构的 NVIDIA HGX 平台的持续增长，以及InfiniBand和网络，推动数据中心收⼊创纪录地达到145 亿美元，环比增长1%，同比增长279%。

　　NVIDIA HGX与InfiniBand本质上是AI超级计算机和数据中心基础设施的参考架构。一些最令人兴奋的生成式AI 应用程序都是在 NVIDIA 上构建和运行的，包括 Adobe Firefly、ChatGPT、Microsoft 365 Copilot、Zoom AI Companion等。

　　我们的数据中心计算收⼊比去年增长了四倍，网络收⼊几乎增长了两倍。对训练和推理大型语⾔模型、深度学习、推荐系统和生成式 AI 应用的基础设施的投资正在推动对NVIDIA加速计算的广泛强劲需求。推理现在是NVIDIA AI计算的主要工作负载。

　　消费互联网公司和企业在第三季度推动了惊人的环比增长，约占我们数据中心收⼊的一半，并且超过了总体增长。

　　Adobe、Databricks、Snowflake 和 ServiceNow等企业软件公司正在向其平台添加AI副驾驶和助理。

　　本季度我们数据中心收⼊的另一半。所有超大规模CSP 以及全球范围内一系列新的GPU专用CSP的需求都很强劲，这些CS正在快速增长，以应对AI领域的新市场机遇NVIDIA *** Tensor Core GPU实例现在几乎在每个带有实例的云中都可用需求量很大。今年每个季度我们都大幅增加供应，以满足强劲的需求，并预计明年将继续这样做。

　　我们还将有更广泛、更快的产品发布节奏，以满足不断增长和多样化的人工智能机会。本季度末，美国政府宣布了一套针对中国和其他市场(包括越南和某些中东国家)的新出口管制法规。这些法规要求我们的许多产品获得出口许可证，包括我们的Hopper和Ampere 100和800系列以及其他几种产品。在过去的几个季度中，我们对中国和其他受影响目的地的销售源自目前需要遵守许可要求的产品，一直贡献了数据中心收⼊的约20% 至25%。

　　我们的训练集群包括超过10,000 个*** GPU，比6月份增加了3倍，反映出非常⾼效的扩展。⾼效扩展是生成人工智能的关键要求，因为法学硕士每年都在以一个数量级增长。Microsoft Azure 在几乎相同的集群上取得了类似的结果，展⽰了NVIDIA AI在公共云部署中的效率。目前，网络业务的年收⼊运行率已超过10亿美元。

　　我们的增长是由对InfiniBand的特殊需求推动的，该需求同比增长了五倍。InfiniBand 对于获得培训 LLM 所需的规模和性能至关重要。微软上周明确指出了这一点，强调 Azure使用超过29,000 英里的InfiniBand 线路，足以绕地球一圈。

　　我们正在将NVIDIA网络扩展到以太网领域。我们全新的Spectrum-X端到端以太网产品采用专为AI打造的技术，将于明年*季度推出。

　　与传统以太网产品相比，Spectrum-X可以实现AI通信网络性能提⾼1.6 倍。我还要介绍一下我们的软件和服务产品的最新情况，我们已经开始看到这些软件和服务产品的出色采用。我们有望以10亿美元的经常性软件支持和服务产品年化收⼊结束今年。我们看到了中期增长的两个主要机会，即我们的DGX云服务和我们的NVIDIA AI企业软件。

　　游戏收⼊达28.6 亿美元，环比增长15%，同比增长超过80%，重要的返校购物季需求旺盛，NVIDIA RTX 光线追踪和AI技术现在价格低至299美元。我们为游戏玩家和创作者带来了有史以来*的阵容。即使在PC市场表现低迷的背景下，游戏数量也比新冠疫情前的⽔平翻了一番。

　　ProViz的收⼊为4.16亿美元，环比增长 10%，同比增长108%。NVIDIA RTX是专业设计、工程和模拟用例的*工作站平台，而人工智能正在成为强大的需求驱动力。早期应用包括用于医疗保健中的AI成像的IMP以及智能空间和公共部⻔中的边缘AI。我们推出了基于 NVIDIA RTX、Ada Lovelace、Generation GPU 和 ConnectX、SmartNIC 的全新桌面工作站系列，其 AI处理、光线追踪和图形性能是前几代产品的2倍。

　　我们宣布在 Microsoft Azure 上提供两项用于汽车数字化的新Omniverse云服务：虚拟工⼚模拟引擎和自动驾驶汽车模拟引擎。转向汽车领域。收⼊为2.61亿美元，环比增长3%，同比增长4%，主要得益于基于NVIDIA DRIVE Orin SoC的自动驾驶平台的持续增长以及全球 OEM 客户的AI座舱解决方案的不断增长。我们扩大了与富士康的汽车合作伙伴关系，纳⼊了我们的下一代汽车 SoC NVIDIA Drive Thor。

　　富士康已成为电动汽车的ODM。我们的合作伙伴关系为富士康提供了标准的AV传感器和计算平台，供其客户轻松构建*进、安全的软件定义汽车。现在，我们将把其余部分的损益表GAAP毛利率扩大到 74%，非 GAAP毛利率扩大到 75%，这得益于数据中心销售额的增加和净库存储备的减少，其中包括1个百分点的收益释放此前预留的Ampere GPU架构产品相关库存。

　　运营费用增长12%，非 GAAP运营费用增长10%，主要反映了薪酬和福利的增加。

　　Q&A环节

　　Q1：您认为就生成型人工智能市场的出货量而⾔，当前处于怎么样的位置?因为当我只看你们数据中心的轨迹时，明年数据中心支出将接近 30%。那么您正在关注哪些指标?我们在AI这个市场中处于什么位置?

　　A1：从历史上看，过去几个季度，中国和其他一些受影响的目的地约占我们数据中心收⼊的 20%至25%。我们预计，随着进⼊第四季度，这一数字将大幅下降。

　　出口管制将对我们的中国业务产生负面影响，即使从长远来看，我们也无法清楚地了解这种影响的严 重程度。不过，我们正在努力扩展我们的数据中心产品组合，以可能提供不需要许可证的新的符合法规的解决方案。

　　这些产品可能会在未来几个月内上市。然而，我们预计他们的贡献占第四季度收⼊的百分比不会很大或有意义。

　　生成式人工智能是我们几⼗年来⻅过的*的软件和硬件TAM 扩展。其核心，主要是基于检索的计算方法，几乎所有你所做的事情都是从某个地方的存储中检索出来的，现在已经得到了增强，添加了生成方法，并且它几乎发生了变化一切。

　　您可以看到⽂本到⽂本、⽂本到图像、⽂本到视频、⽂本到 3D、⽂本到蛋⽩质、⽂本到化学品。这些是过去由人类处理和输⼊的东西，现在这些是生成方法。我们访问数据的方式已经改变。它曾经基于显式查询。

　　因此，我们对与 SAP 和 Dropbox 以及您将听到的许多其他合作伙伴所做的工作感到非常兴奋。真正有影响力的领域之一是软件行业，该行业价值约一万亿美元，在过去几⼗年里一直在构建⼿动使用的工具。现在出现了一个全新的软件部分，称为副驾驶和辅助。

　　这些工具不需要⼿动使用，而是有副驾驶来帮助您使用它。因此，当然，我们将继续这样做，而不是许可软件，但我们还将聘请副驾驶和助理来帮助我们使用该软件。我们将把所有这些副驾驶和助⼿连接到人工智能团队中，这将是现代版本的软件、现代版本的企业业务软件。因此，软件和软件完成方式的转变正在驱动底层的硬件。

　　现在我们有了更好的方法，称为加速计算，您可以节省一个数量级的能源，可以节省一个数量级的时间，或者可以通过使用加速来节省一个数量级的成本。因此，如果您愿意的话，加速计算正在将通用计算转变为这种新方法。新型数据中心进一步增强了这一点。这就是您刚才谈到的传统数据中心，我们大约占其中的三分之一。

　　但是有一种新的数据中心类型，这种新的数据中心类型与过去的数据中心不同，过去的数据中心运行着大量应用程序，由许多使用相同基础设施的不同租户的人使用，并且该数据中心存储了大量⽂件。

　　这些新的数据中心是很少的应用程序，即使不是一个应用程序，也基本上由一个租户使用。它处理数据，训练模型，生成人工智能，我们将这些新的数据中心称为人工智能工⼚。我们看到几乎每个国家都在建造人工智能工⼚。

　　因此，如果你看看我们在扩张、向这种新计算方法的过渡中所处的位置，这是你在大型语⾔模型初创公司、生成人工智能初创公司和消费互联网公司中看到的*波浪潮。

　　我们正在加大力度。与此同时，在这种情况不断增加的同时，您会看到我们开始与企业软件公司合作，他们希望构建聊天机器人和副驾驶，并提供帮助以增强他们平台上的工具。你会看到专⻔针对GPU的 CSP在世界各地涌现，他们真正致力于做一件事，那就是处理人工智能。你会看到主权 人工智能基础设施、人民和国家现在认识到他们必须利用他们的技术。拥有自己的数据，保留自己 的数据，保留自己的⽂化，处理这些数据，并开发自己的人工智能，你在印度看到了这一点。

　　因此，我认为，随着生成式人工智能浪潮在每个行业、每个公司、每个地区传播，你会看到新的发展。因此，我们正处于这种拐点、这种计算转变的开始。

　　Q2：我想询问有关业务网络方面的问题。如何看待以太网的演进?

　　A2：我们的网络业务已达到10亿美元以上，而且规模还将进一步扩大。我们最近在我们的网络业务中添加了一个新的网络平台。但绝大多数专用的大型AI工⼚都在InfiniBand上进行标准化。其原因不仅是因为它的数据速率和延迟，而且它在网络中移动流量的方 式非常重要。

　　有了InfiniBand，有了软件定义的网络，我们就可以做到控制、自适应路由、性能隔离和噪声隔离，当然更不用说InfiniBand的数据速率和低延迟以及非常低的开销了，这是很自然的 InfiniBand 的一部分。因此，InfiniBand 不仅仅是一个网络，它还是一个计算结构。我们在结构中加⼊了许多软件定义的功能，包括计算。

　　例如，最近我们谈到了我们正在创建的模型之一，它被称为Shipnemo，我们正在构建许多其他模型。我们将在公司内部创建数⼗、数百个自定义人工智能模型。

　　我们所做的就是发明了这个新平台，它扩展了以太网，不会取代以太网，它 100% 兼容以太网，并且针对东西向流量(计算结构所在的位置)进行了优化。它通过 BlueField 的端到端解决方案以及我们的频谱交换机添加到以太网中，使我们能够执行 InfiniBand 中的一些功能(不是全部， 而是部分功能)，并且我们取得了出色的结果。

　　我们进⼊市场的方式是与已经提供我们的计算解决方 案的大型企业合作伙伴一起进⼊市场。因此，惠普、戴尔和联想拥有 NVIDIA AI 堆栈、NVIDIA AI 企业软件堆栈，现在他们与BlueField集成，并捆绑销售其Spectrum交换机。

　　他们将能够凭借庞大的销售队伍和庞大的经销商网络，为世界各地的企业客户提供完全集成的(如果你愿意的话)至少端到端优化的人工智能解决方案。

　　Q3：我想知道您是否可以多谈谈 Grace Hopper，您如何看待利用某些微处理器的能力，如何 将其视为TAN expander，以及您认为使用 Grace Hopper与更传统的***应用程序相比有哪些应用 程序?

　　A3：Grace Hopper 已投⼊生产，目前正在大批量生产。我们预计，明年，随着我们在⾼性能计算和人工智能基础设施方面取得的所有设计胜利，我们将非常快地从我们的*个数据中心CPU发展到价值数⼗亿美元的产品线。

　　这对我们来说将是一个非常庞大的产品线。它能够创建同时具有非常快的内存和非常大的内存的计算节点。在向量数据库或语义搜索领域，称为 RAG(检索增强生成)，这样您就可以让生成式AI模型能够在生成响应之前引用专有数据或事实数据。

　　这样，生成模型一方面仍然能够自然地与您交互，另一方面能够引用事实数据、专有数据或特定领域的数据、您的数据，并且能够与上下⽂相关相关并减少幻觉。例如，对于Grace Hopper 来说，这个特定的用例确实非常棒。它还为那些真正想要拥有不同于x86的CPU的客户提供服务。也许是欧洲超级计算中心或欧洲公司想要建立自己的ARM生态系统并想要建立整个堆栈，或者是CSP决定转向ARM，因为他们自己的定制CPU是基于ARM的。

　　Q4：想问一下你们的收⼊可⻅度。您认为数据中心能够发展到2025年吗?

　　A4：*相信数据中心能够在 2025年之前实现增长。这有几个原因。我们正在大幅扩大供应。我们已经拥有世界上最广泛、*、最有能力的供应链之一。人们认为GPU是一个芯⽚，但 HGX ***(Hopper HGX)有 35,000个零件。它重 70 磅。其中⼋个筹码是Hopper 的。它是一台超级计算机，因此测试超级计算机的*方法是使用另一台超级计算机。

　　因此，我们HGX供应链的各个方面都很复杂，而我们这里拥有的出色团队确实令人难以置信地扩展了该供应链。更不用说，我们所有的HGX都与NVIDIA网络连接，而网络、收发器、NIC、电缆、交换机，其复杂性令人难以置信。

　　正如我之前提到的，我们有新客户。不同的地区正在建立 GPU 专家云，来自世界各地的主权人工智能云，因为人们意识到他们无法承担将自己国家的知识、国家⽂化出口给其他人然后将人工智能转售给他们的费用。

　　他们必须，他们应该，他们有技能，当然，与我们结合，我们可以帮助他们做到这一点，建立他们的国家人工智能所以他们要做的*件事就是创建他们的人工智能云，国家人工智能 云。您还看到我们现在正在成长为企业。

　　企业市场有两条路径。*条路当然是现成的AI当然还有ChatGPT，令人难以置信的现成的AI还有其他的。还有专有的人工智能，因为ServiceNow和SAP等软件公司以及许多其他公司无法承担将其公司的智能外包给其他人的费用。

　　我们有一项名为AI Foundry的新服务，我们利用NVIDIA的功能为他们提供服务。下一个是企业构建自己的自定义人工智能、自己的自定义聊天机器人、自己的自定义规则。而且这种能力正在全世界范围内传播。我们为该市场提供服务的方式是使用整个系统堆栈，其中包括我们的计算、网络和交换机，运行我们称为NVIDIA AI Enterprise的软件堆栈，并通过我们的市场合作伙伴HP、Dell、联想等获取该软件堆栈。

　　因此，我们看到生成式人工智能的浪潮从初创公司和通信服务提供商开始转向消费者互联网公司，转向企业软件平台，转向企业公司。最终，你们看到我们花费大量精力的领域之一与工业生成人工智能有关，这就是NVIDIA AI 和 NVIDIA Omniverse的结合之处，这是一项非常非常令人兴奋的工作。

　　Q5：您提到您将在未来 几个月内推出符合法规的产品，但对第四季度收⼊的贡献应该相对有限。这是一个时间问题吗?它是否会成为4月份及以后数据中心重新加速和增长的来源?或者价格点对未来收⼊的贡献是 否应该相对有限?然后上周发布的AI Foundry服务公告，盈利模式将如何运作?主要是服务和软件收⼊吗?我们应该如何考虑长期机会?这将是微软独有的，还是您也有计划扩展到其他合作伙伴?

　　A5：关于我们可以向中国客户提供的潜在新产品的问题。设计和开发这些新产品都 是一个重要的过程。正如我们所讨论的，我们将确保我们也与美国政府充分讨论我们对这些产品的 意图。考虑到我们本季度的状况，本季度已经过去几周了，我们需要一些时间来仔细研究并与客户讨论他们 对我们拥有的这些新产品的需求和愿望。

　　展望未来，无论是中期还是长期，很难说我们可以与美国政府合作生产什么，以及我们中国客户的利益是什么。因此，我们仍然专注于为中国客户找到适当的平衡，但目前还很难说。

　　AI Foundry 面临着巨大的机遇，而且意义重大。首先，每个公司都有自己的核心智力。它构成了我们的公司。我们的数据，我们的领域专业知识。就很多公司而⾔，我们创造工具，世界上大多数软件公司都是工具平台，而这些工具今天被人们使用。

　　在未来，它将被我们雇佣的一大堆人工智能增强的人们使用。这些人工智能平台必须⾛向世界， 你就会看到，我们已经宣布了一些，SAP、ServiceNow、Dropbox、Getty，还有许多其他平台即将推出。因是因为他们拥有自己的专有人工智能，他们想要自己的专有人工智能，他们无法承担 外包情报和分发数据的费用，也无法将⻜轮交给其他公司来为他们构建人工智能。

　　我们有几样东西对于代工⼚来说是非常重要的，就像台积电是一家代工⼚一样。你必须拥有 人工智能技术。如您所知，我们拥有令人难以置信的深度人工智能能力、人工智能技术能力。其次，你必须拥有*实践，已知的实践，通过发明人工智能模型来处理数据的技能，以创建有护栏、微调等等的人工智能。

　　第三件事是你需要工⼚，这就是 DGX Cloud。我们的人工智能模型称为人工智能基础。如果你 愿意的话，我们用于创建 AI 的 CAD 系统称为 NEMO，它们在 NVIDIA 的工⼚(我们称为 DGX Cloud)上运行。

　　我们在云端、本地和任何地方都拥有庞大的安装基础。而且它是安全的、安全地修补、不断修补、优化和支持。我们称之为 NVIDIA AI Enterprise。NVIDIA AI Enterprise 的价格为每位GP每年4,500 美元。这就是我们的商业模式。我们的商业模式基本上是一个许可证。然后，我们的客户凭借该基本许可证， 可以在此基础上构建他们的盈利模型。在很多方面，批发变成了零售。

　　他们可以针对每个实例拥有一个订阅许可证基础，也可以针对每个使用情况进行订阅。他们可以 采取很多不同的方式来创建自己的商业模式，但我们的方式基本上就像软件许可证，就像操 作系统一样。因此，我们的业务模式是帮助您创建自定义模型，然后在 NVIDIA AI Enterprise 上运行这些自定义模型。

　　Q6：我想知道如果没有中国的限制，第四季度的指导值会更⾼吗?或者 您的供应是否受到限制，只能将本可以运往中国其他地方的货物转运。我想沿着这些思路，如果您能让 我们了解您目前在数据中心的交货时间以及像当前的情况，它是否会降低这些交货时间，因为 您有一些零件可以立即发货吗?

　　A6：是的，在某些情况下，我们每个季度都在努力改善我们 的供应。我们在每个季度的增长方面做得非常扎实，这决定了我们的收⼊。但由于我们对第四季度的展望中没有中国，我们仍在努力改善我们的供应，并计划在明年继续增长，并为此努力。

　　Q7：也许你可以花一点时间讨论大模型在推理方面的演进以及你的公司如何定位于此而不是较小的模型推理。其次，直到一两个月前，我还从未真正收到过任何关于人工智能工作负载的数据处理部分的问题。也许您可以谈谈 CUDA 如何加速这些工作负载

　　A7：我们可以创建 TensorRT-LLM，因为 CUDA 是可编程的。如果 CUDA 和我们的 GPU 不具备如此可编程性，我们就很难以现在的速度改进软件堆栈。同一 GPU 上的 TensorRTLLM 无需任何人接触任何东西即可将性能提⾼两倍。

　　当然，最重要的是，我们的创新步伐如此之快，H200 将其提⾼了两倍。因此，我们的推理成本在大约一年的时间内降低了四倍。所以这真的很难跟上。现在，每个人都喜欢我们的推理引擎的原因是因为我们的安装基础。20 年来，我们一直致力于我们的客户群。

　　我们拥有的安装基础不仅在每个云中都是*的，而且每个企业系统制造商都可以提供。几乎每个行业的公司都在使用它。无论何时您看到 NVIDIA GPU，它都会运行我们的堆栈。它在架构上是兼容的。

　　NVIDIA 的平台稳定性确定性是每个人首先在我们的基础上构建以及每个人首先在我们的基础上进行优化的原因。您所做的所有工程和所有工作以及您在 NVIDIA基础上构建的所有技术发明都会为使用我们GPU的每个人带来好处。

　　我们拥有如此庞大的安 装基础，云中有数以百万计的GPU，来自人们PC的1亿个 GPU，几乎世界上的每个工作站，它们在架构上都是兼容的。因此，如果您是一个推理平台并且正在部署推理应用程序，那么您基本上是一个应用程序提供商，并且作为软件应用程序提供商，您正在寻找大型安装基础。

　　数据处理，在训练模型之前，您必须整理数据。你必须推断数据，也许你必须用合成数据 来扩充数据，所以你处理数据，清理数据，对⻬数据，规范化数据。所有这些数据都不是以字节和兆字节为单位来衡量的，而是以太字节和拍字节为单位来衡量的。在数据工程之前、 在进行培训之前进行的数据处理量非常大。

　　它可能代表您最终创建数据驱动的机器学习服务所需工作量的 30%、40%、50%。所以数据处理只 是一个重要的部分。我们加速 Spark，我们加速 Python。我们刚刚做的最酷的事情之一是cuDF pandus。

　　Tandas 是世界上最成功的数据科学框架，PANDAS 现在由 NVIDIA CUDA 加速， 开箱即用，无需一行代码。因此，加速度确实非常惊人，人们对此感到非常兴奋。PANDAS 的设计只 有一个目的，只有一个目的，即真正用于数据科学的数据处理。NVIDIA CUDA为您提供了这一切。

　　Q8：我们如何看待你们的研发、运营支出增长前景，以支持更积极、更扩展的未来路线图，但更 重要的是，团队正在做什么来管理和推动执行所有这些复杂性?

　　A8：首先，我们加快执行速度有 一个根本原因，就是因为它从根本上降低了成本。TensorRT LLM 和H200 的结合将我们客户的大型模型推理成本降低了四倍。

　　因此，我们希望加快我们的路线图。第二个原因是扩大生成式人工智能的覆盖范围世界上数据中心配置的数量。每种云中都有NVIDIA的⾝影，但没有一种云是相同的。NVIDIA 与每家云服务提供商合作，但他们的网络控制平面安全状况都不相同。

　　我们现在正在将所有这些产品推向市场。因此，复杂性当然包括所有的技术、细分市场和速度。它包括这样一个事实：我们在架构上与其中每一个都兼容。它包括我们创建的所有特定于域的库。这就是为什么每家计算机公司都能不假思索地将 NVIDIA 纳⼊其路线图并将其推向市场的原因。

　　原因是因为有市场需求。医疗保健有市场需求。当然，人工智能、⾦融服务、超级计算、量⼦计算都有市场需求。我们拥有特定领域库的市场和细分市场列表非常广泛。最后，我们为数据中心提供了端到端的解决方案。InfiniBand 网络、Ethernet、 x86、ARM，几乎提供了解决方案、技术解决方案和软件堆栈的所有排列组合。

　　这意味着拥有最多数量的生态系统软件开发人员、*的系统制造商生态系统、*和最广泛的分销合作伙伴网络，以及最终*的覆盖范围。这当然需要大量的能量。但真正将它们结合 在一起的是我们几⼗年前做出的一个伟大决定，即一切在架构上都是兼容的。当我们开发一种 在一个GPU上运行的领域特定语⾔时，它会在每个GPU上运行当我们针对云优化 TensorRT 时，我们也会针对企业进行优化。

　　当我们做一些事情带来新功能、新库、新功能或新开发人员时，他们会立即从我们的所有影响力中 受益。因此，这种与架构兼容的原则已经持续了几⼗年，这也是NVIDIA仍然非常非常⾼效的原因之一。