微软使用了新硬件 称必应搜索AI性能提高10倍

　　3月27日消息，据VentureBeat报道，微软今天宣布，通过使用专门为人工智能(AI)计算开发的硬件，使其机器学习模型的性能提高10倍以上，而这些模型可以为必应(Bing)搜索引擎提供强大支持。

　　微软的新系统被称为Brainwave，它的设计目的是接受训练有素的神经网络，尽可能快地运行它，并使其延迟时间最短。其目标是为应用程序提供大致实时的AI预测，比如新的必应功能。此举是微软向其云客户提供的又一项支持，让其云客户可以尽快运行他们自己的硬件驱动AI模型。

　　必应今天还进行了多项功能更新，包括在用户将鼠标指针悬停在不太常用单词上面的时候给出解释，并给出了如何回答问题的多种方式。这些功能都是由Brainwave额外支持的。

　　微软正在使用来自英特尔的现场可编程门阵列(FPGA)来进行AI计算。FPGA基本上就是空白画布，开发者可以通过发送新的软件来部署各种不同的电路。这提供了可编程性和性能的有趣组合，因为产生的电路对特定的应用程序(如AI计算)进行了优化，可以在不构建新芯片的情况下进行改进。

　　这种硬件让微软不仅能够创建更快的模型，而且还可以构建更复杂的AI系统，如果不应用专门的硬件，这些系统将需要大量的计算能力。例如，比为CPU构建的版本相比，必应的Turing Prototype 1模型复杂了10倍，这是由于使用Brainwave带来的计算能力增加的结果。虽然Brainwave版本更加复杂，但微软也能以10倍以上的速度从这个模型中获得结果。

　　微软的AI计算方法不同于其他同行，比如谷歌创建了自己的张量处理单元(TPU)芯片来提供类似的功能。与FPGA不同，谷歌的TPU一旦构建就不能重新配置，谷歌通过使其芯片架构尽可能广泛地处理各种潜在情况来应对这一问题。

　　微软公司已经部署的FPGA有专用的数字信号处理器，用于对AI所需的某些特定类型的数学进行优化。通过这种方式，公司能够获得与构建特定应用程序的集成电路(ASIC，如TPU)相同的好处。

　　亚马逊有“基础设施即服务”的实例，其中包括通过云计算的附加FPGA，不过该公司还没有详细讨论自己对硬件的使用。

　　Brainwave系统由几个组件组成，首先是微软在全球数据中心部署的成千上万的FPGA。该公司的大多数服务器都有FPGA板，连接到顶部的网络交换机上。这使得服务器能够处理软件定义的网络操作，但也为微软提供了硬件加速计算池，而不是每个服务器都绑定一个FPGA。

　　举例来说，Brainwave可以在多个FPGA之间分配一个模型，同时处理少量的CPU来支持它们。如果一个机器学习模型需要使用多个FPGA，那么微软的系统就会将它们捆绑到公司所称的“硬件微服务”中，然后将其传递给Brainwave编译器，以便在可用的硅上分配工作负载。

　　这个编译器将采用一个已训练完成的模型，使用像TensorFlow(源自谷歌)或微软认知工具包(也称为CNTK)的AI编程框架创建，并将其转换为一个中间表示，然后可以通过多个FPGA进行拆分，以获得最佳性能。

　　微软并没有优化每个在FPGA上执行的模型，而是在其芯片上创建了一个软处理器，它的设计目的是为机器学习推理提供通用的执行环境。这样，开发人员就不必花费时间来优化单个阵列，同时也可享受硬件加速计算的好处。

　　很难将微软的Brainwave与其他类似系统相比较，因为它的论文仅为专有的神经网络提供了具体的性能指标。这并不是说微软在这方面是独一无二的，谷歌的论文也指出其TPU是如何为公司本土算法提供性能数据的。

　　微软并没有将其Brainwave测试的结果与GPU进行比较，后者已经成为AI计算的热门选择。FPGA对这些芯片的好处在于，它们不需要大量使用批量计算。

　　允许微软在FPGA上获得高性能的关键创新技术之一是使用新的8到9位浮点数据类型。微软发现，这些数据类型提供了超过定点数据类型(比如8-16位整数)的性能提升，并且之需要最少的训练就可以利用这些数据类型。

　　微软也开始在它的数据中心部署特殊的设备，其中包括没有其他服务器组件的FPGA。这样，该公司就能更好地处理来自Brainwave的负载，因为它可以增加软编程硬件的数量，而不用增加更多的服务器。虽然更复杂的模型通常需要多个CPU，但它们不需要每个FPGA都有一个CPU。

　　微软对使用FPGA加速AI计算并不陌生。该公司的必应团队于2012年开始与硬件团队合作，此后一直在增加对这些芯片的使用。这一消息也对英特尔有利，英特尔在2015年收购了FPGA制造商Altera，这笔价值167亿美元的交易为前者提供了满足微软需求的燃料。

　　现在，微软正致力于向外界开放Brainwave系统。FPGA已经为其智能API的部分认知服务提供动力，这些API允许人们在没有AI的情况下将智能功能嵌入到他们的应用程序中。该公司还计划通过它的必应企业服务，来为企业客户提供今天所讨论的Brainwave驱动的文本理解能力。

　　沿着这条路走下去，我们很可能会看到通过微软Azure提供的Brainwave服务，这样客户就可以在微软的FPGA上部署他们自己的模型。