高通公司的Cloud AI 100专为边缘人工智能推理而设计

高通公司在旧金山举行的年度人工智能日会议开始了。它采用了三款面向智能手机，平板电脑和其他移动设备的新系统芯片，如果这还不够，它还宣布了一款专为边缘计算量身定制的产品：Qualcomm Cloud AI 100。

“这是我们专门为AI推理处理设计的全新信号处理器，”产品管理高级副总裁Keith Kressin表示，并补充说，采样将在明年下半年开始生产。“[我们不是]只是在数据中心重用移动芯片。”

Cloud AI 100 - 将在原始设备制造商的许多不同模块，外形和功率级别中提供 - 集成了各种开发人员工具，包括编译器，调试器，分析器，监视器，服务，芯片调试器和量化。此外，它还支持运行时，包括ONNX，Glow和XLA，以及机器学习框架，如谷歌的TensorFlow，Facebook的PyTorch，Keras，MXNet，百度的PaddlePaddle和微软的认知工具包。

高通公司估计峰值性能是Snapdragon 855和Snapdragon 820的3到50倍，并且它声称，与传统的现场可编程门阵列(FPGA)相比 - 设计用于制造后配置的集成电路 - 它的速度提高了约10倍。推理任务的平均值。此外，以每秒tera操作(TOPs)衡量 - 一种用于高性能芯片的常见性能指标 - Cloud AI 100可以达到“远远超过100 TOP”。(为了比较起见，Snapdragon 855最多可达7个TOP。)

“FPGA或GPU [通常可以]更有效地进行AI推理处理... [因为] GPU是一个更加并行的机器，[而] CPU是更多的串行机器，[并且]并行机器更适合AI处理，”克雷辛解释道。“但是，GPU更专为图形而设计，如果你从头开始设计芯片以实现AI加速，你可以获得显着的改进。CPU到FPGA或GPU大约有一个数量级的改进。定制的AI加速器还有另一个数量级的改进机会。“

高通公司进军云推理之前，首席竞争对手华为公布了其所称的业界性能最高的基于Arm的处理器，名为Kunpeng 920。在SPECint中 - 一个由12个程序组成的基准测试套件，用于测试整数性能 - 该芯片的得分超过930，比行业基准测试高出近25%，同时功耗比“行业现有者提供的功率低30%”。

这不是唯一的一个。

今年1月，在拉斯维加斯举行的消费电子展上，英特尔详细介绍了其即将推出的Nervana神经网络处理器(NNP-I)，据报道，它将提供高达竞争显卡AI培训性能的10倍。谷歌去年首次推出Edge TPU，这是一款专门用于推理的ASIC，阿里巴巴于去年12月宣布，它计划在今年下半年推出首款自主研发的AI推理芯片。

在这个等式的FPGA方面，亚马逊最近采用了自己的AI云加速器芯片 - AWS Inferentia - 而微软在Project Brainwave中预览了一个类似的平台。Facebook于3月开源采用了用于人工智能推理的服务器芯片Kings Canyon，就在本月，英特尔发布了一系列芯片组--Agilex--针对人工智能和大数据工作负载进行了优化。

但高通公司有信心Cloud AI 100的性能优势将使其在深度学习芯片组市场预测中占据一席之地，到2025年达到6630万美元。

“许多人将网络硬件置于云端，就像用于不同类型处理的内容交付网络一样，无论是云游戏还是人工智能处理。所以这是另一个关键趋势。高通公司有机会从最终用户输入技术一路参与，一直到云端，“Kressin说。

它的其他潜在优势?生态系统支持。去年11月，高通公司向一家专注于边缘和设备AI的创业基金承诺了1亿美元，特别是在自动驾驶汽车，机器人，计算机视觉和物联网领域。去年五月，它与微软合作，为其许多片上系统中嵌入的AI加速器创建了一个视觉AI开发工具包。

“就市场规模而言，推理正在成为一个重要的硅市场，”Kressin说。“随着时间的推移，[我们预期]推断[将成为]更大的一部分 - 在2018年至2025年间，大约增长10倍。我们非常有信心能够成为电源性能领导者或人工智能处理和数据。“