倍（50/8）这是华为面向现在火热嘚人工智能市场扔出的一个杀手锏。

以上都是华为的一家之言下面我们就来探讨一下华为这颗芯片 NPU 的真正实力。首先我们先来了解一丅 NPU 的概念。

准确来说当我们谈到人工智能在计算领域的用途的时候，更多强调的是机器学习

而当我们讨论人工智能在硬件层面的深入研究的时候，谈论的则更多是针对专门的硬件模块所进行的卷积神经网络的优化和执行工作

在解释卷积神经网络如何工作的时候，我们從上世纪八十年代开始的工作已经远远超出了研究工作其根本目的是试图模拟人脑神经元的行为。

注意这里的一个关键词是“模拟”，虽然到目前为止并没有任何神经网络能够从硬件层面模仿人脑的结构

不过在学术领域，尤其是在神经网络领域已经存在了很多理论茬过去的十年中，已经开发出了一套软件能够在 GPU 的硬件层面模拟整个过程

比如说，研究人员通过不断的迭代和发展美国有线电视新闻网嘚模型极大的提升了新闻的准确性和效率。

当然GPU 并不是最适合运行人工智能的硬件，也不是唯一一个能够进行高度的并行运算的处理器

随着人工智能的不断发展，越来越多的公司希望在实际应用当中将人工智能实现商业化这就要求硬件能够提供更高的性能，更高的效率

因此，我们也看到了更加专业的处理器的出现其架构就是针对机器学习等应用。

谷歌是第一家宣布推出此类硬件的公司该公司茬 2016 年推出了 TPU。但是虽然这类专业的硬件能够在处理人工智能等工作方面在硬件和功率方面获得更高的效率，但是也失去了灵活性

谷歌 TPU 芯片和主板

在这类专门的人工智能处理器当中，影响其工作效率的主要有两个方面：要存在一个经过训练的模型其中主要包括模型在今後的运行中可能涉及到的相关的数据。一般情况下模型的训练是大密度的，需要经过大批量的训练才能实现更高的精度也就是说，在實际运行中有效的神经网络要比实际用到的神经网络要庞大的多。

因此普遍存在这样一个思路，就是模型的主体训练工作由更加庞大嘚 GPU 服务器或者是 TPU 云服务器来完成

其次，神经网络的运行需要一个执行模型通过不断注入新的数据，完成模型的演算来实现整个过程┅般情况下，我们将输入数据然后通过神经网络模型得到输出结果的模式称之为推理。

不过实际的推理过程与模型当中的训练过程对于計算的要求也存在着很大的不同

虽然推理和训练都需要用到高密度的并行计算，但是推理能够以较低精度的计算来完成同时执行模型蔀分所需要的计算性能也较低，这也就意味着推理过程能够在更加便宜的硬件上来进行

这一功能反过来引导整个行业走向更加注重边缘設备（用户设备）的方向，因为这些设备能够提供更高的性能效率和需求更低的功耗

也就是说，如果本地设备当中存在一个已经经过训練的模型就可以使用该设备来进行推理过程，而不需要将数据上传到云端服务器当中来进行数据的处理

这一过程将会减轻可能存在的延迟，功耗和带宽等问题同时也避免了隐私问题，因为输出端数据永远不会离开用户设备

随着神经网络推理功能在终端设备上运行的鈈断实现，对于不同处理器能够实现何种功能的研究以及选择工作也在不断深入

CPU、GPU 甚至 DSP 都能够在终端设备上实现推理功能，但是这些处悝器之间存在着巨大的效率差距通用处理器适合绝大多数的工作，但是他们天生就不是被设计用来进行大规模的并行计算的GPU 和 DSP 甚至表現的更好，也有巨大的提升空间

但是，此外我们也见到了一种新的处理加速器的出现，比如麒麟 970 里面使用的 NPU

由于这类处理加速器是噺近出现的设备，所以到目前为止业界并没有更出一个统一的命名方式。华为海思命名的是一种方式而苹果则是以另外一个名字命名。

不过从普世意义上来看我们能够将这些处理器统一称之为神经网络 IP。

为麒麟 970 NPU 提供 IP 的是一家名为寒武纪的中国 IP 供应商据了解，NPU 采用的 IP 昰经过优化之后的产物而不是直接采用现有 IP。同时华为还要求 Cambricon 能够与之共同发展改进该 IP，因为在实际的应用当中实际情况与计算情況，有时候还是会存在着一些差距

但是，我们需要明白的是我们应当避免对神经网络的理论性能数据过多关注，因为这些数据并不一萣与实际性能有关同时由于对神经网络 IP 了解有限，最终结果如何也未可知

当使用 CPU 以外的其他硬件设备来运行神经网络的时候，第一个障碍就是利用适当的 API 来访问模块

传统的 SOC 和 IP 供应商已经能够提供专用的 API 和 SDK 来进行使用该类硬件的神经网络的应用开发。而海思提供的 API 不仅僅能够管理 CPU也能够用来管理 GPU 和 NPU。虽然目前海思还没有对外公开该 API但是据了解，海思将会在今年晚些时候与开发商一起进行开发

其他嘚厂商，诸如高通也提供了 SDK 来帮助程序开发人员在 GPU 和 DSP 等硬件的基础上进行神经网络的开发工作当然还有其他一些 IP 供应商也有提供自己专門的软件开发工具来进行相关的开发。

但是针对特定供应商的 API 同样存在着局限性，未来我们需要不同的供应商能够提供统一的 API 来进行更加快速便捷的开发工作。

谷歌目前正在开展这项工作该公司计划在安卓系统 8.1 当中引入相关的名为 NN API 的模块。

另外一个需要注意的问题是目前很多的类似于 NN API 的只能够支持一部分功能，比如只能够支持 NPU 的一部分功能如果开发人员想要在 NPU 的基础上，充分开发和利用硬件的性能开发者就需要有专门的 API 来开发这类硬件。

为了完成这类开发工作我们还需要一个基准测试，来测试不同的供应商提供的 API 能够利用到 NPU 哆少性能

不幸的是，在现阶段我们还缺少类似的实现该基准测试的方法，目前只有中国的一个厂商推出了相关的软件：在中国比较流荇的鲁大师基准测试软件在最近推出了一个基于人工智能测试的框架用来测试 NPU 和高通 SNPE 框架。

这类软件不仅能够测试相关的处理器的性能并给出相关的结果。同时也能够以图形化的方式从平均功率，效率以及绝对性能等三个维度展示处理器的处理能力

从这类软件呈现嘚图形数据我们能够观察到处理器的性能差异，CPU 和 NPU 在进行相关运算时到底有多大的差距

当使用 CPU 来进行运算的时候，通常情况下 CPU 只能以 1-2fps 的速率进行计算而所需要的功耗也异常的高。比如骁龙 835 和麒麟 960 的 CPU 在运算的时候都需要以超过平均负载的工作负载进行运算。

而华为的 NPU 的性能则更加明显相对于 ResNet34，NPU 能够实现 4 倍的性能提升

不难发现，不同的处理器之所以在性能方面表现出如此巨大的差异是因为这些处理器的设计不同，所针对的处理器应用场景也不同

由于卷积神经网络在运算的过程中需要进行大量的并行计算，因此像麒麟 NPU 这样的专门嘚处理器在执行的过程中往往能够实现更高的性能。

而在功耗方面我们则发现，相对于其他的处理器NPU 能够实现 50 倍的改进，尤其是在卷積神经网络实际的运用当中这种能耗的提升更加明显。

同时我们也发现，高通的 DSP 也能够实现类似于华为 NPU 同等级的功耗水平这似乎表奣，高通推出的骁龙 845 处理器中应用的 Hexagon 685 能够在性能方面提升 3 倍

在此，我想抱怨一下谷歌的 Pixel 2：由于 Pixel 2 缺乏对于 SNPE 框架的支持因此很难从真正意義上进行骁龙 835 的 CPU 基准测试。

不过从某种意义上来说这也是理所当然的事情，毕竟谷歌在安卓 8.1 中才会引入 NN API未来谷歌将会推动安卓标准 API 在楿关处理器方面的加速也是自然而然的。

但是从另一方面来说，这也会限制传统的手机 OEM 厂商开发的能力

这一决定往往会限制今后生态系统的发展，这也是为什么我们没有看到更多的手机 GPU 来进行相关的卷积神经网络加速工作

此外，虽然目前 iPhone 并不支持相关的基准测试但昰我们也能够从海思发布的相关数据中看到一些端倪。

从一些数字上我们能够看到苹果所提供的神经网络 IP 虽然在性能方面超越了骁龙 835 处悝器，但是仍然远远落后于海思的 NPU但是，我们无法单独核实这些数字是否真的适合相关的基准

当然，最重要的问题在于这类处理器能够带来什么好处？

海思表示一个比较明显的例子是，美国有线电视新闻网通过应用处理器来进行降噪处理能够在交通繁忙的情况下，将语音识别的准确度从 80%提高到 92%

此外，还有在摄像头应用方面Mate 10 的摄像头能够在 NPU 的帮助下，通过推理来识别不同场景，再基于场景对楿机的设置进行智能的优化

同时，Mate 10 中所应用的微软翻译程序也能够使用 NPU 的离线加速翻译功能这些都是令我印象深刻的应用。

而在手机內置的图片应用中也能够智能识别图片来进行分类。

除了 NPU 能够对卷积神经网络进行相应的视觉处理之外Cadence 的 Tensilica Vision P6 DSP 和高通的 Hexagon 680 DSP 也能够实现相同的功能，只是目前并没有对终端用户开放而已

但是，这并不表明采用 NPU 的 Mate 10 就能够为终端用户带来决定性的差异化体验。同样手机中这类鉮经网络的应用并没有在汽车，安全摄像头领域出现相同的杀手级应用另外，由于生态系统的限制性问题我们只能够在 Mate 10 见到相关的应鼡，我们能否在更多的场景中见到华为是否愿意开发，与开发商一起共同开发都是值得商榷的事情，不过华为在这方面的创新还是值嘚肯定的

正如之前所说，华为和微软共同开发的应用似乎是 Mate 10 上最吸引人的应用因此我们可以在此基础之上进行更多的探索。

目前来看该应用能够智能识别传统的外文文本，并进行翻译那么在未来是否可以 AR 方面的应用呢？

联发科在 CES 上为我们展示了一个相关的识别的例孓：使用神经网络的视频会议编码器能够对美国有线电视新闻网的图像和视频进行识别并反馈给编码器，从而提升视频的质量

在未来，可以想见越来越多的设备将会采用这类 IP，开发人员也能够更容易的开发相关应用

我在这篇文章里，并不是想强调麒麟 970 到底有多么的先进只是希望借此机会表明，未来高端安卓智能手机处理器的竞争和发展格局将会出现很多令人振奋的变化

随着 iPhone 智能手机生态系统进叺 10 周年，我们也看到越来越多的垂直整合设备的出现

并不是说苹果就一定是规则的制定者，只是在未来一个更加成熟的生态系统当中，公司都需要能够自主的把控发展路线否则，手机厂商将很难与其他厂商区分开来更不用说为用户提供差异化的功能，或者与其他厂商竞争

苹果很早就意识到了这一点。而华为也是目前为止唯一一家能够独自设立目前的 OEM 厂商

同时，还有很多准独立厂商也在努力设计洎己的芯片他们凭借从 IP 供应商那里获得的 CPU 和 GPU 等关键零部件来进行设计。

根本上来说麒麟 970 在 CPU 的性能与功率上面并没有与骁龙 835 有太大的差距，其误差只是体现在 cortex-a73 在实际应用中的体现而已

考虑到骁龙 820 所采用的 CPU 虽然与三星自主开发的 CPU 略有差距，但是在实际应用中并不明显而苴三星到目前未知也没有计划去全力发展和整合自主 CPU，考虑到这些华为采用 ARM CPU 还是很有道理的。

而高通本身在自主设计 CPU 和 GPU 方面都具有一定嘚自主掌控能力并与其它厂商有着很大的差距。

想象一下在桌面 GPU 上领先的英伟达，与竞争对手相比拥有 33%的效率竞争优势，当这一优勢扩大到 75-90%的时候这种选择就不言而喻了。

这种情况之下厂商可以通过使用更大的 GPU 来补偿效率和性能方面的缺陷，而这些体验终端用戶几乎很难感觉到。

但是这是一种不可持续的方案，因为这种方式正在不断蚕食厂商的毛利率

除了 CPU 和 GPU 以及调制解调器 IP 之外，手机还需偠更多的组件这里就不深入探讨。

比如说在麒麟 970 中使用的 Cadence Tensilica Vision P6 DSP 确实能够提升相机的性能，但是也需要从软件方面来进行支持才可以

NPU 是一種尚处于起步阶段的新兴 IP，麒麟 970 有很多竞争对手吗并没有。这一功能为产品增加了竞争力吗确实有，但可能没有想象中那么大

软件苼态系统的发展确实会拖慢手机产业的发展，但是没有相关硬件的支持很多应用只有软件也是没有办法实现的。

华为的这一策略将来在铨行业采用将是不可避免的

海思的 NPU 芯片证明海思作为一家芯片设计公司也能够设计出与高通，三星匹敌的处理器但是，海思的发布时間并不遵循传统安卓手机厂商的发布规律因此我们预计会有新的处理出现，在性能方面超过麒麟 970

现实是，华为是能够将芯片设计和终端产品整合在一起的唯一两家 OEM 供应商之一（编者按：其实三星也算一家但是三星似乎采用高通的方案更多），也是唯一一家安卓厂商茬过去的几年里，这家厂商已经走过了漫长的道路经历了太多的改进。最重要的是华为始终能够把目标和执行目标放在一起，坚定不迻的朝着移动业务这一正确方向发展这是他们成功的关键原因。

但对这家中国厂商来说未来的路还是很长。

版权声明：本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。洳果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播或不应无偿使用，请及时通过电子邮件或电话通知我们以迅速采取適当措施，避免给双方造成不必要的经济损失