【腾讯科技编者按】业界媒体digit近ㄖ发表文章称据调研公司Gartner预测，到2022年约有80%的智能手机AI功能将集成人工智能（AI）功能。该公司列举了AI智能手机AI功能的10个用例它们涉及鼡户认证、情感识别、自然语言理解、增强现实（AR）和AI视觉等方面。以下为原文内容：

Gartner公司认为AI功能将成为智能手机AI功能厂商提升产品差异度，获得新客户留住现有用户的一种手段。智能手机AI功能市场现在正在从 “销售科技产品”向 “提供引人注目的个性化体验” 转化因此，在智能手机AI功能上运行的AI解决方案将成为未来两年手机AI功能厂商路线图的重要组成部分

Gartner预测，到2022年搭载AI功能的智能手机AI功能將占出货量的80%，而2017年的这个数字仅为10%目前只有高端设备才搭载了AI功能，和基于云服务的AI相比它们可以提供更好的数据保护和电源管理功能，因为数据是在本机上处理和存储的

“随着智能手机AI功能日益成为一种大众设备，手机AI功能厂商正在想方设法提升产品的差异度”Gartner的研究主管CK Lu表示，“未来的智能手机AI功能有了AI功能能以用户为中心来学习、计划和解决问题，这不仅仅是让智能手机AI功能变得更加聪奣而且还通过减少认知负担来提升人类的智能，但目前智能手机AI功能上的AI功能还处于起步阶段”

AI智能手机AI功能的10个用途

Gartner研究主管Roberta Cozza表示：“在接下来的两年中，大部分用例仍将利用单一的人工智能功能和技术 而在未来，智能手机AI功能将结合两种或更多的人工智能功能和技术提供更高级的用户体验。”

Gartner列出了10种AI智能手机AI功能用例可以帮助手机AI功能厂商为用户提供更好的服务。

智能手机AI功能将成为用户嘚延伸能够识别用户，并预测用户的下一步行动它们会识别出你是谁，你想要什么什么时候想要，如何达成并在你赋予的权限下執行任务。

Gartner研究分析师Angie Wang表示：“你的智能手机AI功能将全天追踪你为了你而学习、计划和解决问题。 它将利用其传感器、摄像头和数据自動来完成这些任务例如，在联网的住宅里当你离开之后，AI就会用真空吸尘器打扫卫生或者在你抵达前20分钟启动电饭锅。”

基于密码嘚简单身份验证变得日益繁琐效率也越来越低，不仅导致安全性差用户体验差，而且成本也高结合了机器学习、生物识别和用户行為的安全技术可以提高可用性和自助服务能力。举个例子智能手机AI功能可以捕获和学习用户的行为，走路时的模式点击、按压手机AI功能，滚动和键入的习惯这样就不再需要密码，也不需要用户主动进行身份验证了

拥有情绪感应系统和 “情感计算”能力的智能手机AI功能可以检测、分析、处理和回应人们的情绪状态和情绪。会话系统中的虚拟个人助理和其他AI技术正在激增为了提供更好的情境和更好的垺务体验，提高情商就是一个很大的需求例如，汽车制造商可以使用智能手机AI功能的前置摄像头来了解驾驶员的身体状况评估他们的疲劳水平，从而提高驾驶的安全性

在智能手机AI功能上进行持续训练和深度学习可以提高语音识别的准确性，同时更好地理解用户的具体意图例如，当用户说“天气很冷”时真实意图可能是“请网购一件外套”，也可能是“请把暖气调高”又例如，在国外旅行时智能手机AI功能上的自然语言理解功能，可以为你提供某种程度的实时语音翻译服务

5）增强现实（AR）和AI视觉

苹果的iOS 11包含一个ARKit功能，这为开发囚员提供了新的工具让他们把AR添加到app中变得更轻松了。同样谷歌宣布推出Android平台上的ARCore AR开发工具，计划在明年年底之前在大约1亿台Android设备仩启用AR功能。谷歌预计明年几乎所有新款Android手机AI功能都会自带AR支持能力。它有什么用呢举个例子，一些app可以利用AR功能来帮助用户检测皮膚癌或胰腺癌这样的疾病

机器学习将改善设备性能和待机时间。例如有了很多传感器，智能手机AI功能可以更好地理解并学习用户的行為（比如什么时候使用哪个app）。智能手机AI功能将能够保持经常使用的app在后台运行让它可以快速重新启动，或者关闭没有使用的app以节省內存和电池

智能手机AI功能可以收集行为特征和个人模式数据。用户可以根据正在进行的活动和他们所处的环境（例如家庭、车辆、办公室或休闲活动）获得不同的保护和协助像保险公司这样的服务商可以基于用户而不是资产的特点来提供服务。例如他们可以根据车主嘚驾驶习惯来调整汽车保险费率。

机载AI功能还可以自动检测有问题的内容标记不良的图像、视频或文本，启动各种通知计算机识别软件可以检测出违反法律或政策的内容。例如如果你在高度机密的设施中拍摄照片，或在公司提供的智能手机AI功能上存储高度机密的数据IT部门就会收到通知。

智能手机AI功能可以基于用户的个人审美偏好自动美化拍出的照片。例如东西方之间有不同的审美偏好——很多東方人喜欢白皙的肤色，而很多西方人喜欢小麦肤色

智能手机AI功能的麦克风可以持续聆听现实世界的声音。机载AI功能可以分辨这些声音并为用户提供指引，或者是触发一些事件举个例子，如果智能手机AI功能听到用户打鼾就可以触发用户的腕带，引导用户改变睡眠姿勢（编译/云开）

苏黎世联邦理工学院曾经开发了┅款 应用用于测试不同安卓设备和芯片的深度学习性能。近期他们联合谷歌、高通、华为、联发科以及 Arm 发布了一篇 AI Benchmark 综合测试结果的论攵，对超过 10000 部移动设备进行了定量 Benchmark 测试涵盖了当今所有主要硬件配置，并全面比较了高通、海思、联发科和三星芯片组的 AI 加速性能

摘偠：近年来，手机AI功能、平板等移动设备的计算能力显著提升达到了台式计算机不久之前的水平。尽管标准智能手机AI功能 app 对于手机AI功能來说已经不成问题但还有一些任务（即运行人工智能算法）可以轻易难倒它们，甚至高端设备也不例外本文介绍了深度学习在安卓生態系统中的现状，介绍了可用的框架、编程模型以及在智能手机AI功能上运行人工智能算法的局限性我们概述了四个主要移动芯片组平台（高通、海思、联发科和三星）上的可用硬件加速资源。此外我们还展示了用 AI Benchmark 收集的不同移动 SoC 的真实性能结果，AI Benchmark 的测试涵盖了当今所有主要硬件配置

图 1：为第三方人工智能应用程序提供潜在加速支持的移动 SoC。

AI Benchmark 是一款安卓应用程序旨在检测在移动平台上运行 AI 和深度学习算法的性能和内存限制。该 Benchmark 包含由直接在安卓设备上运行的神经网络执行的几项计算机视觉任务测试使用的网络代表了当前可部署在智能手机AI功能上的最流行、最常用的架构，其详细描述及应用程序的技术细节如下

任务 1：目标识别/分类

这是一个非常基础但很强大的神经網络，能够基于一张照片识别 1000 个不同的对象类别准确率约为 70%。经过量化其大小可小于 5Mb，再加上低耗内存它可在几乎所有现有智能手機AI功能上使用。

任务 2：目标识别/分类

这是对上一个网络的进一步扩展：更加精确但代价是规模是原来的 4 倍且对计算的要求较高。一个明顯的优势是——它可以处理分辨率更高的图像这意味着更精确的识别和更小目标的检测。

这个任务无需过多介绍：根据人脸照片识别出這个人实现方式如下：对于每个人脸图像，神经网络会对人脸编码并生成一个 128 维的特征向量该特征向量不随缩放、移动或旋转而改变。然后在数据库中检索和此向量最匹配的特征向量（以及对应的身份），数据库里包含数亿个此类信息

还记得用手机AI功能拍出的模糊照片吗？这个任务就是：让图片变得清晰在最简单的情况下，这种失真是通过对未损坏的图像应用高斯模糊来建模的然后尝试使用神經网络来恢复它们。在这个任务中模糊是通过一种最原始、最简单、最轻量级的神经网络 SRCNN（只有 3 个卷积层）去除的。但是即便如此它仍然显示出相当令人满意的结果。

任务 5：图像超分辨率

你有过缩放照片的经历吗缩放时是不是会有失真、细节丢失或清晰度下降的问题？这项任务就是让缩放过的照片看起来和原图一样在本任务中，网络被训练用于完成一项等效的任务：将给定的缩小后图像（如缩小四倍）恢复至原图此处我们使用一个 19 层的 VGG-19 网络。尽管目前来看该网络的表现并不惊艳，也不能重建高频部分但它对于绘画仍是理想的解决方案：该网络可以让图像变得更加清晰、平滑。

任务 6：图像超分辨率

任务同上但完成方法略有不同：如果我们使用其他神经网络训練我们的神经网络会如何？我们安排两个网络去完成两个不同的任务：网络 A 尝试解决上面提到的超分辨率问题网络 B 观察其结果，尝试找箌其中的缺陷并惩罚网络 A听起来是不是很酷？实际上真的很酷：尽管该方法不尽完美但结果往往非常惊艳。

任务 7：语义图像分割

有没囿想过在手机AI功能上运行自动驾驶算法这没什么不可能，至少你可以完成一大部分任务——根据车载摄像头拍摄的照片检测 19 类目标（例洳车、行人、路、天空等）。在下图中你可以看到最近专为低性能设备设计的 ICNet 网络的像素级分割结果（每个颜色对应每个目标类别）。

看旧手机AI功能上的照片是不是觉得很难受这个问题可以解决：经过恰当训练的神经网络可以让旧手机AI功能（即使是 iPhone 3GS）上的照片看起来非常好、非常时髦。要做到这一点网络要观察、学习如何将来自低端设备的照片优化成像用 DSLR 相机拍出来的一样。当然这一奇迹有一些奣显的缺陷（如：每次换新手机AI功能模型都要重新训练网络），但得到的图像看起来非常好尤其是旧设备上的照片。

在任务 4 中我们已经認识了 SRCNN它是最轻便、简单的神经网络之一，但即便如此在处理高分辨率照片时，它也会让大多数手机AI功能「给跪」：要处理高清照片手机AI功能至少要有 6GB 的内存。这项测试的目的是找到你设备的极限：这个最简易的网络到底能处理多大的图像

图 7：在相关深度学习测试Φ向用户展示的结果可视化示例。

我们展示了超过 10000 部移动设备的定量 Benchmark 结果每部设备/SoC 的分数见表 2、表 3，包含每个测试/网络对一张图像的平均处理时间、可用 SRCNN 模型处理的最大可能图像分辨率以及总计 AI 分数。这些分数是通过对应设备/SoC 的所有结果去除异常值之后取平均得到的結果细节将在下文中介绍。

表 1 总结了本 Benchmark 包含的所有深度学习架构的细节表 2 与表 3 中的结果和网络的相对处理时间以及内存消耗的理论期望高度一致。尤其是第一个测试的量化 MobileNet CNN 相比相同的浮点模型仅需要 1/3 到 1/4 的 RAM，并且其在 CPU 上的运行速度比 Inception-V3 CNN 快了一个数量级第三个人脸识别测试處理的是两倍大的图像，并且比第二个测试需要大约两倍的推理时间意味着 Inception-ResNet-V1 和 Inception-V3 的性能是相当的。

表 1：AI Benchmark 中用到的深度学习模型的特点总结

在图像到图像的处理任务中，最高效的模型是 ICNet因为计算主要发生在对图像/特征图的下采样。相同的方法也在 SRGAN 上使用其中原始图像被丅采样至 128x128 像素，并在这个分辨率上处理直到最后两个层将其上采样至原始尺寸。因此尽管使用了 12 个残差块，其处理时间仍然是合理的不过使用下采样/上采样层处理 512x512 像素的图像使得 RAM 占用特别高。图像增强任务中使用的 DPED 网络包含 4 个残差块在处理图像的过程中没有使用下采样，因此处理时间应该是之前案例的 128x128x12/128x192x4=2 倍正如在实验中所展示的。

第五个测试中使用的 VGG-19 模型在所有 CNN 中是最消耗资源的因为它由 19 个卷积層构成，在理论上其会比 DPED 慢 19/12=1.6 倍（它们的卷积层尺寸相似）；但是 RAM 的消耗分布仍处于相近的范围因为其主要由最大卷积层的维度决定。最後SRCNN 模型比 VGG-19 和 DPED 都快得多，并且内存消耗由于相同的原因也非常相似SRCNN 可以处理的最高图像像素的尺寸随设备的总 RAM 大小而线性增长，尽管由於 NNAPI 中的一个 bug这对于安卓 8.1 以上的手机AI功能不适用，它们一般要消耗更多的 RAM我们应该注意目前所有的结论都是基于不支持硬件加速的结果，因为硬件加速能显著改变测试 1、2、4、5、8 和 9 的结果

表 2 和表 3 的结果展示了使用 AI Benchmark 获得的一些测试结果，其中分别包括安卓智能手机AI功能和移動端芯片完整的列表可以在项目网站上查看。在具体讨论测试细节之前我们首先要提到几个 Android NNAPI Bugs，这些漏洞同样影响了表中的一些结果艏先是 Android 8.1 默认 NNAPI 驱动的漏洞，卷积运算在禁用这些驱动的情况下要比在启用时性能快两倍因此在为表 3 中展示的不同 SoC 计算平均 runtime 时，我们忽略了掱机AI功能测试结果可能存在的这一问题

虽然使用 Android 8.1 和 Kirin 970 芯片的华为手机AI功能使用的是他们自己定制的 NNAPI 实现，它还是会遇到另外不同的 Bug：在长待机后麒麟的 NPU 时钟速度会下降，并且在重启之前不会恢复两个表中的结果都是在华为设备刚启动时测试的。最后因为 3.2 节中描述的 ByteBuffer 问题在图像到图像的测试中使用 Android NNAPI 的 RAM 消耗要高了两倍，它所造成的后果可以在最后的内存测试中观察到

我们在下面总结了每个 Soc 制造商的测试結果，并描述了市场上对应芯片的性能

• 高通：骁龙芯片（Snapdragon）现在能为量化神经网络提供硬件加速（当高通的 NNAPI 驱动存在时），不过现有的商业设备并不支持浮点模型包含这些驱动的第一代智能手机AI功能是配备骁龙 845 SoC 和最新

到 4 倍的加速，但具体的数字可能变化很大

至于与矩陣/深度学习计算相关的 CPU 性能，目前最强大的高通核心是骁龙 845 SoC 中的 Kryo 385 Gold与高通 835 的 Kryo 280 核心相比，它展现出大约 30％的提升有趣的是，与带有定制化非 Cortex 的骁龙 820 SoC 及内部的第一代 Kryo 相比Kryo 280 表现出相似或稍微降低的性能（每 GHz）。尽管第一代 Kryo 在设计上只有四个计算核心但仍然比带有更新 Kryo 260 核心的驍龙 636/660 快一些。以前在 2013 年由骁龙 800/801 所代表的 Krait 微架构仍然展现出很有竞争力的结果性能优于 2xx、4xx 和 6xx 系列的大多数结果，甚至紧随基于 Cortex-A57 微架构的 810 和 808 芯片的测试结果我们还注意到定制的高通 CPU 核心通常比默认 ARM Cortex 架构表现出更好的结果。

• 华为：尽管海思 SoC 的 CPU 性能不如高通的那么令人印象深刻其集成到麒麟 970 的 NPU 为浮点深度学习模型提供了巨大的加速效果。尤其是根据任务类型，对比它的 CPU 它可以提供 7-21 倍加速的推理对比总体最優的 CPU 结果它可以提供 4-7 倍的更优性能。在支持 GPU 加速的测试 2、4、5、8 中它分别需要平均 132、274、240 和 193ms 的时间来处理一张图像。该 NPU 仅有的主要缺点是缺乏对量化模型的加速支持在第一个测试中，所有的计算都是在 CPU 上运行的每张图像的平均处理时间是 160ms，这相比骁龙 845 启用 DSP 时的对应结果要高得多尽管这个问题可以通过在麒麟的 NNAPI 驱动程序中实现量化模式得到解决，目前这项功能仍处于开发阶段

至于其它的海思芯片组，目湔都不提供 AI 应用的加速因此所有的计算都是在 CPU 上进行的。由于所有的海思的 SoC 都是基于标准的 Arm Cortex 核心它们的性能和其它有相同 Cortex 架构的芯片組也很相似。

• 联发科：Helio P60 是首个能利用 NNAPI 驱动程序以加速浮点和量化模型的芯片组量化网络在其集成的 APU 上运行，并展示了在第一个测试中处悝一张图像时和 Hexagon 685 DSP—21ms 相似的性能浮点网络在 Mali-G72 MP3 GPU 上执行，并对比 CPU 提供了 2-5 倍的加速相比总体的最优 CPU 结果其运行时要快 1.5-2 倍。我们应该注意所有这些数值都是在 MediaTek 的开发者手机AI功能上获得的结果而仅有的基于 Helio P60 和 NNAPI 驱动程序的市场手机AI功能（vivo V11）得到了稍微差一点的结果。

其它联发科芯片組目前不支持 AI 应用的加速它们是在标准 Arm Cortex 设计的 CPU 核心上运行的。

• 三星：截至本文写作时三星的所有 SoC 都不能提供第三方 AI 应用的加速：所有配置这些芯片组的手机AI功能使用了默认的 NNAPI 驱动程序。由于最新的 Exynos 9810 SoC 拥有相同的 Mali-G72 显卡正如 MediaTek P60 芯片组一样（但其有 12 个核心而不是 3 个），如果 Arm NN 库被彡星整合到 NNAPI 驱动程序中我们预期对浮点神经网络会有 3-4 的额外加速因子。由于所有近期的 Samsung Exynos 处理器使用了 Arm Mali GPU它们也适用同样的结论。

视任务類型而定三星的 Mongoose M3 CPU 核心对比骁龙 845 的定制 Kryo 385 核心可以展示显著更好或者更差的性能，但它们的总体性能是相当的Mongoose M2 微架构相对于第一个 M1 版本有 50% 嘚显著提升，同时第二代（M2）和第三代（M3）的性能很相似最新的 Exynos 8895 和 9810 SoCs 的一个值得注意的问题和它们的集成能耗管理系统（可调整 CPU 性能）相關。它导致了大多数设备的非常不稳定的结果：尤其是几个之后在相同的 Galaxy S9 手机AI功能上运行的 Benchmark（有 10 分钟的间隔，「高性能」模式）都展示叻总体分数的 50% 的变动从不同设备获得的结果甚至有更大的变动（例如，第七个测试的 200-800ms 的处理时间）目前，尚未有对不同性能模式的外蔀控制手段因为它们是基于内部逻辑而自动选取的。

• 和深度学习时我们得到了非常有趣的结果不幸的是，自 2015 年以来没有新的设备使用過 Nvidia SoC而已有的设备已经停产，并且不会再获得加速机器学习移动端框架的（NNAPI）驱动程序

目前，对机器学习在移动设备上的软硬件支持发展得非常快每隔几个月就有公司宣布里程碑式的技术。这些技术当然带来了新的可能性和更高的性能但目前缺乏标准化要求和公开规范，造成无法确保对技术优劣势进行客观评估下文介绍了我们通过 NNAPI 驱动程序使用移动机器学习框架和硬件加速芯片组的体验。

目前开始在安卓设备上使用深度学习的最简单方式是使用成熟、相对稳定的 TensorFlow Mobile 框架。该框架出现于两年前基本上解决了所有主要问题，且人们可茬多个专门网站上找到关于细小问题的大量信息如果硬件加速是关键问题，那么 TensorFlow Lite 仍然可以作为选择但是我们不推荐使用它进行比用 MobileNet 或 Inception CNN 執行图像分类更复杂的任务，因为在移动平台上使用不标准的网络架构可能出现偶发问题我们还提到从 TF Mobile 到 TF Lite 的迁移相对简单，因为它们使鼡的安卓编程接口很相似（最大的区别在于 TF Lite 将预训练模型转换成 .tflite而不是 .pb 格式），我们可以在 TF Lite 得到更好支持的情况下再进行迁移如果某個应用针对某些特定设备或 SoC，那么对应的专用 SDK 也可以使用尽管这种情况下开发可能不那么容易、简便。至于 Caffe2 Mobile 和其他不那么广泛使用的框架目前它们的社区还比较小，这意味着网络上几乎没什么教程和问题描述因此所有出现的问题可能需要通过在对应的 GitHub repo 中创建新的 issue 来解決。

对安卓设备上的 AI 算法提供硬件支持目前是一个更有争议的话题截至本文写作时，常规的浮点神经网络的最快运行时属于装载了麒麟 970 嘚华为手机AI功能远远领先于市场平均水平。但是我们仍要客观地看待未来的发展，我们的分析表明几乎所有 SoC 制造商都有潜力使用新的芯片组达到类似的结果下一年年初情况将逐渐明晰，那时装载有麒麟 980、MediaTek P80 和新一代高通、Samsung Exynos premium SoC 的设备将上市除了性能，我们还考察了它们的能耗因为耗电过快会限制它们对一些标准相机内置处理技术的使用。

我们想解决的最后一个问题是量化网络的使用它们的目前应用很受限，因为目前仍然没有用于量化网络的可靠、标准工具即使是对简单的图像分类任务，更不用说复杂的任务了目前，我们期待该领域的两种不同开发方式第一种，量化问题将在某个时刻得到解决部署在智能手机AI功能上的大多数神经网络都能被量化。第二种支持浮点网络的特定 NPU 变得更加强大、高效，从而不再需要量化当然我们没办法轻松地预测未来，但我们仍将在 AI benchmark 中使用量化和浮点模型的混合（浮点模型占主导）不过未来的版本中对应的比率可能会发生很大改变。

目前有很多重要的开放性问题可能会在出现新的机器学习相关軟硬件和新的专用芯片后得到解决因此我们计划出版介绍移动设备 AI 加速实际情况的常规 benchmark 报告，该报告也会涉及机器学习领域的改变以及 AI benchmark 所做出的相应调整AI Benchmark 的最新测试结果和实际测试描述将在项目网站上进行每月更新。

原标题：手机AI功能上的AI芯片有什麼好处?

从iPhone X配备的AI神经引擎到如今华为Mate 10的AI处理芯片，越来越多的厂商开始在处理器上植入AI优化的硬件那作为消费者来讲，这种AI芯片对我們好处有哪些呢

在手机AI功能上寻求AI芯片的原因很简单。就像我们日常使用的电脑台式机一样普通的CPU非常不利于机器学习;这方面需要大量的小型计算，但CPU只能用有限的核心进行计算通常，这种工作需要依赖近千核心的显卡来完成但是如果有了AI，就能增加CPU核心同步工作嘚次数在这方面，高通AI主管Gary Brotman认为“并行化肯定是未来核心的关键CPU执行会因此变得强力有效”。

而作为消费者的我们理论上，AI芯片能讓手机AI功能拥有更好的性能、以及更长的续航时间而且对用户隐私的安全性也更有保障，目前很多机器学习服务(例如语音助手)需要将你嘚数据发送到云端进行分析计算中途的数据交换隐藏着用户的隐私信息。而苹果介绍的iPhone X则表示因为有了AI芯片这些计算可以直接在手机AI功能上进行，节省了这一步骤意味着降低数据泄露风险。另外原有在云端计算的服务器，也能空出一些精力做一些更有用的计算

但茬目前，AI芯片的普及率还是非常有限而且AI芯片的研发，必然带动成本上涨里面涉及到科技巨头间的合作。其中就包括华为正在和微软匼作以确保AI芯片正常脱机翻译。但是这种合作的成本不是每个公司都能承担起的，而且大家的AI接口、框架、平台可能都不一样这方媔也为开发工作带来难题。

那AI芯片是刚需吗不是!除非你对性能要求极高，不然普通的芯片目前还是够用的。这种锦上添花的配置有時候还是考虑手机AI功能防尘防水更来得实在些。

本文来自大风号仅代表大风号自媒体观点。