1

深度学习在生活中的应用已经十分广泛，如常用的语音和图片识别。不过，在不就的将来，深度学习或许能应用到与个人生活更紧密的领域：物联网。

近日，麻省理学院的研究人员开发了一种系统，该系统可以将深度学习神经网络带到全新的甚至更小的设备，例如可穿戴医疗设备，家用电器中的微型计算机芯片以及构成物联网的其他2500亿设备中。

该系统名为MCUNet，设计有紧凑的神经网络，尽管内存和处理能力有限，但它为物联网设备上的深度学习提供了前所未有的速度和准确性。该技术可以促进物联网领域的扩展，同时节省能源并提高数据安全性。

这项研究将在下个月的神经信息处理系统会议上发表。

物联网诞生于20世纪80年代初，目前的规模已经相当庞大。物联网设备通常通过微控制器，即简单的计算机芯片运行，没有操作系统，处理能力最低，内存不到普通智能手机的千分之一。

因此，像深度学习这样的模式很难在物联网设备上本地运行。如果需要处理复杂的分析，物联网收集的数据通常会被发送到云中，这使得它容易受到黑客攻击。

为了解决这种困境，研究团对设计了“微型深度学习”所需的两个组件，一个是TinyEngine，另一个组件是TinyNAS。前者是指导资源管理的推理引擎，类似于操作系统，经过优化以运行特定的神经网络结构;后者是一种神经架构搜索算法。

为微控制器设计一个深度网络并不容易。现有的神经架构搜索技术从基于预定义模板的大量可能的网络结构开始，然后逐渐找到具有高精度和低成本的网络结构。然而这种方法的效率却较为一般。

因此，研究人员开发了TinyNAS，这是一种创建定制大小网络的神经架构搜索方法。TinyNAS的定制特性意味着它可以为给定的微控制器生成具有最佳性能的紧凑神经网络。

为了运行这个微小的神经网络，微控制器还需要一个精简的推理引擎。一般来说，推理引擎会为很少运行的任务携带一些无用的指令。额外的代码对微控制器是极大的资源占用。因此，研究人员开发了TinyEngine。

由TinyEngine生成运行TinyNAS定制神经网络所需的基本代码。在该小组对TinyEngine的测试中，编译后的二进制代码的大小比谷歌和ARM的可比微控制器推理引擎小1.9到5倍。

在随后对MCUNet的实际测试中，MCUNet成功地对70.7%的新图像进行了分类，这比此前的54%的准确率提高了不少。

该团队在对另外三个微控制器的测试中发现了类似的结果。在速度和准确性方面，MCUNet击败了参照设备。在这种任务中，用户使用声音提示(如“嘿，Siri”)或走进房间就可以启动与计算机的交互。这些实验突出了MCUNet对众多应用的适应性。

研究人员表示，MCUNet可以“将智能计算机视觉能力带到甚至最简单的厨房电器上，或者启用更智能的运动传感器。”

研究人员还强调了MCUNet的安全性，使用此系统意味着用户可以在本地完成所有计算，省去了传输到云端的过程，增加了隐私安全。

此外，研究人员还表示，训练一个大型神经网络所需的能量与五辆汽车生命周期内排放量的碳相当。但是微控制器上的网络训练只需要一小部分能量。研究人员最终目标是用更少的计算资源、更少的人力资源和更少的数据实现高效、微小的人工智能。

编译/前瞻经济学人APP资讯组

原文来源：

https://www.sciencedaily.com/releases/2020/11/201113154627.htm

https://arxiv.org/abs/2007.10319