Arm NN:在移动和嵌入式设备上无缝构建和运行机器学习应用程序
近来,Arm颁布发表推入迷经收集呆板进修(ML) 软件 Arm NN。这项关头性技能,可在基于 Arm 的高能效平台上轻松构建和运行呆板进修利用步伐。现实上,该软件桥接了现有神经收集框架(比方 TensorFlow 或 Caffe)与在嵌入式 Linux 平台上运行的底层处置硬件(比方 CPU、GPU 或新型 Arm 呆板进修处置器)。如许,开辟职员可以或许继续利用他们首选的框架和东西,经 Arm NN 无缝转换成果后可在底层平台上运行。
呆板进修必要一个练习阶段,也就是进修阶段(这些是猫的图片),此外还必要一个推理阶段,也就是利用所学的内容(这是猫的图片吗?)。练习今朝凡是在办事器或雷同装备上产生,而推理则更多地转移到收集边沿,这恰是新版本 Arm NN 的重点地点。
一切环抱平台
呆板进修事情负载的特色是计较量大、必要大量存储器带宽,这恰是挪动装备和嵌入式装备面对的最大挑战之一。跟着运行呆板进修的需求日趋增加,对这些事情负载举行分区变得愈来愈首要,以便充实操纵可用计较资本。软件开辟职员面对的多是不少分歧的平台,这就带来一个实际问题:CPU 凡是包括多个内核(在 Arm DynamIQ big.LITTLE 中,乃至另有多种内核类型),还要斟酌 GPU,和百家樂公式,很多其他类型的专用处置器,包含 Arm 呆板进修处置器,这些都是总体解决方案的一部门。Arm NN 这时候就可以派上用处。
下图中可以看出,Arm NN 饰演了关键脚色,既暗藏了底层硬件平台的繁杂性,同时让开辟职员可以或许继续利用他们的首选神经收集框架。
Arm NN SDK 概览(初次公布版本)
您可能已注重到,Arm NN 的一个关头请求是 Compute Library,它包括一系列初级别呆板进修和计较机视觉函数,面向 Arm Cortex-A CPU 和 Arm Mali GPU。咱们的方针是让这个库聚集针对这些函数的一流优化,近期的优化已展现了显著的机能晋升 比等同 OpenCV 函数提高了 15 倍乃至更多。若是您是Cortex-M CPU 的用户,如今另有一个呆板进修原语库 也就是近期公布的 CMSIS-NN。
CMSIS-NN 是一系列高效神经收集内核的调集,其开辟目标是最大水平地晋升神经收集的机能,削减神经收集在面向智能物联网边沿装备的 Arm Cortex-M 处置器内核上的内存占用。Arm开辟这个库的目标是全力晋升这些资本受限的 Cortex CPU 上的神经收集推理机能。借助基于 CMSIS-NN 内核的神经收集推理,运行时/吞吐量和能效可晋升约莫 5 倍。
重要上风
有了 Arm NN,开辟职员可以即时得台北汽車借款,到一些关头上风:
更轻松地在嵌入式体系上运行 TensorFlow 和 Caffe
Compute Library 内部的一流优化函数,让用户轻松阐扬底层平台的壮大机能
不管面向何种内核类型,编程模式都是不异的
现有软件可以或许主动操纵新硬件特征
与 Compute Library 不异,Arm NN 也是作为开源软件公布的,这象征着它可以或许相对于简略地举行扩大,从而顺应 Arm 互助火伴的其他内核类型。
合用于 Android 的 Arm NN
在蒲月举办的 Google I/O 年会上,Google 公布了针对 Android 的 TensorFlow Lite,预示着重要新型 API 起头支撑在基于 Arm 的 Android 平台上摆设神经收集。概况上,这与 Android 下的 Arm NN SDK 解决方案很是类似。利用 NNAPI 时,呆板进修事情负载默许在 CPU 上运行,但硬件抽象层 (HAL) 机制也支撑在其他类型的处置器或加快器上运行这些事情负载。Google 公布以上动静的同时,咱们的 Arm NN 规划也希望顺遂,这是为利用 Arm NN 的 Mali GPU 供给 HAL。本年晚些时辰,咱们还将为 Arm 呆板进修处置器供给硬件抽象层。
Arm 对 Google NNAPI 的支撑概览
Arm NN 的将来成长
这只是 Arm NN 的第一步:咱们还规划添加其他高档神经收集作为输入,对 Arm NN 调试步伐履行进一步的图形级别优化,笼盖其他类型的处置器或加快器请紧密亲密存眷本年的成长!
制冷打浆机,
台湾包车自由行游览,
揭阳防水,
頁:
[1]