AI大火，关工业制造、智慧城市等传统行业什么事?答案还要从边缘AI技术中找起。

当下AI潮涌，边缘AI也正逐步推动技术格局进行重大转变。

相比中心化的AI大模型+接口范式，边缘AI使计算能力更接近数据源——

它允许在设备上进行数据处理，并实现实时、上下文感知(context-aware)的决策。同时，边缘AI并不依赖基于云的处理，而是利用传感器、摄像头、智能手机和其他紧凑型设备等边缘设备，在“边缘侧”上执行AI计算推理。

这种方法具有多种优势，包括：更好的响应能力、更高带宽效率、更高数据隐私，以及在连接有限或间歇性情况下提高可靠性等。

这两天，工程与技术门户Wevolver新发布一份《2023年边缘人工智能技术报告》。

在报告中，他们详细介绍了边缘AI目前的行业概况、应用场景、边缘AI优势、平台、软硬件、传感方式、算法及展望。

其中要点，智次方・物联网智库整理如下。相信任何想跟上AI浪潮的技术从业者及负责人，都值得一看。

如需免费领取完整版报告，请扫描下方二维码添加智次方・物联网智库“小智慧”微信获取。

行业概况及边缘AI优势

近年来，数据已经从集中式云数据中心，向更靠近数据源的本地数据中心或边缘设备转移，同时，基于本地化计算需求日益高涨，这导致了边缘AI的出现和崛起。

据 Fortune Business Insights预测，边缘AI市场预计将从2022年的156亿美元，增长到2029年的1074.7亿美元，复合年增长率(CAGR)为31.7%。

以工业制造业为例，工业现代化正逐步向智能制造加速转变，并引发自动化、机器人以及工业物联网(IIoT)的创新。

Cyber-Physical Production Systems (CPPS)

在生产车间快速的数字化转型中，通过引入信息物理生产系统(CPPS)，收集和分析相关数据，如生产排程、质量检验以及设备维护，可获得相关的生产流程优化见解，以此大幅提升自动化生产装配、质量监控的效率和速度。

然而，基于云的数据处理方式，实现实时控制会产生明显的延迟。为打破云计算对于实时控制的限制，越来越多的制造业企业开始尝试边缘AI。

此外，医疗健康服务、消费品、物流运输、智慧城市、智慧家居……几乎都需要边缘AI，或处于体验升级需要，或数据安全考量，诸如此类的原因。

报告指出，位于边缘侧的AI优势明显，具体来看：

• 降低时延，边缘AI应用数据处理集中于数据源，不依赖网络传输，能大幅降低数据处理时延问题。这对一些低时延应用尤为关键，比如工业机器人、无人驾驶汽车。

• 实时性能，可以在特定场景发挥作用，比如质检，像生产线上的质量检测、安全应用中异常行为检测等。

• 安全和数据保护，边缘AI应用暴露数据量很少，极大减少恶意攻击和数据袭击的可能性。

• 提升隐私控制，很多AI应用涉及敏感数据，如安全数据、知识产权、病患信息等。边缘AI减少了数据对外传输和分享吗，创建了一个比云更可信的数据管理环境。

• 能源效率，基于云的数据传输和处理需要不断输入输出，还涉及大量GPU和TSU数据处理。边缘AI无需I/O操作，且数据处理基于边缘侧，能有效降低碳排放和减少碳足迹。

• 节约成本，相比云端处理，边缘AI不会过于依赖数据传输和处理，同时，它消耗更少的能量。其部署成本和操作成本远低于云端AI。

• 设备智能，一些边缘AI应用可以在单个设备上执行，比如物联网设备、微型控制器等。这会助力性能更强、更加智能化设备开发，但基于云端这是几乎无法实现的。

• 可扩展性，在AI应用中集成边缘AI系统，可以提供几年前没有的能力。例如，在运输、工厂以及其他工业场景中新增典型的实时性。

框架、工具与软硬件选择

对于边缘AI来说，深度学习平台、工具选择要考虑的因素可能更多，这当中包括延迟、数据处理能力、功耗、尺寸、重量和散热等等。

除此之外，使用的难易度也是问题，尤其边缘AI面向千行百业，更为友好的平台工具对技术服务企业及客户都更为便捷。

最后，工具支持能力、生态兼容性及释放开源免费也在考虑范围内。

较为著名的框架及工具包括有TensorFlow Lite、PyTorch Mobile、OpenVINO、NVIDIA Jetson、Caffe2 和MXNet等。

篇幅有限，重点介绍如下几个框架及工具：

TensorFlow Lite

TensorFlow Lite是一种用于设备端推断的开源深度学习框架，号称强大而多功能，专为边缘设备部署ML模型设计，具备低延迟、跨平台兼容性、用户友好等特征，在树莓派4微控制器板上，TensorFlow Lite实现了2.5毫秒的中位推理延迟。

此外，TensorFlow Lite还提供了全面的开发工具和API，支持多种编程语言，包括Python、C++和Java，增强了其多功能性和易用性。

PyTorch Mobile

该工具是PyTorch的移动设备拓展版本，PyTorch作为AI框架本就拥有很广覆盖，自带灵活、易用性，经过速度、效率优化后，更适合部署在资源有限的低功耗设备上。

根据PyTorch的说法，用该平台的模型，可在移动设备上实现低于10毫秒的延迟推理，当然，实际情况也取决于硬件能力、模型复杂度及输入数据量级。其支持硬件平台，包括CPU、GPU 和 DSP。

Caffe2

Caffe2是一个开源深度学习框架，其突出的优势在于其高性能，能够快速、准确地处理大型数据集。Caffe2针对CPU和GPU进行了精心优化，其与分布式计算环境的兼容性确保了轻松的可扩展性。

Caffe2以其推理低延迟而闻名，特别适合实时边缘AI应用。需要注意的是，Caffe2由于大量使用GPU资源，其功耗往往较高。

值得一提的是，Caffe2核心作者之一是AI大牛贾扬清，今年他已离开阿里，投身大模型基础设施创业。

MXNet

这也是一个开源深度学习软件框架，用于训练及部署深度神经网络。MXNet显著优势之一是它对多种编程语言的广泛支持，包括Python、C++和Julia，可与TensorFlow和PyTorch等其他深度学习框架无缝集成。

该框架数据处理能力也很高效，支持数据和模型并行性，使开发人员能够跨多个GPU或机器扩展他们的模型。

此外，MXNet凭借轻量特性，能在树莓派等低功耗设备上高效运行，对于追求紧凑便携的边缘AI系统，吸引力也很强。

OpenVINO

这是一个用于优化和部署AI推理的开源工具包，来自英特尔，可实现跨不同平台的高效部署，包括CPU、GPU和FPGA。

面向TensorFlow、PyTorch和Caffe等流行的深度学习框架，OpenVINO提供了优化的库和工具，其使用成本取决于模型大小、复杂性和所使用的硬件平台等因素。此外，OpenVINO提供与多种编程语言的无缝集成，包括C++、Python和Java。

介绍完AI框架及工具，再来看看其他硬件硬件选择的注意。

由于终端设备的处理、存储、电池寿命有限，模型必须进行优化，以适应有限的资源。尽管如此，硬件处理能力依然重要，此外，还要考虑功耗、可用内存量及类型。

软件选择上，兼容性、可拓展性、数据处理精度及可解释性对于诸多传统行业也是重要因素。

值得一提的是，安全性同样是边缘AI落地应用很看重的方向，报告建议，采用SSL/TLS、SSH等安全通信协议，建立边缘AI系统与其他系统之间数据传输的安全通道。

此外，还建议实施访问控制和身份验证机制，并对重要数据进行加密。

物联网加密系统及攻击路径

值得重点一提的，是TinyML。

这是一种新型的嵌入式机器学习系统技术，可在微芯片和微控制器 (MCU) 上部署 AI 模型，以实现极低功耗的设备上数据分析。

此前物联网智库对其进行过介绍，该技术面向终端和边缘侧的微处理器，是一种在mW功率范围以下的设备上，实现机器学习的方法、工具和技术。

MIT电子工程学院副教授韩松，今年刚获得斯隆奖，被誉为TinyML开创者，其参与创立的AI公司OmniML，今年刚被英伟达收购。

TinyML是ML与嵌入式的结合

该技术优势在于——

优化延迟、节能、节约带宽、更强的数据隐私安全及更好的效率及灵活性。

前文提及TensorFlow Lite，本身就可结合TinyML。其另一个版本，TensorFlow Lite Micro，其核心运在Arm Cortex M3上行时，模型大小仅为16KB。

TinyML的应用，包括了终端设备上图像识别、对象跟踪和安全应用程序的实时事件检测。

在物联网传感器应用中，TinyML用于解析图像、声音或振动等数据。在设备上进行推理，可将大量数据减少为压缩元数据，减少功耗提升安全性。TinyML 还用于消费电子设备，例如耳塞的噪音滤除。

边缘AI算法与传感方式

算法方面，相比AI大模型，甚至几年前的GPT-2，边缘AI因计算设备资源有限，更多考虑的是算法是否能在硬件上流畅运行。平衡，成为落地中的关键词。

当前，最流行、最适合部署在边缘设备上的算法是：分类、检测、分割和跟踪算法。

这四种算法类型为从对象识别和跟踪到质量控制和预测性维护的各种应用提供了实用的解决方案。

当然，上面几类中，还可以介绍很多具体算法，比如分类算法中的支持向量机(SVM)、决策树、随机森林和卷积神经网络(CNN)。再比如目标检测算法中的大名鼎鼎的YOLO和何恺明参与的Faster R-CNN，这里不逐一展开。

基于 YOLOv4 直方图的乳房X光片异常检测模型

但值得提一提的，是视觉Transformer算法(ViT)。该技术与ChatGPT同源，此后，还有DeiT 和 SWIN-Transformers等算法出现，并能部署在边缘端，其背后是边缘算力的不断演进。

另需要补充的是，对于边缘场景，数据压缩技术可能导致AI模型表现不准确，因此该方向也在近些年成为热门话题之一。

说完AI软硬件相关，报告还介绍了边缘AI的传感方式。

目前较为典型的边缘AI传感设备为摄像头、麦克风、温度传感器和运动传感器。设计领域包括自动驾驶、工业自动化和医疗保健。

其他传感器还包括触摸传感器、压力传感器、接近传感器等。

基于音频的传感系统

典型案例介绍

凭借轻量级的系统集成和靠近数据源的处理能力，边缘AI正加速与各行各业深度融合，带来天马行空的想象力。

智慧城市

NoTraffic是一个基于AI的交通实时管理平台，依托于英伟达技术，融合传感器、软件等，可以快速且全程响应交通状况。

结合摄像机与雷达的NoTraffic物联网传感器，图源：NoTraffic

基于边缘AI技术，NoTraffic可以检测、标记以及追踪道路使用者，包括他们临近路口时的速度、方向，并以此调整交通信号。

NoTraffic已与加州运输部和亚利桑那州运输部建立合作伙伴关系。该平台被证明，可以减少超50%的交通等待时间，同时可能还对减少汽车排放有贡献。

NoTraffic的另一个好处就是，基于边缘AI能力构建的交通系统，可以助力智慧城市快速分析交通流量数据并提供决策。

绿色工业

Fero Labs研发出一套应用工业流程优化的边缘AI软件，据证实，该软件可以在生产中实现提质降本，减少工厂浪费，实现碳排放量平均减少35%。

图源：Fero Labs

实现方式上，该公司将机器学习模型部署于工厂中现有的边缘设备中，通过软件连接到标准工业数据库，并通过本地化数据处理。

基于Fero Labs软件解决方案，制造车间可以通过现有装置进行生产预测、设备追踪和维护，避免产品瑕疵，提高过程稳定性。

智慧医疗

Medtronic是一家在医疗领域应用边缘AI的公司，该公司最近与英伟达合作，实现将英伟达全息扫描平台集成于AI系统，以应用于医疗设备。

应用GIGenius智能内镜模块的结直肠癌检测设备，图源：Medtronic

Medtronic将全息扫描平台集成进旗下的AI内镜模块，GIGenius，通过边缘AI技术加持，医生可以检测出结直肠癌的早期迹象。

Medtronic同样还将边缘AI应用于其他医疗领域，比如一个连续血糖监测系统。通过将传感器植入到皮下组织，就能起到血糖管理的作用，同时，利用AI能有优化且创建个性化糖尿病管理方案;还有Medtronic的起搏器，采用传感算法来检测并提醒患者心律失常的风险。

据该公司称，他们将边缘AI集成到医疗传感器当中，极大提升医疗服务和检测的个性化程度。

写在最后

以上是报告的要点介绍，值得补充的是，尽管边缘AI优势尽显，但仍有许多用例，需要云端数据中心参与。

比如报告提及，一些深度学习应用，需要大量数据点训练，这类用例通常需要结合云AI和边缘AI两方面优势。

基于边缘和云处理的混合解决方案，图源：Wevolver

巧合的是，上个月，高通技术公司同样发布了一份白皮书——《混合AI是AI的未来》，当中提出类似的观点：

“随着生成式AI的飞速普及和计算需求的日益增长，混合处理的重要性空前凸显。与仅在云端进行处理不同，混合AI架构的云端和边缘终端之间分配并协同处理AI工作负载。云端和边缘终端(如智能手机、汽车、个人电脑和物联网终端)协同工作，能够实现更强大、更高效且更普及的AI应用。”

但可以预见，边缘AI及ChatGPT为代表的中心化的AI大模型+接口范式，仍在以日新月异速度发展，一个万物智能的时代已经不远。

欲了解更多案例内容，请扫描下方二维码添加智次方・物联网智库“小智慧”微信获取完整版报告。

参考资料：

1.Wevolver 2023年边缘人工智能技术报告

2.https://www.wevolver.com/article/2023-edge-ai-technology-report?utm_source=edge-ai-report&utm_medium=edgeimpulse

3.https://mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw