从理论到实战,带你全面解读智能物联网技术
来源 | InfoQ2022-04-28 20:29:01
作为连接物、人和信息资源的智能系统,物联网实现了对物理和虚拟世界信息的处理,伴随着5G技术的成熟,物联网正在快速发展并渗透到我们衣食住行的各个方面,给我们的生活带来智能和便捷...

作为连接物、人和信息资源的智能系统,物联网实现了对物理和虚拟世界信息的处理,伴随着 5G 技术的成熟,物联网正在快速发展并渗透到我们衣食住行的各个方面,给我们的生活带来智能和便捷。

为了帮助更多开发者朋友了解与智能物联网有关的前沿技术干货,4 月 23 日,以“智能物联网”为主题的百度技术沙龙第 98 期再次如约而至。

本次,我们邀请到了百度智能云物联网主任架构师李乐丁、百度智能云物联网高级产品经理徐伟、百度智能云物联网虚拟现实技术负责人柴学智以及百度智能云物联网产品经理杜凯,四位老师分别围绕物联网技术发表了主题分享。除此以外,百度智能边缘高级开发工程师赵鑫、百度高级研发工程师袁振坤以及百度智能云物联网部资深研发工程师陈高飞,还结合实际产品带领开发者一同进行实操演练。

智能物联网的技术发展和应用实践

开场时,百度智能云物联网主任架构师李乐丁首先分享了百度天工 AloT 平台的应用发展和实践。同时介绍了天工 AIoT 平台可提供完善易用的物联网基础设施,进一步完善智能物联网应具备的三大特点,第一是连接万物,通过物联网平台跨越时空多维度,连接设备、数据与算力;第二是对话万物,提供领先的视觉、语音、数据等服务,赋予万物对话的能力;第三是智慧万物,基于前沿的 AI 技术及海量数据,打造行业智慧应用,助力行业升级。

端边云全面智能化的天工 AIoT 平台,具有专业可靠的设备管理、数据管理、时空交互、视觉分析、语音语义理解能力,为企业提供完整价值链路。活动中,乐丁老师分别从视觉智能、数据智能、语音语义智能三个角度解读了天工 AIoT 平台的核心技术。

视觉智能与百度视觉部门深度合作,提供了视觉一体终端设备、深度相机、巡检机器人等一系列视觉中间件;数据智能可以帮助大家获取各种数据分析模型,比如能源数据分析模型、设备分析模型、运行数据分析模型以及技术优化等,同时我们也提供创建新的模型训练平台,可以将物联网原始数据进行整理和分析,获取到一些高级策略;语音智能提供了鸿鹄的高级语音芯片,帮助我们直接构建智能的终端设备。基于这些中间件设备,我们在供热、电力、燃气、应急、工业、物流、园区、环保、医疗、家居等各场景中都提供了综合的服务方案。

1 (22)

物联网边缘计算与视觉智能技术

主题分享

来自百度智能云的物联网高级产品经理徐伟,在开场时引用了一组数据,据介绍,根据百度和波士顿咨询的联合调研可以看到:市场上定制化 AI 需求占比达到 86%;近三年来,百度 AI 开放平台定制化模型增长超过 6 倍;同时,一份来自边缘计算产业研究报告的数据显示,物联网数据在边缘侧处理占比达到 45%;AI 模型边缘部署场景比例超过 50%。由此我们可以得出一个初步结论,定制化 AI 模型越来越多,同时 AI 模型边缘部署场景也屡创新高。

徐伟还针对 AIoT 视觉智能整体技术架构做了介绍,百度提供面向不同用户的 AI 开发平台,EasyDL 是零门槛 AI 开发平台,平台可以覆盖图像、视频、文本、语音、OCR、结构化数据、商品检测等七大方向的数据来源,通过零代码的交互方式,能够产出可以部署在公有云、设备端 SDK、软硬一体和本地服务器等多种不同方式下的灵活的部署包;BML 是面向算法工程师的全功能 AI 开发平台,提供了从数据采集、数据清洗、数据扩充、数据标注、模型构建到模型管理、云端及离线推理服务管理等 AI 开发过程的全生命周期管理功能。在完成模型开发以后,百度提供的 EasyEdge 模型转化工具可以让云端模型适配边缘异构设备,最终通过百度天工 AIoT 智能边缘平台的应用管理、应用编排和应用部署能力来打通视觉智能交付的最后一公里。

2 (3)

天工智能边缘 AI 视频推断实战演练

为了加深开发者朋友们的体验,百度智能边缘高级开发工程师赵鑫现场带领大家进行了实战演练。

在演练之前,他首先给我们假设了一个场景:如果需要把一个应用部署到设备上,我们需要怎么做?常规来看,可以把应用在设备上进行安装,如果应用有更新需求,就重新进行安装、部署、更新以及启动。但如果是一个路边的智能设备,我们不方便手动地把应用进行复制,那我们需要考虑什么事呢?这时就需要引入一个云端和控制台的概念,只需要把应用提交到云端控制台,控制台发给后方的服务,服务于端上构建一条连接,就可以实现应用的远程下发。

这便是边缘计算核心的工作流程:完成端上状态的上报,以及云端远程应用的下发、更新、部署能力。在介绍完边缘计算的基础概念以及基本模块的使用方法后,赵鑫带领开发者朋友进行了实操演练。

虚拟现实核心技术剖析与实践

主题分享

百度智能云物联网虚拟现实技术负责人柴学智通过虚拟现实技术发展史及趋势、虚拟现实核心技术要素剖析及百度 VR 产品技术实践三个部分介绍了虚拟现实技术。

虚拟现实产业的本质是 VR 内容的生产和消费。基于此,虚拟现实的三大核心技术包括数据三维化、交互多人化以及渲染云端化。在这个业务模式下,柴学智还介绍了百度 VR 整体技术框架的三个显著特点:首先是能力开放,VR 整体技术架构背靠百度智能云与百度大脑,在点直播、云 VR、多人互动、三维重建、VR 编辑、内容交互场景下,有着行业领先的技术积累;其次是平台通用,我们夯实了 VR 内容平台的全平台属性,让 VR 内容的生产更加便利高效,让 VR 内容的消费通路更加顺畅;最后是场景丰富,依靠丰富的产品矩阵和深厚的技术沉淀,百度 VR 团队在教育、营销、政企、工业等诸多方向,为电商、广告、会展、党建等场景扩展了新的价值与用户体验。

3 (3)

百度 VR Suite(VR 开发者套件)实战

在全面地了解百度 VR 技术以后,来自百度的高级研发工程师袁振坤又结合实操演练,为开发者们深入介绍了百度 VR Suite 在虚拟现实领域的技术生态以及它的实现和应用实践。

据他介绍,百度 VR Suite 是百度 VR 核心的技术套件,是一种渲染与展示 VR 内容的技术 SDK;可以渲染 3D 环物、3D 模型、全景图、全景视频、景深漫游等多种品类,应用于 VR 电商、VR 看房、VR 看车等多个领域,解决跨平台支持、多品类渲染的难点,助力开发者实现全平台、全内容、高性能地展示与管理 VR 内容。

鸿鹄芯片及语音语义一体化

主题分享

百度智能云物联网产品经理杜凯介绍了度家语音语义平台架构采用了端到端的设计分为鸿鹄芯片、语音技术以及语义解析三部分,同时,度家平台也会接入百度天工 AIoT 平台进行设备管理和数据处理。

4 (2)

在硬件方面,鸿鹄语音芯片是专门为智能家居和车载语音交互场景设计的远场语音交互芯片,具有远场阵列信号实时处理、高精度超低误报语音唤醒、离线语音识别、低功耗等核心能力;在产品方案设计方面,它可以支持安卓、Linux 系统等不同平台;在语义能力方面,度家语音语义平台除了可以提供智能问答、天气、笑话、翻译等功能,还特别针对控制类需求设计开发了一套物模型的产品。

实战演练

学习了理论知识,百度智能云物联网部资深研发工程师陈高飞,基于鸿鹄芯片带领开发者朋友做了一个实战演练。用户通过购买度家语音语义一体化服务以及鸿鹄芯片开发板后,便可跟随实战演练的步骤,感受端云一体化的演示实例。