DeepSeek的爆火，再次给“人工智能+”注入了强大力量，物联网产业界也高度关注这一领域的发展。具有高级自然语言处理能力的大语言模型（LLM）为业界带来很多好处，将其集成到物联网系统中，可以有效发挥改进用户交互、增强的数据分析和上下文感知服务的能力，让物联网系统的智能化和交互体验得到大幅提升。随着大模型的发展，应用场景需求不断拓展，IoT-LLM之间如何融合互动成为一个重要研究方向。从当前初步探索看，IoT-LLM融合呈现双方互为驱动的两个方向。

方向一：以大模型赋能物联网场景丰富AIoT生态，但挑战也非常明显

大模型可以理解和处理复杂的人类语言，使物联网设备更加用户友好，并能够智能地响应语音命令和文本输入。目前，大量厂商在多个场景中开始探索，例如，将大模型用于智能家居中的语音激活控制和个性化用户体验，工业物联网中的预测性维护、异常检测和报告分析，医疗健康物联网中的患者监控和实时数据分析。此外，也有厂商基于大模型，通过智能聊天机器人和虚拟助理来增强客户服务，为用户提供及时和上下文相关的信息。随着物联网厂商的不断探索，大模型的集成将在推动创新和提供更智能、响应更迅速、更高效的物联网解决方案方面发挥至关重要的作用。

结合物联网“云-边-端”的架构，前期探索中均实现了大模型在“云-边-端”侧有相关的部署方案和案例。

物联网云平台已加快部署，例如，日本物联网虚拟运营商Soracom宣布推出服务，将大模型更深入地嵌入物联网连接和服务平台中，来加速更大、更复杂物联网项目的部署，这两项服务分别是Soracom Flux和Soracom Query Intelligence，前者是一个低代码应用构建器，通过定义传感器、摄像头、执行器、GenAI引擎和云之间的数据流，让即使是非技术用户也可以实时构建集成人工智能的物联网应用，后者通过自然语言网络数据分析简化大型物联网部署的管理。无源物联网领域知名创业企业Wiliot去年也宣布发布首个生成式人工智能聊天机器人WiliBot，通过这一对话机器人，客户可以问答的形式查询他们的产品和供应链状况，例如，向WiliBot提问：该产品的保质期是多久？它是如何到达商店的？下一步我应该采购哪种产品，原因是什么？储存这种物品安全吗，为什么？该产品的碳足迹是多少，是什么因素导致它如此之高或如此之低？

边缘侧和端侧大模型部署是当前的热点，通过裁剪、蒸馏等技术，实现大模型能够在边缘侧和端侧部署，或者采用轻量化的小模型。例如，高通公司加速推动AI在端侧落地，已推出面向PC、手机、汽车、XR等终端的产品；美格智能、广和通等物联网模组厂商也推出了AI模组，模组中集成了CPU\GPU\NPU等多种计算单元，可进行通用计算和异构计算，用于零售、汽车、云服务器、无人机、机器视觉等场景；多家智能家居企业也推动大模型或小模型在家居终端和网关等边缘设备的部署。

然而，将大模型集成到物联网尤其是端侧涉及多个挑战，包括大模型所需的计算能力和能耗，这可能会使物联网设备的有限资源紧张；在平衡边缘和云计算时，实时处理需求带来了延迟问题；鉴于物联网数据的敏感性和大模型易受恶意攻击的脆弱性，确保数据隐私和安全至关重要；确保跨不同物联网平台的兼容性和集成增加了复杂性；实施和持续运营的高成本使集成变得更加复杂。应对这些挑战需要人工智能、硬件、软件和网络安全的进步，才能释放大模型增强物联网系统的全部潜力。

其中，针对在资源受限的物联网环境中减少大模型训练、微调和推理的计算和内存占用的优化，以及针对在边缘或设备端部署大模型进行优化，以减少推理延迟并提高物联网应用中的实时处理能力，是当前物联网领域拥抱大模型需要破解的突出难题。

众所周知，低功耗广域网络（LPWAN）和无源物联网让资源极度受限的终端能够实现连接，使得万物互联网成为现实，目前很多轻量化的物联网终端，仅有MCU单元，计算能力非常有限，那么，为实现万物智能，是否需要更加轻量级的AI模型？目前，已有TinyML来实现低功耗物联网终端的智能化部署，大模型能够轻量化到什么程度？能够覆盖这些资源极其受限的终端上吗？这个可能是未来研究的重要方向。

方向二：以物联网对现实世界的真实反映，增强大模型推理能力

南洋理工大学和南京大学的研究人员此前发表的一篇论文指出，大模型在文本和视觉领域表现出非凡的能力，但经常产生违反物理规律的输出，揭示了它们对物理世界的理解存在差距。受人类认知的启发，研究人员探索使用物联网传感器数据和物理世界中物联网任务推理的相关知识来增强大模型的感知能力，最终实现较好的效果。

研究人员首先提出，处理密集的数据和复杂的时间序列输入是大模型面临的重大挑战，因为它们无法捕捉上下文，它们无法在不同的环境中进行归纳，而这是现实世界中有效推理能力所必需的特征。例如，在像Chat-GPT 4这样的大模型中，在处理原始物联网数据后，仅实现了40%的活动识别准确率和50%的机器诊断准确率。

研究团队提出了一个IoT-LLM框架，从而使用三步定制方法增强大模型在监控真实世界场景中的推理能力。

第一步是预处理：将原始物联网数据预处理成大模型易于理解的格式，这个过程简化和丰富了数据，为大模型提供了更多的上下文。

第二步是常识知识激活：在这个步骤中，使用了思维链提示，以便更好地推理和解释处理过的数据，复杂的任务被分解成更容易处理的任务，反映了人类的认知思维。在这些大模型中使用了固有的常识，并且专门的角色定义指导模型更好地理解上下文。

第三步是面向物联网的检索增强生成：在这一步中，大模型使用检索增强生成模型来动态检索特定于上下文的理解，该模型可以有效地使用当前上下文和先前获得的知识，这种结合有助于快速适应物联网环境的实时变化。

这三个步骤的集成提高了大模型的能力，其中所有三个步骤的改进使任务准确度比使用其他传统模型可达到的准确度高65%。总体来看，新的LLM-IoT框架解决了物联网环境下的任务推理能力问题，尤其是优化了大模型在处理物联网数据方面的缺点，提升了大模型的推理能力。

总体来看，IoT-LLM融合沿着大模型赋能物联网和物联网赋能大模型两个方向。未来，物联网终端数规模依然会实现快速增长，在万物互联的基础上，努力推动万物智能的实现。