随着各类智能终端的普及和网络带宽的持续提升，音视频技术已成为连接世界的关键桥梁。
在消费互联网侧，据中国互联网络信息中心发布的第53次《中国互联网络发展状况统计报告》显示，截至2023 年底，我国网络视频用户规模为10.67 亿人，占网民整体的97.7%，短视频用户规模为10.53 亿人，占网民整体的96.4%，网络直播用户规模达8.16 亿人，占网民整体的74.7%。
在物联网侧，2023年底，蜂窝物联网终端用户数达到23.32亿，其中智慧零售和智慧家居的规模分别达到了4.54亿和3.35亿。IDC预测，智能家居及可穿戴设备是未来物联网的主要增长点，预计2026年连接数量接近60亿个。视觉作为智能家居行业的核心端口，成为落地最快、覆盖度最高的主流设备。
萤石作为领先的物联网云平台提供商，在音视频领域持续引领，以云服务为依托，驱动智能家居行业及以零售连锁为代表的更多行业实现视觉智能应用升级，帮助企业客户降本增效。
目前，萤石云在智慧连锁、智慧建筑、教育教学、应急管理、医疗养老、娱乐竞技、智能制造等多个领域与优秀的开发者合作伙伴共同实现了一系列丰富的视觉应用解决方案。截至2023年底，萤石云已经拥有超过1.57亿全球消费者，31万以上的开发者客户，月活跃用户超过5400万，全球接入IoT设备数量达到2.5亿以上。
随着行业需求的不断深化和挑战，萤石云也在不断迭代和提升其平台开发能力。
萤石开放平台再升级，以AI助力自助服务场景
作为萤石业务开展早期便采取开放服务模式的萤石开放平台，一直在将沉淀、验证的PaaS组件能力输出给行业，促进行业解决方案实现视频化、智能化。
目前，萤石云物联网平台已经实现南北向都开放，南向为设备制造商提供云接入能力，已经有超过10万款设备型号内置了萤石云协议。北向为行业开发者开放云上沉淀的物联音视频能力，去辅助开发者构建自己的行业解决方案。平台已经累计发布了共计超过1000个开放接口，涉及接入、直播、通话、存储、AI、信令和用户连接7个类别，31组原子能力，以及20多款aPaaS场景化集成组件。
近年来，随着音视频技术的不断发展和年轻一代对便捷自主消费方式的偏好，使得自助消费成为了一种趋势，节省了消费者时间的同时也帮助商家降低了运营成本。
基于对客户场景的观察，萤石发现远程化巡检能力、及时响应的连线服务能力和低成本运维能力对于客户物联系统的支撑起到越来越关键的作用。
首先是远程化巡检能力。随着人工成本越来越高，利用现场摄像机叠加AI算法进行视频巡检，已经成为一种趋势。但是传统的小模型算法误报率较高，需要投入大量人工进行纠偏，这样一来，巡检省下的人工成本又体现在了算法纠偏上。
其次是及时响应的连线服务能力。真人语音和视频化的云店员方案，正在代替过去线下店员提供给顾客的及时反馈服务。在这种场景下，用户体验很大程度上取决于云店员的智能程度。
最后是低成本运维能力。这主要体现为系统出现问题后，如何快速恢复。通常，为了保障时效性，运维工作都交由本地化团队，但是大量物联设备的应用，让物联系统的复杂度急剧上升，从而导致人工的学习成本急剧上升。
大模型技术的突破，为应对上述问题、实现和升级相关能力提供了良好契机。
6月27日，在以“AI达百业，视之所向”为主题的2024ECDC萤石云开发者大会上，萤石基于自研大模型技术对其开放平台进行了重磅升级，推出了更优的开发者集成方案，包括智能视觉巡检组件、智能视频客服组件，以及远程排障专家工具，帮助企业快速升级智能化能力，保障项目尽快上线。
智能视频巡检组件。为了提升远程巡检能力，萤石基于其自研大模型技术，对其智能视频巡检组件进行了升级。一方面，延续了端云一体化设计，保障了视频轮换、内容抓取和存储及算法执行的性能和灵活性。大模型则提升了准确度，也大幅降低了初始化训练的样本。借助知识蒸馏技术，可以不断升级设备中的各种算法，实现持续进化，从而更好地控制长期使用成本。该组件适用于各种行业的远程视频巡检场景，如台球厅、收银防飞单、餐饮规范治理及无人服务防纠纷等。
智能视频客服组件。通过自研大模型的数字分身复刻能力和大语言模型能力，可以实现全天候不间断的连线服务。通过这一组件，开发者还可以维护自己所处行业擅长的营销服务相关语料，实现更加个性化的服务。
远程排障专家工具。该工具能够主动收集设备的状态和指标，及时发现潜在问题。还可以通过端云一体化的远程手段实现问题定位和恢复。更重要的是，通过自研大模型基于智能家居场景训练的智能排障服务专家模型，可以通过图文、语音、视频连线等形式为客户提供排障咨询和帮助，大幅提升了运维效率，降低了维护成本。
蓝海大模型，让音视频开发工作更智能
此次萤石开放平台升级背后的功臣，首推萤石自研的蓝海大模型。蓝海大模型是萤石自研的针对垂直物联网场景的具身智能大模型，可以接入各类感知设备，处理和理解多模态数据，最终实现智能化的行动规划。
萤石的AI技术策略旨在强化IoT与物理世界感知，构建具身大脑，实现多智能体端云联动。根据复杂度对AI进行能力层级定义，从L0到L4，依次为专有算法、单模态交互、多模态交互、具身式交互以及具身智能体。
蓝海大模型具有以下特点：在开发开放方面，提供原子级算法，各层级能力可端云协同，大模型私有化；在基础交互方面，支持IoT控制、语音问答、多模态问答、多模态生成等功能；在具身代理方面，提供开发助手、陪伴助手、会议助手、安防助手等多种智能应用。
萤石AI开放技术提供智能物联场景百余种算法，包括29大类93种原子算法，涉及数据治理、音视频处理和模型部署；73种L0深度算法，涵盖文本、音频和图像视频算法；26种L1-L3交互算法，支持语音交互、多模态交互、图像生成和具身代理。萤石正在依照法律法规要求履行相关算法的安全测评、备案等手续。
新一代HomePlay OS架构，提升大模型使用效率
为降低大模型的使用门槛，保持成本可控，萤石推出了新一代架构——HomePlay OS。该架构以提升用户的生活和工作体验为核心，专注于人、家庭及商业环境，提供智能代理和以视觉为核心的AI能力，使开发者能够以快速、灵活、低成本的方式开发智能场景或应用。
首先，HomePlay OS采用AI核心，具备类比人类能力完成任务的特性，能够感知、计算和反馈，并通过用户学习和自我学习实现短期记忆与用户交互。
其次，代理封装功能使得开发者更易于使用，通过代理角色服务用户，并封装协调复杂的模型和服务交互。
再次，端云协同能够更高效地完成任务，包括初略和精细过滤模式、粗加工和精加工模式以及简单和复杂规划的结合。隐私保护方面，系统通过数据端到端内容加密、训练数据闭环受控和近场计算优先等措施，确保用户数据的安全性和隐私性。
最后，HomePlay OS强调全栈开放性，支持多层不同形式的开放性，包括算法开放、硬件接入、模型和服务组合，支持开发专属代理以及低门槛使用，满足不同开发者的需求，促进创新和发展。
落地案例印证萤石开放平台AI能力
以AI技术推动服务升级，最终的效果如何需要通过客户体验来判定。如果没有用户的积极反馈和认可，所有的技术创新都是一厢情愿的无效努力。
谈小娱是自助台球开创者，已在全国布局300多个城市，超过5000家门店，覆盖用户800多万人，谈小娱轻装上阵，利用视觉能力，让监控、运营、营销等重人力环节高效释放，持续为业务扩张提供动力。基于萤石云服务能力，谈小娱创新性打造了视频内容生产和用户直播功能，通过自动获取精彩瞬间、低延时直播等方式，进一步放大台球在短视频时代的社交属性。双方在AI 应用上合作精进，已上线AI短视频剪辑、AI视觉追踪算法清台、AI电子裁判及AI数据化运营等丰富的运营、管理方案。
酷店掌是专注于连锁门店的数字化运营服务商，合作终端店铺150,000+，对传统门店智能化升级具备丰富的实践经验。基于萤石云物联底座，酷店掌推出了数字化门店运营变革方案，新一代门店管理已全面启用数字化、可视化和AI 智能化，涵盖线上线下巡店、人员管理、运营管理、业务培训、经营分析等维度，不断优化门店降本增效的新策略。24年，酷店掌还进一步引入了萤石物联专有云服务，构建专属的视频AIoT平台，为自身业务不断上涨的智能设备管理持续保驾护航。
通过与谈小娱和酷店掌等领先企业的合作，萤石云不仅成功地将其AI能力转化为可见的业务成果，还通过这些合作伙伴的成功案例，展示了AI技术在提高效率、优化成本和增强用户体验方面的真实潜力。
写在最后
让AI技术走出比特世界，通过与实体设备结合进而影响现实物理世界是AI技术发展的下一步。以萤石为代表的智能物联及视觉技术服务企业，正依托于其扎实的业务基础和对AI及行业未来趋势的深刻理解，探索将AI技术与物联网设备整合的新途径。
基于蓝海大模型和HomePlay OS架构支撑的萤石开放平台，不仅为开发者提供了强大的工具和资源，也为终端用户创造了更加智能和便捷的生活方式。围绕音视频技术，萤石正在通过一系列从基础算法到高级应用的技术迭代，投身于一场旨在提升行业效率、增强用户体验，并持续推动物联网生态创新的技术革命。
