交管业务视频可视化融合与实践

朱毅

上海电科智能系统股份有限公司，上海 200063

【摘要】本文介绍了基于端、边、云架构的交管行业的视频可视化融合与实践。视频系统是交管业务应用中的重要组成部分，但是在实际应用中，视频系统与业务应用的结合程度并不高，无法满足深入的业务实战要求。通过云边协同技术，在中心端实现业务端的视频格式转换融合，满足多屏播放、适配无插件浏览器播放的需求。在边缘端，随着硬件算力的不断增强，在边缘端实现本地视频的业务信息叠加，满足实际业务实战需求。

【关键词】端边云；视频可视化融合；边缘计算

Integration and Practice of Video Application in Traffic Management

Zhu Yi

Shanghai SEARI Intelligent System Co.，Ltd.，Shanghai 200063

Abstract: This paper introduces the video integration and practice of traffic management based on device, edge and cloud architecture. Video system is an important part of traffic management business application, but in practical application, the combination degree of video system and business application is not high, which can not meet the in-depth business requirements. Through the cloud edge collaboration technology, the video format conversion and integration of the business end can be realized in the central end to meet the needs of multi screen and plug-in free browser. At the edge end, with the increasing hardware computing power, the local video can be overlapped with valueable information to meet the actual business needs.

Key words：device edge cloud;video visualization application;edge computing

1 引言

视频系统（图1）是交管业务中的重要组成部分，是交管系统的“眼睛”，通过视频系统可以直观查看当前的实时路况态势、辅助实时指挥警员即时处置路面状况，从而满足交管的实战业务指挥需求。视频应用包括了从基本的实时态势监控、云台视频控制、历史视频回放，到卡口稽查布控、多功能电子警察违章抓拍等多种视频应用。近年来随着人工智能技术的发展，基于深度学习技术的视频识别与应用更是得到了极大的发展，出现了多功能的复合视频检测设备等智能视频AI设备。

但是在现有的智能交管业务应用中，视频平台与现有业务应用的业务融合支持不高。在现有的指挥中心交管应用中，视频主要通过视频平台管理，视频平台的作用仅仅是把前端的视频统一管起来，满足视频浏览、控制、播放的要求，并没有做到与业务应用的融合，无法满足实际更深入的业务融合需求。

业务对于视频的需求主要表现在以下几个方面：

（1）视频多屏播放的适配要求 视频应用的播放需求从传统的C/S客户端，逐步发展到桌面端、浏览器端、移动端的多端平台。目前，大部分的交通视频平台以C/S客户端为主，如果需要提供Web播放的支持，那么提供给业务视频集成方面以依赖传统IE控件方式为主，对于交管业务的业务融合支持度不佳，在无插件播放视频、插件兼容性上带来诸多的集成不便性。

现有交管应用大多以H5浏览器为主，传统的基于ActiveX技术的视频OCX控件无法在chrome的版本上运行。现有的主流规范GB/T 28181—2016《公共安全视频监控联网系统信息传输、交换、控制技术要求》（以下简称“28181”），对于Web端视频播放支持度不够，通过28181输出的视频流还不能直接提供浏览器播放；在视频播放应用上，对于基于H5的浏览器的应用支持不足。

（2）视频与业务的融合 在展示方式方面，现有的可视化展示方式有二维的GIS地图和三维模型，虽然可视化程度都较高，但是真实程度较差。现有的视频更多地只是完成一些基本的播放控制的需求。

通过视频与业务标签融合以后，基于视频的指挥满足真实的应用实战的需求，通过在视频叠加业务标签，以视频作为背景实现业务信息增强，从而满足交管的实际业务指挥与处理的实战需求。

（3）边缘端的视频融合 随着视频资源的广泛普及，传统以中心为模式的视频集中处理的模式受到了巨大挑战。随着5G、大量高清视频的普及，传统视频资源通过中心进行集中处理，往往带来巨大的算力与带宽消耗。

基于端、边、云的架构理念，在边缘侧，随着本地AI硬件能力的增强，可以在边缘端直接对路口的视频进行AI处理，直接进行视频加速的编解码处理。通过部署推理侧硬件AI算法模型，可以直接在路口边缘侧识别多种结构化信息。通过边缘端的直接处理，直接服务于边缘本地的业务需求，从而与中心视频处理形成协同处理，减轻中心的算力负担，减少本地与中心的网络延迟。

综上所述，本文主要围绕视频多屏播放、视频管理应用、视频边缘端AI处理，采用基于端、边、云的架构，实现视频与业务应用的有效融合，从而真正发挥视频应用的作用。

2 中心端视频业务增强

2.1 视频多屏播放的需求

对于传统的视频业务应用，交管业务条线管理主要是通过视频平台厂商提供的控件完成基本的视频播放、云台控制、视频回放等基本应用。由于视频控件的不标准，需要适配多家视频厂家，造成维护难度的加大。

随着GB/T 28181—2016《公共安全视频监控联网系统信息传输、交换、控制技术要求》在安防行业的标准化，形成了统一的标准规范，在登录注册、获取视频资源、云台控制、实时点播、历史回放上形成了统一。

但是只有国标协议是不够的，随着大屏可视化、移动互联网播放的普及，视频不仅仅是在传统的桌面终端上播放，同时也要适配移动端、H5浏览器端、大屏展示等多端的需求。现有的28181国标协议的输出视频流，无法直接在H5浏览器上进行播放，而传统的视频控件往往以OCX为主，只能适配陈旧的IE浏览器，造成使用上的问题。

因此，需要通过对接入的视频进行格式转换，从而满足视频多端浏览的需求。

2.1.1 视频的采集处理

流媒体服务（图2）是整个视频业务平台的核心中间件，前端通信通过RTSP、GB/T 28181—2016等标准协议采集的实时视频流，实时推送到流媒体服务中，流媒体服务完成了视频流的接入、采集、转换格式，为多个业务端提供视频拉流服务，避免向前端摄像机直接拉流。

流媒体服务需要支持多种业务流的格式，支持RTSP、FLV、HLS等多种视频流的推流需要。

GB/T 28181—2016规定了城市监控报警联网系统中信息传输、交换、控制的互联结构、通信协议结构，传输、交换、控制的基本要求和安全性要求，以及控制、传输流程和协议接口等技术要求。该标准适用于安全防范监控报警联网系统的方案设计、系统检测、验收以及与之相关的设备研发、生产，其他信息系统可参考采用。

因此，首先通过部署视频通信网关，与视频平台进行GB/T 28181—2016的接口协议交互，订阅获取实时视频流，推送到流媒体网关。

2.1.2 视频的流媒体转发

流媒体部分主要实现接收28181输出的PS流或者TS流的处理，实现解封装的协议格式转换，输出RTSP、HLS、RTMP、FLV等多种视频格式流，直接在流媒体端输出原生H5浏览器支持的视频格式，同时满足原生客户端、移动端、播放的需求。

目前，主流场景的流输出格式见表1。

（1）HTTP-FLV HTTP-FLV直播的方式是一种比较新颖的方式，该技术基于HTML5，可以通过无插件的方式实现视频直播，而且由于RTMP负载可以平滑地转换成HTTP-FLV协议，所以其正在逐渐取代RTMP成为新的直播技术标准。

FLV的延时较小，对于浏览器的支持比较好，因此可以作为在浏览器播放视频的选择。

（2）HLS HLS协议是苹果公司主导的技术标准，该技术标准兼容性最佳。除了桌面浏览器，手机浏览器甚至是手机QQ、手机微信都支持该直播协议。

HLS协议的优势：①可以在不同速率的版本间自由切换，实现无缝播放；②省去使用其他协议的烦恼。

HLS协议的劣势：①延迟大小受切片大小影响，不适合直播，适合视频点播；②实时性差，延迟高，HLS的延迟基本在10s以上；③TS切片较小，会造成海量小文件，对存储和缓存都有一定的挑战。

2.1.3 浏览器无插件视频播放

为了实现H5浏览器视频播放无插件的要求，通过前端与流媒体配合，进行了HLS、FLV等多种视频流格式的输出。

其中，HLS的方案适合非高实时性的播放要求，FLV的延迟较小，可以作为目前的主流的视频播放方案。通过综合运用HLS、FLV的视频，可以满足不同的场景输出需求。

前端通过基于无插件的JS库进行播放，可以实现免插件方式播放展示视频流。

2.1.4 移动端视频播放

移动端自身具备便携性与灵活性的特点，可以通过移动端直接查看视频列表和播放视频，满足交管用户的业务体验流畅性。移动端视频界面如图3所示。

通过开放移动设备Android端、iOS端的移动端应用，进行视频监控信息管理，实现实时掌控视频信息设备的状态、布局以及必要情况，可发送本地视频信息给云端，做到灵活即时信息交互。

移动端主要提供的基本功能包括：

1）摄像机列表：为用户以列表的形式展示所有平台（相机）数据，通过单击通道可以观看每一个通道的视频。而且每一行数据都可以动态关联实时媒体流信息并展示在页面中，通过单击相应链接可以查看流媒体的信息并可以观看直播流媒体。

2）多路视频播放：为用户提供同屏播放多个摄像头视频信息界面，用户可以通过单击添加按钮进入摄像机列表界面，搜索选中需要查看的设备，添加到多屏播放界面。

3）地图视频定位：在地图界面标记当前附近所有的摄像头设备位置，方便用户观察设备的分布情况，形象地支持监控布局，并支持单击摄像头图标来播放摄像头采集的监控视频。

2.2 视频应用管理平台

以往的业务应用在调用视频管理时，缺乏统一的视频管理接口。因此，通过视频管理平台的集中功能封装，开放出视频业务的常用服务接口，满足上端业务应用调用视频的需求。

2.2.1 视频信息查询

提供视频资源查询、关键字检索等功能。通过接口，可以获取视频点位列表以及设备的基本能力信息列表。

2.2.2 视频实时播放

实时点播视频，提供原始视频流的多种格式转换，提供RTSP、FLV、HLS等多种格式输出，提供单屏播放（图4）、多屏播放，满足视频多端播放的需求。

2.2.3 视频历史回放

提供视频历史回放的统一接口，实现录像列表查询、录像自定义开始时间与结束时间的点播、录像的启停、回放、下载。

2.2.4 视频云台控制

提供视频云台播放的能力，实现云台预置位控制、焦点光圈控制、预置位播放等视频云台控制类的相关操作。

2.2.5 设备运维管理

负责视频资源的运维管理监视、设备告警通知管理。

2.3 视频中心标注增强

复用中心视频标注的服务架构以及编解码技术。通过流媒体框架分析RTSP或RTMP流媒体，实现以视频为背景的业务元素叠加，根据获取的多元素标注信息（包括图标、附加图片、文字信息、建筑信息、路口信息、警员信息等），与视频帧叠加，推送至流媒体服务器，满足多端展示的需求。

3 边缘端的视频处理

3.1 背景

在以往传统的边缘端，受制于算力能力的限制，前端的视频相机直接发送视频流到中心端，由中心端完成视频的业务处理。

随着边缘计算的发展，本地的算力不断增强，许多基于边缘计算场景的AI加速卡可以在本地实现多路编解码处理，从而在一些应用场景下，解放中心的计算压力。路口等本地的边缘场景，需要视频实时转发、业务信息叠加增强，通过本地可以推给周边的警员，满足实时业务处置的需求。

交通现场的状况往往会发生各类紧急事件，警员需要立即进行正确且高效的处理。但由于缺乏对周边路口情况的认知或者对现场环境的不熟悉，警员可能无法做出最有效的判断。通过增加对实时视频添加标注，从而提供给现场警员有效的辅助。例如，将本地车牌信息、布控车辆、周边标志性建筑等信息叠加在车辆视频上，为警员提供直接的业务辅助。

基于以上业务需求，在保证高稳定性、低延迟性特点下，分析并叠加标注。通过本地分析相机的视频流协议，转换其封装格式，根据视频信息解码，分解成视频帧后叠加从API中获取推测端车辆信息，最后再编码封装成直播流推送给现场警员。

3.2 业务流程

业务流程如图5所示。

1）上层发送推流请求视频流标注及推流地址。

2）通过本地视频28181服务，将实时视频流推送给本地的流媒体服务器。

3）本地视频推测分析模块将视频中的车辆信息（号牌号码、过车数据量、视频画面车辆位置等信息）推送给视频标注服务。

4）本地视频标注服务结合推测分析的车辆信息以及本地的静态标注信息（如建筑、路口信息、设备信息等），叠加到实时视频中。

5）视频标注服务将标注的实时流信息推送给第三方应用（如手机端，AI眼镜等流媒体播放平台）。

3.3 视频标注处理

应用层通过接口选择视频来源，根据每个视频源所支持的视频图层类型，建立分配场景，选择需要叠加的视频图层，设置视频图层的配置参数与图层展示参数，完成场景的建立。图层类型、手动标注类型分别见表2、表3。

根据不同的需求，在路口低点相机视角中，结合AI分析车辆及本地数据库静态信息进行标注。标注内容包括但不限于动态车辆、动态警员、静态建筑、路口信息、信号灯、信号机、设备等，从而形成可视化的标注处理（图6）。

4 结语

传统的视频与业务应用的结合度不高，对于多屏展示，H5浏览器的应用支持不够，传统的Web展示方案只能提供OCX的空间，无法满足H5现代浏览器的播放要求。通过基于28181协议接入视频流，搭建流媒体服务，实现流媒体格式转换，实现多种视频流格式的输出，支持HLS、FLV等多种视频格式化输出，直接满足无插件浏览器播放的要求，同时满足大屏、移动端、客户端、浏览器端的多端播放要求。通过封装统一的视频应用平台，实现视频资源服务能力的统一封装并且对外开放出API接口服务，从而更好地满足业务应用与视频的结合。随着边缘端算力的增强，基于边缘计算的本地AI卡实现本地的视频编解码，通过本地AI硬件的推理能力，实现视频本地的编解码处理，叠加业务增强信息，转发到相关流媒体软件，推送周边本地警员，满足本地实时的业务联动需求。

参考文献

[1]国家质量监督检验检疫总局．公共安全视频监控联网系统信息传输、交换、控制技术要求：GB/T 28181—2016 [S]. 北京：中国标准出版社，2016.

[2]展晓凯，魏晓红．音视频开发进阶指南：基于Android与iOS平台的实践 [M]. 北京：机械工业出版社，2017.

[3]晓成．在线视频技术精要 [M]. 北京：人民邮电出版社，2020.