论文标题：Seeing the City Live: Bridging Edge Vehicle Perception and Cloud Digital Twins to Empower Smart Cities

论文链接：https://www.mdpi.com/2624-6511/8/6/197

期刊名称：Smart Cities

期刊主页：https://www.mdpi.com/journal/smartcities

近日，来自西班牙马德里卡洛斯三世大学的 Hafsa Iqbal 博士等人在 Smart Cities 期刊发表了一项研究。该研究提出并验证了一个将实时车载边缘感知与云端数字孪生相结合的框架，旨在赋能智慧城市中的智能交通系统。该研究主要为自主车辆配备实时多传感器感知与跟踪系统，通过低延迟无线通信将检测到的动态目标信息传输至云端高保真数字孪生平台，实现真实交通场景向虚拟环境的实时映射。论文的主要贡献体现在以下方面：在实验车辆上部署了高精度实时感知与跟踪系统，构建了与物理世界同步的云端数字孪生，并通过低延迟通信层将边缘感知与云端仿真相集成，为智慧城市交通监控、事件管理与预测控制提供了可运行的端到端框架。

研究过程与结果

实验框架

首先，作者通过梳理交通模拟器和数字孪生、交通运输数字孪生仿真平台、使用 CARLA 的数字孪生应用和实时智能交通系统数字孪生框架四个方面的工作指出，传统交通仿真器多依赖静态数据且泛化能力有限，而数字孪生虽具备实时、高保真的优势，但现有应用多停留在三维可视化层面，虚实同步精度不足，且多数基于 CARLA 的研究主要服务于自动驾驶训练，未能打通从车载边缘感知到云端数字孪生的完整实时链路。为解决这一问题，作者提出并部署了一个端到端的框架，该框架主要由三个层次构成：实时感知层、通信层和数字孪生层。

第一层次是实时感知层。感知管道由以下三个阶段组成，每个阶段均将其输出传递至下一阶段：首先通过 Velodyne 激光雷达传感器获取车辆周围 360 度的原始点云数据；其次利用 3D 检测模型（PV-RCNN深度学习模型）对体素化的点云进行处理，实现高精度的 3D 目标检测，输出包含目标位置、尺寸、朝向、速度和类别等信息的 3D 边界框；最后一阶段为多阶段跟踪，为了在不同序列之间保持时间一致性和可靠的对象身份，采用了两部分的跟踪模块——自车跟踪（定位）和多目标跟踪（MOT）。整个感知层基于 ROS 框架构建，为后续的通信与数字孪生同步提供可靠的数据基础。

第二层次是通信层。为解决车辆与服务器不在同一本地网络的延迟问题，系统采用基于 WireGuard 协议的 NetBird 建立点对点VPN连接，通过 UDP 协议以 10Hz 的频率将感知层输出的目标跟踪列表、检测列表及全局坐标等数据以 JSON 格式传输至服务器端，并在服务器侧通过ROS节点重构消息后经 CARLA-ROS 桥接送入数字孪生平台。为实现精准的虚实同步，车辆与服务器均通过 Timebeat 结合 GPS 进行亚毫秒级的时间同步。在安全与隐私方面，当前系统仅传输目标位置与类别信息，不采集车牌、人脸等个人数据，但未来面向规模化部署仍需增加端到端加密、身份认证等加强安全措施。

第三层次是数字孪生层。该层负责创建真实世界环境的逼真虚拟表示，并通过通信层生成从感知层接收的动态对象信息，从而提供实时仿真。该过程分为三个阶段：地图创建：基于 OpenStreetMap 数据通过 Blender 与 BlenderOSM 工具生成的地图为粗略的建筑与地形三维结构，但道路、交通标志和车道等细节信息不完整，仅能提供近似的环境布局；地图与 CARLA 集成：将初步地图导入 RoadRunner 进行精细化的道路与交通基础设施建模，再导入 CARLA 生成可行驶路网，并通过离线运行感知层精准复现交通信号灯等要素的实际位置，以增强数字孪生环境的真实感；实时对象生成和管理：基于感知层输入，通过坐标变换将检测到的动态目标映射至 CARLA 仿真环境，对行人及自行车直接生成，对车辆则根据其与路网的接近程度（≤0.8米）进行生成，并将连续5帧未检测到的对象自动删除，以实现仿真真实性与计算效率的平衡。

框架建立后，作者在西班牙马德里卡洛斯三世大学（UC3M）的自主研究平台上进行了相关实验。

实验区域：基于地图的现实世界呈现形式

实验区域内所选街道的 ArcGIS 卫星影像与 CARLA 虚拟地图对比

首先在感知层中基于 PandaSet 数据集训练与验证 3D 检测模型。实验结果表明，模型在车、行人、自行车等类别上均优于现有主流方法。此外，研究还在加拿大不利驾驶条件数据集（CADC）上评估了模型在降雪等恶劣天气下的表现，结果显示车辆检测性能仅略有下降，行人检测受点云稀疏和遮挡影响较大，且模型在训练与测试使用不同型号激光雷达的情况下仍保持良好的泛化能力。

其次该团队基于 1508 帧真实驾驶数据对通信层进行了评估。结果显示，传输消息大小与检测目标数量呈近似线性关系；端到端延迟最大为 0.02 秒，且在不同负载下保持稳定；客户端与服务器端的消息大小分布高度一致，表明数据传输可靠高效；即使在 5%–10% 丢包及随机抖动的恶劣网络条件下，平均延迟仍控制在 0.048 秒以内，95%以上的样本延迟低于 0.02 秒。综上，该通信层能够实现低延迟、可预测的带宽扩展与可靠的传输性能，满足车辆与数字孪生之间实时同步的运行需求。

最后在数字孪生层的实现与验证环节，系统基于 CARLA 仿真平台，在配备双 RTX 4090 显卡的工作站上运行。为提高运行效率，各类动态对象在仿真开始前预生成于地图下方，避免运行时实时创建带来的延迟。运行时，系统根据感知层传输的目标类别、全局坐标与跟踪 ID，对新目标执行坐标变换并生成对应实体，对已有目标更新其位置与状态，对连续未检测到的目标则将其移出视野但保留实例以便复用。实验结果表明，数字孪生能够准确同步物理环境中的静态与动态交通参与者，验证了虚实同步的有效性及其支持实时闭环自动驾驶测试的能力。

感知层实时多目标检测与跟踪结果示例——每个被跟踪对象均分配有唯一标识符（ID_i）

基于加拿大不利驾驶条件数据集的三维目标检测定性结果

实时检测到的静态与动态道路使用者的虚拟呈现：检测由车载感知模块完成，随后通信传输并在服务器端生成至数字孪生中

研究总结及未来展望

该研究表明，将实时车载感知与基于云的数字孪生相结合，能够为智慧城市交通系统提供强大的态势感知增强工具。作者提出的框架不仅能够精确地检测和跟踪动态道路使用者的三维数据，还能以极低的延迟有效地保持实际交通状况与其虚拟表示之间的实时同步。这些结果凸显了该系统的潜力，不仅体现在可视化实时交通流方面，还体现在支持数据驱动的规划、基于仿真的测试以及城市尺度的协同出行管理方面。从智慧城市的角度来看，这种架构弥合了局部车辆感知与城市级交通智能之间的差距，为缓解交通拥堵、提升安全性和实现预测控制带来了切实的好处。

未来的工作旨在通过纳入多车辆部署和更大规模的仿真来扩展实验范围，从而更好地模拟复杂的城市交通场景。然而，在扩展实验范围之前，应考虑几个实际因素，包括影响数据传输及时性的网络带宽限制、边缘实时处理的计算需求可能带来的可扩展性挑战，以及与系统在恶劣天气条件下的鲁棒性和抵御网络威胁的能力相关的安全问题。解决这些局限性对于实现实用、可扩展且安全的智慧城市交通解决方案至关重要。

Smart Cities 期刊介绍

主编：Pierluigi Siano, University of Salerno, Italy

发表与智慧城市相关所有领域的研究论文、通讯论文和综述等，主题包括但不限于：智慧城市信息通信技术 (ICT)、面向智慧城市的物联网、智能传感、智能电网和智能基础设施、智能交通和移动、智能能源、智能建筑、智能管理、智能经济、智能医疗等。