来源:Smart Cities 发布时间:2026/9/22 14:44:11
选择字号:
弗吉尼亚大学——面向智慧城市物联网应用的无服务器数据层架构的实验评估 | MDPI Smart Cities

论文标题:Experimental Evaluation of Serverless Data Layer Architectures for Smart City Internet of Things Applications

论文链接:https://doi.org/10.3390/smartcities9050080

期刊名称:Smart Cities

期刊主页:https://www.mdpi.com/journal/smartcities

一、引言

近日,来自美国弗吉尼亚大学的Jonathan L. Goodall教授及其团队在Smart Cities期刊上发表了一篇文章。该团队针对智慧城市物联网应用中数据层架构选择缺乏实验性对比证据的问题,设计并评估了七种基于微软Azure无服务器服务的数据层架构。这些架构均以The Things Network(TTN)作为传感器网络服务器、以Delta Lake格式存储,但采用了不同的数据接入路径,包括直接HTTP触发、队列解耦、Event Grid发布/订阅、Event Hubs流式接入、Azure IoT Central平台导出、Azure IoT Hub模板集成以及TTN存储API轮询。研究团队通过21天、九颗LoRaWAN传感器的实地部署实验,系统比较了各架构在消息成功接入率、端到端中位延迟、云服务成本以及实施复杂度四个维度的表现。结果表明,TTN存储API适用于低成本归档存储,Event Grid是近实时高可靠性场景中性价比最优的方案,而Event Hubs在消息完整性上表现最佳。该项研究为智慧城市物联网系统的数据层架构选型提供了可重复、可量化的决策依据,对推动数据驱动型城市基础设施的高效建设具有重要意义。

图1 智慧城市物联网网络物理系统应用示例

二、研究过程与结果

作者针对现有文献中缺乏系统性、可重复的架构对比证据这一空白,以城市洪涝监测为应用场景,设计并评估了七种将LoRaWAN传感器数据从The Things Network(TTN)网络服务器传输至微软Azure云平台并以Delta Lake格式持久化的无服务器数据层架构。七种架构分别对应不同的数据接入模式:实验A通过单个无服务器函数进行数据摄取;实验B通过两个无服务器函数和队列存储进行数据摄取;实验C通过两个无服务器函数和Event Grid主题进行数据摄取;实验D通过无服务器函数和Event Hubs进行数据摄取;实验E通过 TTN与Azure IoT Central平台集成;实验F通过TTN与Azure IoT Hub集成模板;实验G则通过 TTN 存储 API 和无服务器函数进行数据摄取。所有架构均共享统一的数据持久化契约——以Delta Lake表格式存储于Azure Blob Storage,并由定期触发的优化函数执行小文件合并操作。实验部署了九颗Decentlab品牌的LoRaWAN传感器(六颗压力水位传感器、两颗超声波液位传感器和一颗气象站),分布在三个TTN应用中,连续运行21天,共生成61,464条上行消息,日均约2,926条。评估采用四个维度的指标:(1)成功接入率,以各架构Delta表中唯一消息数占全实验中最大唯一消息集的百分比计算,重复消息不计为失败;(2)中位接入延迟,通过匹配TTN服务器“接收”时间戳与Delta Lake事务日志中最接近的提交操作进行乐观估计;(3)云服务日均成本,通过Azure Cost Management按资源组归集21天内的接入、计算与存储费用(不含大量数据出口传输);(4)实施复杂度代理指标,包括Python代码行数、使用的Azure服务类型数和服务实例总数。

实验A通过单个无服务器函数进行数据摄取:实验A采用最直接的接入方式,利用TTN的Webhook功能为每条上行消息向Azure发送HTTP POST请求。Azure侧部署一个HTTP触发的无服务器函数直接接收并处理该请求,在单次函数调用中同步完成消息解析、格式转换并写入Delta Lake,不引入任何中间缓冲组件。另配置周期性优化函数执行Delta表小文件合并。

图2 实验A过程架构

实验B通过两个无服务器函数和队列存储进行数据摄取:实验B引入Azure队列存储作为异步缓冲区。第一个HTTP触发函数接收TTN的POST请求后仅将消息快速写入队列并立即返回响应,使TTN能在毫秒级获得确认;第二个队列触发函数从队列读取消息,执行解析并写入Delta Lake。通过将确认与处理解耦,该架构消除了TTN端的超时风险。配置独立的周期性表优化函数。

图3 实验B过程架构

实验C通过两个无服务器函数和Event Grid主题进行数据摄取:实验C以Azure Event Grid主题替代队列存储作为中介。第一个HTTP触发函数接收TTN请求后将消息发布至Event Grid主题,并在发布前对消息体进行格式适配以符合Event Grid的入站架构要求;第二个订阅函数在事件到达时被触发,执行解析并写入Delta Lake。配置独立的周期性表优化函数。

图4 实验C过程架构

实验D通过无服务器函数和Event Hubs进行数据摄取:实验D利用Azure Event Hubs的HTTP API直接接收TTN的Webhook POST请求,无需前置函数。Event Hubs对TTN原始JSON格式具有良好的API兼容性,能够直接缓冲消息。消费侧由一个Event Hubs触发的无服务器函数从事件流读取数据,执行解析并写入Delta Lake。配置独立的周期性表优化函数。

图5 实验D过程架构

实验E通过 TTN与Azure IoT Central平台集成:实验E采用TTN官方推荐的Azure IoT Central SaaS方案。通过TTN控制台完成与IoT Central的连接配置后,利用IoT Central内置的“持续数据导出”功能将上行消息聚合为JSON文本块,以每分钟一次的频率写入Azure Blob Storage。一个由Event Grid(监听Blob创建)触发的函数读取导出文件,解析批量消息并写入Delta Lake。配置独立的周期性表优化函数。

图6 实验E过程架构

实验F通过TTN与Azure IoT Hub集成模板:实验F采用TTN官方提供的Azure IoT Hub集成模板,自动部署IoT Hub、Event Hubs端点及Application Insights等资源。TTN消息经IoT Hub转发至其内置Event Hubs兼容端点,一个由该事件流触发的无服务器函数从端点读取数据并写入Delta Lake。模板包含多个非数据接入必需的辅助服务,随部署一并产生成本。配置独立的周期性表优化函数。

图7 实验F过程架构

实验G则通过 TTN 存储 API 和无服务器函数进行数据摄取:实验G利用TTN Storage Integration服务提供的HTTP REST API查询历史数据,而非建立实时推送通道。一个由定时触发器(每6小时)调用的无服务器函数向TTN Storage API发起带时间过滤的GET请求,拉取上一时段消息,经解析后批量写入Delta Lake,并在同一次执行中直接调用Delta表优化操作。该架构将接入、持久化和维护合并为单一按需批处理任务,完全规避了Webhook超时和健康检查风险。

图8 实验G过程架构

实验结果显示,在成功接入率方面,实验D和实验G实现了100%的消息接入率;实验C和实验F均达到99%以上的接入率,属于高可靠性方案;实验B存在显著的数据丢失;实验E也有相当比例的数据丢失;实验A表现最差,超过半数的传感器数据丢失。在延迟方面,实验A拥有最低的中位延迟;实验C、D、F的中位延迟均在数秒以内,属于近实时方案;实验B因队列读写开销延迟明显更高;实验E的延迟最大,原因是数据需经IoT Central每分钟批量导出至Blob再触发函数处理。实验G因采用每6小时轮询的批量模式,延迟由轮询间隔主导,不适用于实时场景,被排除在延迟对比之外。在成本方面,实验G日均成本最低(不足一美分);实验F成本最高,主要由IoT Hub和Event Hubs预留容量费用驱动;实验B、C、E日均成本相近,其中实验C在99%以上接入率方案中成本效益最优;实验D日均成本约为实验C的1.5倍,但提供100%接入率。在实施复杂度方面,实验G拥有最少的Python代码行数、最少的服务类型和最少的总服务数,是所有方案中最为简洁的;实验C的代码行数最多;实验F拥有最多的服务类型和服务实例数,主要源于IoT Hub集成模板中捆绑部署了多个辅助服务。

综合上述结果,研究给出了针对不同需求的架构选择:TTN存储API(实验G)在时间不敏感的归档存储场景中以最低成本提供100%接入率;Event Grid(实验C)是近实时高可靠性方案中成本效益最优的选择;Event Hubs(实验D)在追求最高消息完整性时是最稳妥的方案;而IoT Hub(实验F)和IoT Central(实验E)虽然成本更高、接入可靠性不占优,但提供了设备管理、状态跟踪和下行控制等附加物联网平台功能。

三、研究总结

本文基于无服务器云架构,设计并评估了七种将LoRaWAN传感器数据从TTN网络服务器传输至Azure云平台并以Delta Lake格式持久化的数据层架构。通过在九颗传感器、21天真实部署中的系统比较,研究揭示了不同架构在消息接入率、端到端延迟、云服务成本和实施复杂度四个维度上的显著权衡:TTN存储API轮询以最低成本实现100%接入率,适用于时间不敏感的归档存储;Event Grid在高可靠性近实时方案中性价比最优;Event Hubs是追求最高消息完整性时的稳妥之选;而IoT Hub和IoT Central虽成本更高,但提供了设备管理等附加平台功能。本文的系统性实验对比为智慧城市物联网数据层架构选型提供了可量化的决策依据,推动了数据驱动型城市基础设施的高效建设。

Leal Sobral, V.A.; Goodall, J.L. Experimental Evaluation of Serverless Data Layer Architectures for Smart City Internet of Things Applications. Smart Cities 2026, 9, 80. https://doi.org/10.3390/smartcities9050080

Leal Sobral, VA; Goodall, JL.

期刊介绍

主编:Prof. Dr. Pierluigi Siano, University of Salerno, Italy

Smart Cities(ISSN 2624-6511)是由 MDPI 出版的国际开放获取同行评审英文学术期刊,专注于发表智慧城市领域的最新研究进展,目前已被 ESCI、Scopus、PubMed、Dimensions以及DOAJ 等重要数据库收录。Smart Cities发文领域包括但不限于智慧城市的核心技术与方法、智慧城市的关键应用领域、智慧城市交叉领域融合以及韧性智慧城市建设等,重点关注利用先进的信息技术、通信技术及数据分析工具,推动城市资源优化配置、公共服务改善、管理效率提升及居民生活质量提高等议题的原创论文,综述、通讯等类型,致力于为智慧城市相关研究提供一个优质、高效、快速的发表服务平台,有效促进智慧城市最新科研成果的推广和传播,加快推进智慧城市新生态建设。

2025 Impact Factor: 6.6

2025 CiteScore: 13.0

Time to First Decision: 25.1 Days

Acceptance to Publication: 4.5 Days

 
 
 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
研究揭示甲烷部分氧化制合成气驱动因素 科学家揭示火星大气物质运输规律
超导双层镍氧化物薄膜的三维电子结构 改造人体细胞能否重建骨骼
>>更多
 
一周新闻排行
 
编辑部推荐博文