论文标题：Efficient and stable quorum-based log replication and replay for modern cluster-databases（现代集群数据库中高效稳定的基于仲裁的日志复制与回放）

期刊：Frontiers of Computer Science

作者：Donghui WANG, Peng CAI, Weining QIAN, Aoying ZHOU

发表时间：07 Jan 2022

DOI：10.1007/s11704-020-0210-y

微信链接：点击此处阅读微信文章

导 读

现代内存数据库（IMDB）可以支持高度并发的在线事务处理（OLTP）工作负载，并且每秒生成大量事务日志。基于仲裁的日志复制协议，如 Paxos 或 Raft，得到了广泛的应用，它为分布式数据库提供了高可用和数据强一致性的保障。然而，高速的事务的处理为日志复制带来了新的挑战。首先，仲裁复制中的主节点需要考虑不同的事务到达率和备节点的处理能力，需要具有自适应性。其次，在高并发环境下，备节点需要重放日志，跟随主节点的状态，以减少数据可见性差距。第三，现代数据库往往是由一组由低配置网络连接的商品机组成的集群，网络异常经常发生。在这种情况下，由于备节点陷入长时间异常处理过程（例如，从主节点获取丢失的日志），性能将受到显著影响。为此，我们构建了 QuorumX，一个高效、稳定的基于仲裁协议的复制框架，适用于重 OLTP 工作负载下的 IMDB 日志复制。QuorumX 结合了基于关键路径的批处理和管道批处理技术，提供了一个自适应的日志传播方案，以在各种设置下获得稳定和较高的性能。进一步，我们提出了一个安全且无需协调的日志重放方案，以最小化主从 IMDB 之间的数据可视性差距。为了进一步减轻集群数据库中网络的不可靠对复制性能的影响，我们对备节点进行了仔细的设计，避免在各种场景下数据库出现不稳定。我们使用 YCSB、TPC-C 和一个实际的 Micro-Benchmark 测试结果表明，QuorumX 的性能接近于异步主备份复制，并且始终能够提供稳定的服务，同时保证数据强一致性和较低的可视性差距。

文章精要

摘要

The modern in-memory database (IMDB) can support highly concurrent on-line transaction processing (OLTP) workloads and generate massive transactional logs per second. Quorum-based replication protocols such as Paxos or Raft have been widely used in the distributed databases to offer higher availability and fault-tolerance. However, it is non-trivial to replicate IMDB because high transaction rate has brought new challenges. First, the leader node in quorum replication should have adaptivity by considering various transaction arrival rates and the processing capability of follower nodes. Second, followers are required to replay logs to catch up the state of the leader in the highly concurrent setting to reduce visibility gap. Third, modern databases are often built with a cluster of commodity machines connected by low configuration networks, in which the network anomalies often happen. In this case, the performance would be significantly affected because the follower node falls into the long-duration exception handling process (e.g., fetch lost logs from the leader). To this end, we build QuorumX, an efficient and stable quorum-based replication framework for IMDB under heavy OLTP workloads. QuorumX combines critical path based batching and pipeline batching to provide an adaptive log propagation scheme to obtain a stable and high performance at various settings. Further, we propose a safe and coordination-free log replay scheme to minimize the visibility gap between the leader and follower IMDBs. We further carefully design the process for the follower node in order to alleviate the influence of the unreliable network on the replication performance. Our evaluation results with the YCSB, TPC-C and a realistic micro-benchmark demonstrate that QuorumX achieves the performance close to asynchronous primary-backup replication and could always provide a stable service with data consistency and a low-level visibility gap.

相关内容推荐：

面向知识图谱的子图索引驱动的子图匹配算法 2022 16(3): 163606

基于用户行为学习的个性化轨迹推荐 2022 16(3): 163610

EcoVis：工业级用电量时空相关性的可视分析 2022 16(2): 162604

流处理系统容错技术综述 2022 16(2): 162603

基于生成对抗网络的癌症分类研究 2022 16(2): 162601

基于城市公开数据的动态犯罪风险预测 2022 16(1): 161609

基于图应用特征的高效内存数据布局策略 2022 16(1): 161607

误差约束条件下的差分隐私优化发布机制 2022 16(1): 161608

基于RDMA和SkipList 的高效范围查询键值存储 2021 15(6): 156617

基于异构属性信息增强的网络表征深层框架 2021 15(6): 156616

数据库中平均开心率最大化加速算法 2021 15(6): 156618

一种面向物联网再制造的PCB产品质量状态编码方案 2021 15(5): 155615

VColor*：一种实用的大图着色方法 2021 15(4): 154610

基于多任务协调的信息网络融合 2021 15(4): 154608

分布式日志存储结构中的增量连接视图维护 2021 15(4): 154607

基于内容和协同过滤的时间感知混合推荐方案 2021 15(4): 154613

基于kNN的最优位置查询算法 2021 15(2): 152606

如何进行精准高效日志修复？一文阐述日志修复算法 2021 15(2): 152605

【FCS 信息系统专栏】一种基于RkNN的空间位置影响力评价与查询算法 2021 15(2): 152604

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn