我院分布式计算与系统研究所在内存键值存储研究方面取得突破
发布日期:
2023-11-23
浏览次数:
571

近日,我院分布式计算与系研究所在新型多层级异构内存的键值存储研究方面取得积极进展,相关研究成果“BonsaiKV: Towards Fast, Scalable, and Persistent Key-Value Stores with Tiered, Heterogeneous Memory System”被数据库领域国际顶级学术会议VLDB 2024长文录用。VLDB会议全称International Conference on Very Large Databases,是数据库领域久负盛名的三大顶级学术会议之一,被中国计算机学会(CCF)遴选为CCF推荐A类国际会议。蔡淼博士是该论文的第一作者,叶保留教授为通讯作者。

内存键值存储系统(如MemcachedRedis)被广泛运用在现代云计算和数据中心内,实现高性能的对象缓存、网页索引、流数据查询等服务。目前主流的内存键值存储系统的构建基于DRAM内存,并且严重依赖DRAM内存低延迟的特点来保障数据访问的服务质量。然而,受制于DRAM内存昂贵的制造成本、低存储单元密度、高设备功耗等问题,无法在数据中心内大规模地使用。目前云服务厂商主流的方案是采用低成本、大容量的闪存作为DRAM内存替代品。但受闪存设备高访问延迟、内部垃圾回收等因素影响,现有主流方案会极大地降低内存键值存储系统的性能,造成不可预测的数据访问延迟。

1. 基于高性能内存和数据互联技术的多层次异构内存

随着非易失性内存(如3D XPointPCMZ-NAND)和高速互联技术(如CXLOpenCAPINVLink)的快速发展,多层级异构内存(Tiered Heterogeneous Memory)将成为下一代计算机系统的重要组成部分。多层级异构内存具有纳秒级访问延迟、高内存容量拓展、支持数据持久性等优秀硬件特性,为解决上述问题提供了新的机遇。

 2. BonsaiKV系统架构图

论文旨在利用多层级异构内存,在数据的索引、持久化、跨节点数据管理等方面,提出并克服了一系列的关键技术挑战,构建下一代新型持久性键值索引系统BonsaiKV。针对基于非一致性内存访问架构的多层级异构内存,论文提出一种分层次、松耦合的键值存储系统架构,借助日志结构灵活的数据管理特点,实现高效的软件功能分层解耦和专用化设计。在此基础上,论文在数据索引、持久化和分布管理三个方面提出若干关键技术,如协作式数据索引访问、内存拥塞控制机制、写优化数据一致性协议等,在键值存储层面充分挖掘利用硬件设备的优秀特性,实现高性能、高扩展的持久性内存键值存储系统。

论文实验采用雅虎公司的标准云服务基准测试工具YCSB,对比六种之前研究工作中提出内存键值存储系统,BonsaiKV在数据索引效率、数据读写吞吐量、跨内存节点访问延迟等方面最高有近20倍的性能提升。

3. YCSB的实验结果

论文工作得到国家自然科学基金重点项目、江苏省自然科学基金等项目的支持。