刘厚贵
- 作品数:6 被引量:5H指数:1
- 供职机构:中国科学院计算技术研究所更多>>
- 发文基金:国家重点基础研究发展计划国家高技术研究发展计划更多>>
- 相关领域:自动化与计算机技术更多>>
- 用于并行多处理器系统的通信行为获取装置
- 本发明提供一种用于并行多处理器系统的通信行为获取装置。该获取装置包括多个原始信息收集模块和通信信息采集模块。其中,原始信息收集模块依附在节点内通信模块和/或节点间通信模块内,用于当其所依附的模块进行通信时,收集关于该通信...
- 王展曹政刘锐苏勇刘小丽刘厚贵靳庆贺安学军孙凝晖
- 一种支持海量数据备份的可扩展分布式重复数据删除系统
- 现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,...
- 刘厚贵邢晶霍志刚安学军
- 关键词:重复数据删除
- 用于并行多处理器系统的通信行为获取装置
- 本发明提供一种用于并行多处理器系统的通信行为获取装置。该获取装置包括多个原始信息收集模块和通信信息采集模块。其中,原始信息收集模块依附在节点内通信模块和/或节点间通信模块内,用于当其所依附的模块进行通信时,收集关于该通信...
- 王展曹政刘锐苏勇刘小丽刘厚贵靳庆贺安学军孙凝晖
- 文献传递
- 一种支持海量数据备份的可扩展分布式重复数据删除系统被引量:5
- 2013年
- 现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重复数据删除技术需要在数据路由和指纹查询方面提供高可扩展的支持.对于数据路由,提出了基于分布式布隆过滤器(Bloom Filter)的有状态数据路由技术:拆分Bloom Filter并将其分布于多节点并发管理,可以在提高数据路由的扩展性同时降低其通信开销.对于去重节点内的指纹查询,提出了基于取样机制的指纹查询优化方法:通过可扩展Hash结构组织海量取样指纹信息,并根据取样指纹的时间局部性原理对指纹缓存进行管理.为了对研究工作进行评价,设计并实现了分布式重复数据删除系统3D-deduper(distributed data deduplication system),并进行了数据路由和去重性能相关的测试.实验结果表明,基于分布式布隆过滤器的数据路由技术能够使得分布式重复数据删除系统维持与单节点重复数据删除系统相当的去重率,波动低于5%.在取样查询方面,数据去重率在取样率为1?32时仍能达到非取样重复数据删除系统数据去重率的95%以上.在去重性能方面,单节点去重带宽最高可达到200MBps.在节点扩展时,去重带宽仍能保持近似线性的扩展性.
- 刘厚贵邢晶霍志刚安学军
- 关键词:重复数据删除
- 一种面向分布式去重系统的数据路由方法
- 本发明提供一种面向分布式去重系统的数据路由方法,包括:服务器将构成数据的所有数据块的指纹进行分类,并且将不同类别的指纹分别发送到存储相应类别指纹的数据摘要的不同摘要存储节点。以及,在所述摘要存储节点中查询接收到的指纹,得...
- 刘厚贵邢晶霍志刚安学军
- 文献传递
- 一种面向分布式去重系统的数据路由方法
- 本发明提供一种面向分布式去重系统的数据路由方法,包括:服务器将构成数据的所有数据块的指纹进行分类,并且将不同类别的指纹分别发送到存储相应类别指纹的数据摘要的不同摘要存储节点。以及,在所述摘要存储节点中查询接收到的指纹,得...
- 刘厚贵邢晶霍志刚安学军