搜索到681篇“ 重复数据删除技术“的相关文章
- 重复数据删除技术被引量：122
- 2010年
- 重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a)重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b)从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.
- 敖莉舒继武李明强
- 关键词：网络存储系统重复数据数据删除可靠性
- 基于双滑动窗口的重复数据删除技术
- 重复数据删除技术作为消除冗余数据的重要手段,在当今数据大规模增长的时代产生了重要的影响。近年来,由于海洋观测等一系列相关行业的快速发展,海洋观测数据呈爆炸式增长,导致海洋观测站的储存成本变得更高。面对数据量的激增,我们首...
- 毛晓东
- 关键词：重复数据删除技术分块技术海洋观测
- 重复数据删除技术在云存储中的应用被引量：2
- 2022年
- 云存储是一种低成本、高安全的数据存储方式,但是这些存储在云端的数据有很多是重复的,不仅占用存储空间、增加存储成本,而且严重消耗网络带宽。重复数据删除技术作为一种全局性的冗余数据消除技术,压缩比高达20∶1,对于缓解数据爆炸式增长带来的存储压力有积极帮助。文章首先介绍重复数据删除的基本流程和重复数据常用检测技术,随后设计一种重复数据删除系统,并介绍该系统的主体架构、功能模块和数据分配策略。最后进行分块算法性能测试、系统备份和恢复性能测试,结果表明,分块算法比滑动窗口算法在损失少于10%重删率的基础上,使系统性能提升40倍左右,让重复数据删除系统的综合应用效果得到明显改进。
- 宋桂平
- 关键词：重复数据删除技术分块算法
- 面向云存储的高性能重复数据删除技术研究与实现
- 随着云计算和大数据等信息技术的快速发展，现代社会迎来了大数据时代。数据呈爆炸式增长，特别是企业为了数据的安全，将数据周期性的备份到云存储中，产生了海量的重复数据，给云存储厂商造成了巨大的压力。为了消除重复数据降低存储开销...
- 周鹏
- 关键词：重复数据删除分块算法
- 基于RDE分块算法的面向Spark平台重复数据删除技术研究
- 随着大数据技术的发展，生产生活所产生的数据量呈爆炸式增长，无论是个人还是企业，数据存储的成本越发高昂。如何提供有效可靠的数据存储备份服务是一研究热点。重复数据删除是一种用于消除冗余数据、提供可靠存储的技术，广泛应用于大型...
- 巢赟
- 关键词：重复数据删除
- 重复数据删除技术 面向大数据管理的缩减技术
- 全书共分为8章，以大数据存储为背景，介绍重复数据删除的关键技术及其应用场景。通过学习本书，读者能够了解信息存储技术基础、大数据管理主流技术和高效能存储管理基本知识，并可以深入理解重复数据删除技术的概念、分类、存储原理及关...
- 付印金
- 基于持久性内存的民航重复数据删除技术研究
- 随着民航交通流量的迅猛增加，在容灾备份时，庞大的数据量会产生大量重复数据，给机场和航空公司带来了不小的压力。不论是从成本、系统层面，还是性能方面，海量的重复数据使得民航数据在存储、容灾备份时产生了大量问题，例如，数据量大...
- 李慧
- 关键词：重复数据删除容灾备份分块策略
- 基于单哈希均分布隆过滤器的重复数据删除技术实现方法
- 本发明公开了一种基于单哈希均分布隆过滤器的重复数据删除技术实现方法。所述方法首先使用一个分区范围内高要求的哈希函数，其次由k个哈希函数生成k个哈希映射，采用的k个哈希函数是计算量级极低的取模运算，然后再缩放映射到大小相同...
- 齐德昱俞快
- 文献传递
- 移动闪存的重复数据删除技术被引量：8
- 2020年
- 由于闪存在智能手机和物联网等设备上的容量和可靠性都是有限的,重复数据删除可以通过删除重复I/O来解决这些限制,但必须在设备的各种资源限制下完成。提出了一种M-Dedupe重复数据删除方法,应用内容感知聚类重复数据删除关键路径上的I/O请求,通过提高闪存垃圾回收效率来提高手机的性能和效率。通过原型系统验证的结果表明,M-Dedupe在所有选定的移动应用负载下,写数据量平均减少23.7%~42.5%,平均写响应时间减少21.2%~39.8%,平均擦除数据块减少16.8%~43.9%。该方法能够在移动闪存系统中实现高准确率的重复数据删除,提升重复数据删除的效率,节省存储空间。
- 贺秦禄边根庆邵必林张维琪
- 关键词：重复数据删除闪存
- 一种基于重复数据删除技术的数据管理方法及装置
- 本发明公开了一种基于重复数据删除技术的数据管理方法及装置，所述方法通过HASH算法计算目标数据的指纹值；并通过CRUSH映射确定目标数据的指纹值对应的存储位置；进而将目标数据作为待存数据，判断待存数据的存储位置中是否存有...
- 胡永刚王利朋
- 文献传递
相关作者
- 王树鹏
- 作品数：144被引量：228H指数：7
- 供职机构：中国科学院信息工程研究所
- 研究主题：备份 大数据 备份数据 重复数据删除 异构
- 廖海生
- 作品数：44被引量：69H指数：4
- 供职机构：广东科学技术职业学院
- 研究主题：大数据 重复数据删除技术 数据融合 高职 高职院校
- 贾志凯
- 作品数：7被引量：6H指数：2
- 供职机构：教育部
- 研究主题：重复数据删除 层次化 纠删码 重复数据删除技术 海量数据
- 陈春玲
- 作品数：75被引量：287H指数：10
- 供职机构：南京邮电大学
- 研究主题：物联网 TCP 无线传感器网络 网络爬虫 重复数据删除技术
- 易璐
- 作品数：2被引量：7H指数：1
- 供职机构：华北电力大学控制与计算机工程学院
- 研究主题：重复数据删除技术 HDFS HBASE 架构 重复数据删除
