吴思
- 作品数：4 被引量：4H指数：1
- 供职机构：中国科学技术大学计算机科学与技术学院更多>>
- 发文基金：国家自然科学基金安徽省科技攻关计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于MapReduce的内存并行Join算法研究被引量：1
- 2016年
- 传统的并行Join算法缺少必要的容错能力,且数据划分不均往往导致单个线程的阻塞成为整个任务执行的瓶颈。针对以上问题,分析内存连接的各个阶段对Join算法性能的影响,提出一种可利用MapReduce的动态机制,避免了传统并行连接算法的数据任务分派不均和容错问题。算法使用MapReduce编程框架,并通过封装分块标记减少MapReduce Join执行过程中标记和排序的计算开销,使算法性能显著提高。实验结果表明,该算法在共享内存体系结构下,性能上相比已有算法有显著改进。
- 李成许胤龙郭帆吴思
- 关键词：数据封装MAPREDUCE
- 基于轮转部署的RAID6分布式存储系统扩容方案被引量：1
- 2016年
- 随着用户数据和新型应用的爆炸式增长,存储系统需要更大的存储空间和更好的I/O性能,导致对原有存储系统进行扩容。研究基于RDP编码的存储系统的扩容问题。已有的扩容方案RS6、SDM等没有考虑到校验块的轮转部署与负载均衡等因素,导致扩容后的系统中各磁盘的负载不平衡。在基于校验块轮转部署的基础上,提出一种新型RDP扩容方案RSR。基于RSR的扩容方案,扩容后的系统中各磁盘上的数据块与校验块的分布都是均衡的。通过在Disksim上的一系列模拟实验证明,RSR的数据块和校验块迁移量上达到了最优,并且在扩容后的系统访问性能也接近于最优。
- 高帅梁杰吴思许胤龙
- 基于条带配对合并算法的局部可修复码冗余度转换机制
- 2023年
- 相比传统的多副本技术,纠删码是一种以高修复代价换取低存储开销的数据冗余机制。局部可修复码是一类具有低修复代价的纠删码,被广泛应用在大数据存储系统中。为了应对动态变化的工作负载和存储介质动态改变的故障率,现代存储系统需要对纠删码数据进行冗余度转换,以调节数据访问性能和可靠性。设计了一种基于条带配对合并的局部可修复码冗余度转换方法,通过选择特定位置的条带进行配对合并,实现了冗余度转换与数据布局的解耦合;进一步通过设计代价量化方法与最优化模型,降低了冗余度转换的网络通信开销。相比设计数据布局的算法,所提算法有与其近似的性能,但对数据布局无限制,可级联迭代地多次运行。实验结果表明,在两种冗余度转换设置下,所提算法均近似于理论最优值,相比随机布局的朴素算法,网络流量分别降低了27.74%和27.47%,耗时分别缩短了39.10%和22.32%。
- 杜清鹏许胤龙吴思
- 关键词：分布式存储系统
- 基于RAID6编码的校验盘故障修复算法被引量：2
- 2014年
- 针对基于RAID6编码的分布式存储系统中校验盘故障修复问题,提出一种快速修复算法。通过对RDP和EVENODD编码的理论分析,利用节点的计算编码能力,传输经过编码的数据块来修复校验盘,减少修复过程中的数据传输量,缩短修复时间。理论分析表明,相比于传统修复算法,该算法可显著减少校验盘故障修复过程中耗费的带宽资源,提高修复效率。
- 高玲玲许胤龙王英子朱云锋项利萍李小兵吴思
- 关键词：分布式存储系统
