公共文化服务平台

共 4 条记录，以下是 1-4

全选清除导出

排序方式：

蓝鲸元数据服务器集群的细粒度负载迁移: 大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,...; 刘健张军伟张浩邵冰清杨洪章刘振军; 关键词：元数据服务器负载均衡细粒度

支持EB级存储的元数据服务器集群系统被引量：2: 2015年; 随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支持EB级存储的蓝鲸元数据服务器集群技术.首先分析了支持EB级与PB级存储的元数据服务器集群系统的区别;然后介绍了蓝鲸元数据服务器集群原型系统的整体架构及其全局命名空间的分布策略;之后介绍了基于分布式日志的一致性元数据原子操作协议,和细粒度、低延时的元数据负载迁移两项关键技术;最后进行了测试.结果显示,集群系统中每台元数据服务器均可为EB级存储系统提供超过10000 OPS的元数据操作支持.; 刘健张军伟邵冰清董欢庆刘振军许鲁; 关键词：一致性

蓝鲸元数据服务器集群的细粒度负载迁移: 2014年; 大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.; 刘健张军伟张浩邵冰清杨洪章刘振军; 关键词：元数据服务器负载均衡细粒度

支持Hadoop大数据访问的pNFS框架研究与实现被引量：4: 2016年; 随着大数据时代到来,分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的p NFS框架为目的,采用在Hadoop与p NFS之间添加p NFS shim layer模块的方法,实现了p NFS支持Hadoop大数据访问的HDFS APIs;通过在p NFS shim layer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对提出的框架进行测试,结果显示写性能提升超过45%,读性能提升超过97%,证明此框架可以有效地支持Hadoop大数据访问。; 何文婷刘健袁庆升张军伟董欢庆刘振军; 关键词：分布式文件系统大数据缓存

全选清除导出

共1页<1>

刘健