王晓雪
- 作品数：1 被引量：25H指数：1
- 供职机构：电子科技大学计算机科学与工程学院更多>>
- 相关领域：自动化与计算机技术更多>>
- 面向大数据分布式存储的动态负载均衡算法被引量：25
- 2017年
- 随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。
- 张栗粽崔园罗光春陈爱国卢国明王晓雪
- 关键词：大数据分布式存储元数据管理HDFS
