中央高校基本科研业务费专项资金(N100304005)
- 作品数：3 被引量：11H指数：2
- 相关作者：冷芳玲于戈鲍玉斌高伟李炳梁更多>>
- 相关机构：东北大学更多>>
- 发文基金：中央高校基本科研业务费专项资金国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于Hadoop的封闭直方图立方
- 2012年
- 封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.
- 冷芳玲鲍玉斌于戈李炳梁
- 关键词：HADOOPMAPREDUCE
- 基于MapReduce的数据聚集运算算法被引量：6
- 2011年
- 为解决数据仓库中海量数据的处理效率问题,可以采用数据聚集预计算的方法,但是针对海量级别数据的聚集运算非常耗费计算资源,需要巨大的计算能力和存储能力,因此提出了一组基于MapReduce的面向海量数据的数据聚集运算算法,主要包括数据的选择、投影以及等值连接等,并在此基础上,实现了计数、求和和均值等聚集运算,形成了比较完整的面向海量数据的聚集运算算法。实验结果表明,该算法充分利用了集群系统的计算能力和存储能力,极大地提高了海量数据的聚集运算效率和基于聚集运算结果上的数据查询效率。
- 冷芳玲鲍玉斌高伟于戈
- 关键词：数据仓库MAPREDUCE联机分析处理
- 基于MapReduce的封闭数据立方被引量：5
- 2011年
- 为提高海量级数据仓库分析过程中的数据查询效率,研究基于MapReduce并行处理技术的数据立方构建技术,提出了全局封闭数据立方体的生成算法以及其上的查询处理算法.实验和分析结果表明该算法充分发挥了集群系统的并行处理能力,可以高效地生成全局封闭数据立方体,并且该立方体的存储空间减少了将近40%.其上查询算法的复杂度和网络代价均非常小.
- 冷芳玲鲍玉斌于戈高伟
- 关键词：数据仓库MAPREDUCE
