国家自然科学基金(60773222)
- 作品数：5 被引量：31H指数：3
- 相关作者：鲍玉斌于戈王大玲师金钢冷芳玲更多>>
- 相关机构：东北大学辽东学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术天文地球更多>>
- 一种元数据驱动的ETL方法的研究被引量：17
- 2007年
- 数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性.
- 宋杰王大玲鲍玉斌于戈
- 关键词：ETL数据仓库元数据
- 一种基于构件扩展的数据清洗框架
- 基于构件理论,通过扩展构件的定义,把用户提供的服务与软件构件无缝地组合到一起,解决了传统数据清洗软件的用户交互问题;使用工作流的概念规范数据清洗过程,明确数据清洗步骤;提出一个基于构件的数据清洗框架,该框架包含一个用于控...
- 李智宋杰冷芳玲王大玲鲍玉斌于戈
- 关键词：数据清洗
- 文献传递
- 基于领域本体的海洋环境数据仓库多维建模技术被引量：3
- 2009年
- 由于海洋环境数据来源和表示的多样性,海洋环境数据仓库构建面临着需求获取和异构数据处理等难题。本体为领域知识的共享和基于知识的推理提供了坚实的基础,消除由于应用背景的不同而造成理解上的冲突和混乱。本文针对海洋环境数据的特点,讨论了建立海洋环境领域本体的方法,设计了利用本体创建海洋环境数据仓库多维模型算法,并给出了多维模型自动创建过程实例。结果表明,基于本体的多维模型创建,为模型设计者与用户的交流提供了参考,提高了系统分析和建模的效率。
- 鲍玉斌陆群蔡金明于戈
- 关键词：海洋数据领域本体数据仓库
- 实时数据仓库中支持QoS的更新和查询任务调度被引量：2
- 2011年
- 实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.
- 师金钢鲍玉斌冷芳玲于戈王大玲
- 关键词：实时数据仓库服务质量实时调度数据新鲜度
- 一种面向科学数据的通用排重模型
- 数据清洗是保证数据仓库中数据质量的必要过程,其中对重复数据的识别是数据清洗的一个技术难点.目前这方面的研究大多都是以排重算法的效率为主,还没有提出一个通用的排重模型,同时以科学数据为排重对象的研究较少.提出了一种关系型数...
- 相文玺宋杰房强丁辉鲍玉斌于戈
- 关键词：数据清洗科学数据
- 文献传递
- 基于动态事件概率模型的高效RFID数据清洗算法
- 由于RFID技术采用的无线射频信号极易受外界条件干扰,导致RFID数据采集过程中漏读现象频频发生,降低了RFID应用中查询结果的准确性.目前解决漏读问题的算法主要是基于数据层的,这种做法会填补许多与查询无关的数据,浪费系...
- 李晓静谷峪吕雁飞王艳秋于戈
- 关键词：RFID技术数据清洗查询无线通信
- 文献传递
- 基于MapReduce的关系型数据仓库并行查询被引量：10
- 2011年
- 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询.
- 师金钢鲍玉斌冷芳玲于戈
- 关键词：MAPREDUCE数据仓库分布式数据库查询优化
- 一种实时数据仓库中海量数据高效分区算法
- 数据库分区技术采用"分而治之"的策略来降低管理海量数据复杂性,提升系统性能,其中以区间分区最为常用.实时数据仓库通常要求迅速地对数据仓库数据进行分区以满足实时性要求.常规的区间分区算法的时间复杂度随着分区个数增加而线性增...
- 张峰宋杰周德友王大玲鲍玉斌于戈
- 关键词：实时数据仓库海量数据
- 文献传递
- 可扩展的事件消息自动化处理方案
- 2008年
- 在实时数据仓库中,获取实时业务数据后,实时或及时的事件处理和决策自动化对实时数据仓库来说至关重要。该文针对仓库系统资源竞争问题,采用消息队列和改进的主动规则技术,提出一套可靠、可扩展并能解决系统负载平衡的异步事件驱动自动化处理方案,同时给出了一套使用高级队列中间件和J2EE技术的实践参考方案,实验结果证明该方案可行。
- 齐文鲍玉斌
- 关键词：消息队列实时数据仓库
