谢明
- 作品数：2 被引量：8H指数：1
- 供职机构：深圳市腾讯计算机系统有限公司更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国际科技合作与交流专项项目更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种基于算子的可扩展复杂事件处理模型被引量：8
- 2014年
- 随着大数据处理的深入发展,系统单位时间内产生的数据日趋庞大,数据间的关联关系日趋复杂,这使得传统的"存储-查询"或者"发布-订阅"的方式无法很好地满足诸如故障监控、股票分析、医疗及生命保障等对大数据具有实时处理需求的系统.复杂事件处理技术实现的是将用户对特定的事件序列的查询需求映射到特定识别结构上.该结构从多个持续的数据流中分析并提取满足特定模式的事件序列.该技术能够很好地支持对大量数据进行实时在线分析.但由于在数据处理的过程中,系统不可能预置全部的查询语义,许多系统在使用过程中会需要使用新的语义,以查询新产生的模式.因此,一种支持扩展的语义的复杂事件处理模型是非常必要的.同时,现有的复杂事件处理模型仅针对某几类特定的查询进行描述以及优化,对整体模型缺乏统一描述,导致许多模型在多规则复杂查询的情况下效率欠佳.针对上述问题,提出了基于算子的可扩展复杂事件处理模型.该模型能够良好地支持现有的各类查询语义,具有较快的识别速度.基于该模型的形式化描述,对系统在识别过程中的性能消耗进行了详细分析,给出了模型构造最优算法.通过实验验证了算子模型优化方案的正确性.实验结果表明,经过优化后的树结构事件处理速度比开源复杂事件处理引擎Esper快3倍以上.
- 孟由栾钟治谢明钱德沛
- HDFS集群中功率预测控制策略的设计与分析
- 2013年
- 近几年来,研究人员越来越重视集群中的功率消耗控制问题。众多研究人员都致力于功率消耗的降低与节约,然而能耗管理比单纯的能耗节约显得更加重要。将功率看成是可以管理和调度的资源之一,用户做出一个能耗预算,而管理者则在用户的能耗预算下,帮助其用合理的调度算法和功率限制策略完成用户提交的任务。设计与实现了两种应用于HDFS(Hadoop distributed file system),有效控制与预测功率的算法和策略,结合给每个节点设置功率预算的方法,实现功率的非均衡的动态分配,以控制整个集群功率消耗,从而限制能耗。此外,通过逐步线性回归得到的功率模型来优化功率管理策略,并对两种功率预测控制策略进行了分析比较。
- 徐艺境栾钟治钱德沛管刚谢明
- 关键词：MAPREDUCE
