高泽
- 作品数：5 被引量：18H指数：3
- 供职机构：华北计算技术研究所更多>>
- 发文基金：国家科技重大专项更多>>
- 相关领域：自动化与计算机技术电子电信更多>>
- 基于混合流量数据的连通分量计算技术
- 2020年
- 连通分量计算技术作为网络拓扑结构分析的重要研究领域,能够获取和维护网络节点的连接关系信息。文中围绕网络连通分量计算的高效准确处理要求,提出了基于混合流量数据的连通分量计算方法,利用深度优先搜索算法实现了对IPv4/IPv6混合流量数据的连通分量计算,并在此基础上实现了增量连通分量计算,提高了算法对新增数据的计算效率,最后进行了相关的实验。经验证,该方法功能上能够对混合流量数据进行连通分量计算,性能上当原流量数据和新加入流量数据的数据量大小接近时,算法提升效率提高70%左右。
- 李云鹏艾中良刘忠麟高泽潘爽
- 关键词：IPV6
- 面向司法专题分析的大数据计算资源调度方法被引量：3
- 2017年
- 针对司法专题分析过程中面临的交互式分析类数据处理执行效率低的问题,提出了一种基于任务类型的计算资源调度方法,为任务类型建立计算资源配额管理机制。在类型配额内具备抢占式优先调度权,在类型配额外可以借用其他任务类型的空闲资源。实验与分析表明,该方法能够在兼顾普通大数据处理任务执行效率的前提下显著提升交互式分析类任务的执行效率。
- 刘忠麟艾中良艾中良李常宝
- 一种基于YARN的高优先级作业调度实现方案被引量：8
- 2016年
- 提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交到YARN上的高优先级作业缺乏资源优先分配和高质量的资源保障机制。本文在修改YARN原有资源调度方案的基础上,提出了一种基于YARN的高优先级作业调度实现方案。实验表明,提交到YARN上的高优先级作业执行效率提升了7%左右,证明设计方案行之有效。
- 詹文涛艾中良刘忠麟李常宝高泽
- 关键词：YARN作业调度
- 基于Spark的精准关联规则挖掘算法实现被引量：4
- 2018年
- 为在大数据环境中精确地进行关联规则挖掘,基于分布式框架Spark,改进关联规则挖掘算法Apriori,解决使用该算法处理大规模数据时遇到的单机内存资源限制和性能缺陷,同时保证结果准确度。利用开源数据集和海量轨迹数据集评估算法的有效性,实验结果表明:与传统方法相比,改进后的Apriori算法进行规则挖掘能够得到相同准确度的结果,并且通过增加处理节点的数量灵活扩展待挖掘数据规模,从而使关联规则挖掘不再受数据规模限制。
- 李融杨淙钧高泽李常宝刘忠麟艾中良
- 关键词：关联规则挖掘分布式计算大数据APRIORISPARK
- 基于MapReduce模式的多表联查算法被引量：3
- 2015年
- 多表关联查询是进行数据挖掘与分析的有效技术手段。随着大数据时代的到来,当前的数据分析技术在进行海量数据多表联查操作时存在明显的性能瓶颈,为此提出一种基于Map Reduce计算模型的多表联查算法UGS用以提升多表关联查询效率。实验表明,在海量数据背景下,该算法的查询效率明显优于大数据领域的Spark SQL,Hive及关系型数据库的My SQL。
- 高泽李常宝杨淙钧刘忠麟艾中良
- 关键词：MAPREDUCESPARK
