曹立强
- 作品数：32 被引量：28H指数：3
- 供职机构：北京应用物理与计算数学研究所更多>>
- 发文基金：国家高技术研究发展计划国家自然科学基金中国工程物理研究院科学技术发展基金更多>>
- 相关领域：自动化与计算机技术理学自然科学总论文化科学更多>>
- 一种科学计算应用的快速I/O方法——双路并行I/O
- 2014年
- 许多并行科学计算应用使用HDF5等数据格式管理计算数据与元数据。一般条件下,科学计算数据与元数据有不同的存储特征。数据存储规模较大,可以在并行文件系统中获得较高的I/O效率。元数据存储规模较小,难以发挥并行文件系统带宽。一旦数据与元数据混合存储,元数据I/O将较多的干扰数据I/O,降低总的I/O效率。针对数据与元数据的不同I/O特征,本文设计双路I/O系统,该系统优化元数据的存储位置。将元数据存储于容量较小、但是延迟较低的固态盘文件系统中,在降低元数据I/O延迟的同时提高数据I/O的连续性。实验表明,双路并行I/O可以提高数据读带宽3倍左右。
- 曹立强沈卫超夏芳
- 关键词：数据模型数据格式
- 利用位图索引加速大规模科学数据按需访问
- 在分析TB及以上规模复杂科学数据时,实现关键数据的快速定位是一项非常具有挑战性的任务.通过引进目前国际最新位图索引技术,设计并实现科学数据按需访问软件系统,综合利用分段、编码、WAH压缩等位图索引改进策略,减少索引尺寸规...
- 夏芳陈虹曹立强沈卫超
- 关键词：科学数据位图索引查询处理
- 文献传递
- 利用元数据独立存储加速科学计算数据I/O
- 科学计算数据场中，数据具有量大而访问次数少的特征，适宜存储于传统的文件系统;元数据具有量小而访问频繁的特征，适宜存储于低延迟的固态盘文件系统。统一的数据格式屏蔽了存储资源的性能特点，使得高层I/O库不能按需优化数据存储。...
- Cao Li-qiang曹立强Shen Wei-chao沈卫超Xia Fang夏芳Chen Hong陈虹
- 大规模时变可视化数据的预取加速研究
- 2011年
- 针对读取数据这一制约绘制性能的主要因素,从时变数据场的相邻帧相似性入手,利用前一帧图像的绘图区域预测下一帧图像的绘图区域,进而转换成I/O参数,实现连续绘制中的数据预取.并在多帧图像绘制过程中形成载入、处理、绘制三级流水线,提高可视化的速度.微机测试表明,由于图像相邻帧相似度的不同,时变可视化数据预取将可视化性能提高17.2%～47.5%.
- 曹立强夏芳沈卫超
- 关键词：可视化知识发现数据预取
- 大规模时变可视化数据的预取加速研究
- 大规模时变科学数据可视化处理通常要按时间步分解输入，形成帧序列.每一帧的处理需至少经历数据载入、处理与绘制三个步骤.由于数据量大、读取模式不规则，数据载入成为制约帧处理性能的主要因素之一.考虑相邻帧物理图像的相似性，如果...
- 曹立强肖丽夏芳
- 关键词：数据预取并行I/O
- 面向数值模拟数据的HDF5性能优化
- 大规模数值模拟数据对可视化分析提出了挑战，I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式，介绍了HDF5的抽象数据模型、数据读写流程，并使用典型数值模拟数据测试了HDF5的读性能.测试发现...
- 沈卫超曹立强夏芳宋磊
- 关键词：并行文件系统数据分析
- 基于跟踪统计的并行I/O 测试方法及实现
- 当前国内外有许多并行I/O测试程序， 它们使用了采样式的测量方法。该方法有两方面的缺陷。其一，测试结果过于简化，用户得不到I/O过程内部的性能。其二，测试精度依赖于采样点数量。本文提出了I/O过程中的剖面带宽概念。它反映...
- 曹立强罗红兵
- 关键词：并行计算数据存贮测试程序
- 文献传递
- 科学计算双路并行I/O优化方法被引量：2
- 2015年
- 科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/O方法可提高写性能8%~13%,提高读性能89%到1.01倍.
- 曹立强莫则尧沈卫超夏芳陈军
- 关键词：并行I/O数据格式
- MCPS--一种多条件约束的抢占式并行作业调度算法
- 本文分析了如何利用抢占来改进并行作业调度时的系统利用率、作业响应时间和作业减速,在此基础上设计并实现了一种多条件约束的抢占式并行作业调度算法(MCPS)。MCPS算法利用预先设置的条件来控制抢占的发生,并在抢占的条件设置...
- 罗红兵曹立强张宝印张宇戴新宇
- 关键词：调度策略
- 文献传递
- 千万量级粒子的PIC并行聚簇分析
- 本文针对千万以上量级粒子分析的挑战开展并行粒子分析工具的研制,团簇分析是其中的主要应用之一.针对粒子数据场的几何特征,在进程间切分数据,提高负载的并行性.在进程内的团簇识别中,采用了背景网格(PIC)方法加速粒子搜索速度...
- 曹立强沈卫超
- 关键词：金属材料数据处理
