董文睿
- 作品数：11 被引量：10H指数：2
- 供职机构：国防科学技术大学更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术电子电信更多>>
- 高强度I/O的应用对并行存储系统的挑战和解决方法研究被引量：2
- 2012年
- 具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.
- 董文睿刘光明刘欣
- 关键词：并行文件系统缓存
- 面向高性能计算平台的脑科学仿真技术研究
- 2015年
- 近年来,脑科学研究成为了热点研究领域,欧盟"人脑计划"、美国"尖端创新神经技术脑研究计划"、日本脑计划的相继提出标志着脑科学研究进入了研究高峰期.高性能计算机经过数十年的发展,计算性能的提升日新月异,应用的范围越来越广.本文结合当下脑科学研究热点生物神经网络以及高性能计算平台TH-1A(天河一号)的计算优势,在TH-1A上部署了神经网络模拟软件NEST,对用NEST构建的神经网络进行了内存占用和可扩展性分析,测试了单计算节点最大仿真规模,发现了NEST软件自身的一些瓶颈,并提出了改进的想法,进而实现了对大规模生物神经网络面向高性能计算平台的仿真研究工作.
- 邵亚超刘光明吴思董文睿
- 关键词：脑科学研究生物神经网络仿真技术
- ZFS在基于HDFS的近线存储系统中性能分析与实现被引量：1
- 2014年
- 通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.
- 刘言青刘光明董文睿胡维
- 关键词：近线存储HDFS存储池
- E级超级计算机故障预测的数据采集方法被引量：6
- 2016年
- 面向未来E级超级计算机,提出用于故障预测的数据采集框架,能够全面采集与计算结点故障相关的状态数据。采用自适应多层分组数据汇集方法,有效解决随着系统规模增长数据汇集过程开销过大的问题。在TH-1A超级计算机上的实现和测试表明,该数据采集框架具有开销小、扩展性好的优点,能够满足未来大规模系统故障预测数据采集的需求。
- 胡维蒋艳凰刘光明董文睿崔新武
- 关键词：超级计算机故障预测数据采集方法数据汇集
- 基于NBD机制的高性能计算机系统内存优化方案被引量：1
- 2015年
- 随着多核、异构等计算机技术的飞速发展,高性能计算机的计算性能现已达到亿亿次量级.随着高性能计算机技术的成熟,高性能应用对系统内存产生不同的需求.超级计算机每个结点都按一定标准配置了内存,在实际使用中,因不同应用对于内存需求量的不同,很容易出现有的结点空闲内存较多,而有的结点内存紧张的情况.为较好地运行内存消耗量大的高性能应用,提出了一种基于网络块设备(network block device,NBD)机制使用远程结点内存构建page swap区的内存优化技术.该技术利用了超级计算机中通过网络访问远地内存性能优于访问本地磁盘性能的特点,采用了远程内存交换盘技术,使得本地节点在内存紧张时可将页面交换到远地节点的物理内存上.并将该技术应用到"天河一号"超级计算机系统上,以测试其性能并提高超级计算机的内存使用效率.
- 左右刘光明董文睿
- 关键词：网络块设备SWAP计算机体系结构
- 高强度I/O的应用对并行存储系统的挑战和解决方法研究
- 具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高。以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大，对单个磁盘阵列存储部件的读写带宽要求高的特征。在Lus...
- 董文睿刘光明刘欣
- 关键词：并行存储系统性能分析磁盘阵列
- I/O特性感知的并行存储系统关键技术研究
- 随着超级计算机规模的快速发展，高性能计算和模拟已经成为解决人类面临的若干重大技术挑战的重要手段。超级计算机由计算、通信和存储三大分系统组成，由于存储系统是基于机电磁合为一体的磁盘构成，控制过程复杂，存取数据的延迟大、速度...
- 董文睿
- 关键词：高性能计算机并行存储系统
- 基于NBD机制的高性能计算机系统内存优化方案
- 随着多核、异构等计算机技术的飞速发展,高性能计算机的计算性能现已达到亿亿次量级。随着高性能计算机技术的成熟,高性能应用对系统内存产生不同的需求。超级计算机每个结点都按一定标准配置了内存,在实际使用中,因不同应用对于内存需...
- 左右刘光明董文睿
- 关键词：内存优化网络块设备
- 文献传递
- ZFS在基于HDFS的近线存储系统中性能分析与实现
- 通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高...
- 刘言青刘光明董文睿胡维
- 关键词：近线存储HADOOP分布式文件系统性能分析
- 文献传递
- MapReduce框架在高性能计算机平台上的部署与性能优化技术
- 据时代的来临已经为个人生活、企业经营,甚至国家和社会发展带来了新的机遇,同时大数据的存储、分析处理技术也迎来了严峻挑战.当前大规模数据处理平台主要有商用集群系统、高性能计算机系统等,相应的处理技术分别为MapReduce...
- 喻杰刘光明董文睿胡维
- 关键词：计算机平台共享存储系统
