随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求。针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群,充分整合关系型数据库和分布式技术的优点。利用MySQL数据库集成动态索引工具(Dynamic Index Facility,DIF)插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据锥形索引的需求。
高分辨图像重建在太阳物理研究中具有重要地位,但长期面临着观测数据量巨大,重建速度慢等难题,严重影响了太阳高分辨观测的开展.本文针对我国新一代太阳观测望远镜如一米新真空太阳望远镜(new vacuum solar telescope,NVST)、光学和近红外太阳爆发监测望远镜(optical and near-infrared solar eruption tracer,ONSET)的需求,通过实测方式细致分析了重谱法各模块的计算耗时,明确了数据交换性能是影响重建性能的关键瓶颈.在此分析基础上,提出了一种通用的全共享低交换并行高分辨图像重建方法.此方法基于消息传递接口技术(message passing interface,MPI)和共享内存机制,通过算法优化使重建计算进程完全利用共享内存来高速读写数据,显著减少进程间数据交换数量,降低通信开销.实验结果表明,本方法大幅度提高了重谱法和Knox-thompson法的重建性能,在单台16核PC服务器上,重建100帧ONSET 1660×1660像素大小图像和100帧NVST 1024×1024像素大小图像分别仅需约12.4和5.6 s,基本实现了实时高分辨重建的要求,为后续科学研究打下了坚实的基础.
