ONSET数据流水线

Wang Xinhua,Chen Dong,Deng Tao,Dai Hongbing,Xiang Yongyuan

Astronomical Research & Technology-Publications of National Astronomical Observatories of China（2022）

引用 0|浏览6

暂无评分

摘要

随着天文大科学设备的投入使用,传统的开发模式面临程序重复开发,环境依赖冲突等问题.另外,集群是一个高度耦合的计算资源,严重的环境冲突可能导致整个集群不可用.为了解决这个问题,采用微服务的概念开发新的流水线框架,这种框架可以实现短期内开发和部署新的流水线.介绍了通过这种框架开发的ONSET数据流水线,为了实现准实时数据处理,采用MPI和GPU技术对核心程序做了优化,并对最后的性能做了评估.结果表明,这种开发模式可以在短期内搭建满足需求的流水线,这种开发模式对未来多波段多终端的天文数据处理有借鉴意义.

查看译文

关键词

ONSET,data pipeline,container,GPU

AI 理解论文

溯源树

样例

生成溯源树，研究论文发展脉络

Chat Paper

正在生成论文摘要