基本信息
浏览量:93
职业迁徙
个人简介
Implemented model parallel transformer training framework using JAX and Google Cloud TPU pods. Achieves 61% of peak theoretical performance with data movement and model structure optimizations. Trained 6B parameter GPT model to completion while achieving similar downstream performance to GPT-3 models of similar size in 4 weeks with a TPU v3-256.
研究兴趣
论文共 43 篇作者统计合作学者相似作者
按年份排序按引用量排序主题筛选期刊级别筛选合作者筛选合作机构筛选
时间
引用量
主题
期刊级别
合作者
合作机构
Xiaoxiao Ma,Zhixiang Wei,Yi Jin, Pengyang Ling,Tianle Liu,Ben Wang, Junkang Dai,Huaian Chen,Enhong Chen
CoRR (2024)
引用0浏览0EI引用
0
0
Yuxuan Gu,Yi Jin,Ben Wang,Zhixiang Wei, Xiaoxiao Ma, Pengyang Ling, Haoxuan Wang,Huaian Chen, Enhong Chen
CoRR (2024)
引用0浏览0EI引用
0
0
IEEE Trans. Instrum. Meas. (2023): 1-12
ACS NANOno. 8 (2023): 7498-7510
Zhixiang Wei,Lin Chen,Yi Jin,Xiaoxiao Ma,Tianle Liu, Pengyang Ling,Ben Wang,Huaian Chen,Jinjin Zheng
CVPR 2024 (2023)
引用0浏览0EI引用
0
0
The International Journal of Advanced Manufacturing Technologyno. 1-2 (2023): 1-15
IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICSno. 11 (2023): 10775-10785
Volume 10: Advanced Methods of Manufacturing for Nuclear Reactors and Components (2022)
引用0浏览0引用
0
0
Volume 10: Advanced Methods of Manufacturing for Nuclear Reactors and Components (2022)
引用0浏览0引用
0
0
加载更多
作者统计
合作学者
合作机构
D-Core
- 合作者
- 学生
- 导师
数据免责声明
页面数据均来自互联网公开来源、合作出版商和通过AI技术自动分析结果,我们不对页面数据的有效性、准确性、正确性、可靠性、完整性和及时性做出任何承诺和保证。若有疑问,可以通过电子邮件方式联系我们:report@aminer.cn