NeurIPS 2024于12月10号-12月15号在加拿大温哥华举行，作为AI顶会，NeurIPS 在学术界和工业界都具有很高的影响力。今年的NeurIPS大会共收到了15671篇有效论文投稿，录取率为25.8%。投稿量和录取数均创新高，其中录取数首次突破4000篇。
来源：https://www.aminer.cn/open/scholar/6757c39ec5ac9499e434207d?fr=nips
华人学者表现亮眼
根据 AMiner NeurIPS 2024学者库显示本次名单中，华人学者共有931人，占比高达69%，位居榜首。
中国内地高校的学者表现尤为抢眼。其中，清华大学以27位一作学者位居榜首，北京大学紧随其后，有24位一作学者，而浙江大学和南京大学也各有17人入选，这些高校的优秀表现，无疑为中国科技界增添了更多的光彩。
值得注意的是在本次会议收录文章中，以第一作者发文的华人学生占据所有第一作者的49.5%。
Aminer对本次收录文章的一作学者论文引用数进行排名，前十名中华人学者占5人，引用数均超过2万。
最佳论文
在本次获奖的4篇最佳论文中，有3篇一作学者分别来自于北大、新国立、清华等院校。
Visual Autoregressive Modeling: Scalable Image Generation Via Next-Scale Prediction
论文链接：https://www.aminer.cn/pub/660e097d13fb2c6cf6ab3d70?fr=vam
VAR模型引入了“下一尺度预测”或“下一分辨率预测”的新策略，从低分辨率的全局结构开始，逐步生成更高分辨率的细节内容。在每个尺度上，模型并行生成该分辨率下的所有图像标记，然后在下一个尺度上进一步细化。这种从粗到细的生成方式更符合人类感知图像的过程，有助于模型更快地学习视觉分布并提高泛化能力。
这项工作是由北京大学与字节跳动的研究者共同研究。论文的通信作者王立威，目前任职北京大学信息科学技术学院教授，同时在清华大学交叉信息学院担任兼职教授。研究成果中，关于深度学习优化理论的工作曾入选ICML19十大最具影响力论文。他入选了AI’s 10 to Watch，成为首位获得该奖项的亚洲学者，并且获得了首届国家自然科学基金优秀青年基金。他还多次担任机器学习顶级会议如NeurIPS、ICML、ICLR的领域主席或高级领域主席，并担任权威期刊TPAMI的编委。截至目前共有330篇论文，17项专利，8项基金项目。
来源：https://www.aminer.cn/profile/54487b38dabfae87b7e2ec95?fr=wlw
Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators
论文链接：https://www.aminer.cn/pub/674e79deae8580e7ffa71dcd?fr=stde0
论文提出了一种名为Stochastic Taylor Derivative Estimator（STDE）的高效算法，用于优化包含高维和高阶微分算子的神经网络损失函数，特别是在物理信息神经网络（PINNs）中的应用。 该方法使得在单个NVIDIA A100 GPU上8分钟内解决100万维偏微分方程（PDEs）成为可能。
这项工作由新国立和Sea AI Lab研究者共同完成。
Min Lin，本科毕业于北京大学，在新加坡国立大学取得博士学位，目前担任Sea AI Lab 首席科学家，并获得2022 AI 2000 机器学习领域最具影响力学者荣誉奖。
来源：https://www.aminer.cn/profile/56100ac745ce1e5961fe14aa?fr=ml
Not All Tokens Are What You Need for Pretraining
论文链接：https://www.aminer.cn/pub/6756a4aaae8580e7ff97faf9?fr=nat
论文提出了一种新的语言模型预训练方法，挑战了传统的预训练范式，即对所有语料库中的token都同等重要这一假设。通过分析语言模型的token级训练动态，作者发现不同token有着不同的损失模式，并基于这些见解开发了新模型RHO-1。RHO-1采用了选择性语言建模（SLM），选择性地使用与所需分布对齐的有用token进行训练。
这项工作由厦门大学、清华大学、微软研究者共同完成。在作者中，出现了微软大牛学者段楠的名字。
段楠，多次担任NLP/AI学术会议程序主席和领域主席，发表学术论文200余篇，Google Scholar引用超1.6万次，H指数高达58。 他被评为中国计算机协会(CCF)杰出会员、CCF-NLPCC青年科学家(2019年)、DeepTech中国智能计算科技创新人物(2022年)。
来源：https://www.aminer.cn/profile/53f430f7dabfaeb1a7bb8a69?fr=dn