Long-context modeling is crucial for next-generation large language models,yet the quadratic complexity of standard attention mechanisms poses significant computational challenges.Sparse attention offers a promising direction for improving efficiency while maintaining long-context capabilities of LLMs,but many existing methods struggle to translate theoretical computational reductions into practical speedups due to hardware-unfriendly designs and training-inference gaps.This article presents native sparse attention(NSA),a co-designed approach that integrates algorithmic innovation with hardware-aligned implementation.On the algorithmic side,NSA employs sparse attention through three mechanisms:compression for global context,selection for critical details,and sliding window attention for local patterns.On the hardware side,NSA follows memory-friendly strategies with contiguous cache access patterns for sparse operations and implements specialized kernels that achieve high hardware utilization.Experimental validation shows that NSA maintains or even exceeds full attention performance across general benchmarks,long-context tasks,and mathematical reasoning,while achieving substantial computational reduction through sparsity.Meanwhile,NSA achieves substantial speedups over full attention on 64k-length sequences across decoding,forward propagation,and backward propagation.
针对传统的机械臂位置控制问题,提出了一种基于视觉反馈的机械臂位置模糊控制方法.该方法模拟人抓取物品的行为,通过视觉反馈判断目标物和机械臂的相对位置,从而决定机械臂的运动方向及速度,实现抓取功能.以三自由度机械臂为研究对象,搭建了二维模糊控制器,结合运动方向判断算法与视觉图像处理,控制机械臂末端运动到目标物所在位置.实验结果表明,该方法控制误差较小且不受机械臂杆长的约束,运算量较小,具有一定的应用前景.
为了研究印刷电路版式换热器(printed circuit heat exchanger,PCHE)内流体的流动和换热特性,建立了以超临界甲烷为冷媒、水为热媒的逆流型PCHE数值模型,研究了质量流量、通道折转角和管径对PCHE内超临界甲烷热工水力性能的影响.随着质量流量的增大,冷热通道温差减小,对流传热系数增大;在二次流动的作用下,锯齿形通道内流体的传热性能明显优于直通道,尤其是在小管径下,强化效果更为显著,但伴随的阻力损失不可忽略.在此基础上,利用在不同运行工况和几何模型下得到的模拟结果,提出了用于预测超临界甲烷PCHE通道内流动和传热性能的努塞尔特数和范宁摩擦因子关联式.预测结果与模拟结果之间的偏差在±10%以内,均方根偏差分别为 6.81%和 7.95%,该方法可被用于天然气行业PCHE的性能预测.
为满足显控端对多机器人状态切换、编队等操控的实现,开发了机器人群组操控系统.该系统集成多机器人通讯、指令下达、地图显示、实时图像显示和数据显示保存等功能,实现显控端对多机器人状态切换和编队的操控.经测试,该系统在单机器人循迹、多机器人遥控、多机器人编队等状态中运行良好,满足了对机器人群组显控系统的功能需求.
为解决"华龙一号"非能动安全壳热量导出系统(passive containment heat removal system,PCS)换热水箱长期静置后的水质管理问题,设计相应的水质管理方案.本文设计了 2 个水箱实验体进行对比实验,并通过定期取样获得了PCS水箱长期静置及加药后的水质变化参数.实验结果证明PCS设置的U型管水封能起到良好的隔离作用,保证了水箱本体的水质;添加双氧水能有效抑制水箱中钠、氯和硫酸根离子质量分数的增加.本文提出的水质管理方案为PCS水箱水质管理的运行提供了理论支持,并为核电厂非能动系统的安全运行提供了保障.
针对新型时空众包平台出现的 3 类对象在线任务匹配问题,现有工作往往假设工人拥有最大可匹配任务数量,将多个任务一次性分配给一个工人,忽略了工人的工作时间,可能会导致后匹配到的任务等待时间过长.因此,本文考虑了工作时长的在线 3类对象动态匹配(online dynamic assginment for three types of objects,ODAT)问题,结合遗传算法(genetic algorithm,GA)提出一种延迟匹配算法来解决该问题.通过构造任务森林结构,借鉴蒙特卡罗树搜索思想随机模拟生成初始解,采用双重变异算子、局部最优算子融合贪心算法实现定向最优进化,使用随机部分重启机制跳出局部最优解;同时还提出一种延迟阈值策略来进一步提升效用.最终在真实数据集和合成数据集上进行大量实验,验证了算法的有效性和可行性.
在室内非视距环境中,单一超宽带(ultra wide band,UWB)技术会产生稳定性差和定位精度低的问题,以至于不能达到室内定位的要求.将UWB定位技术和惯性导航系统(inertial navigation system,INS)技术相结合,能够有效抑制非视距误差对定位结果的影响,因此本文提出基于改进的容积卡尔曼滤波器(cubature Kalman filter,CKF)的UWB/INS融合室内定位方法.首先,通过广义似然比检测算法对行人的静止态和运动态进行检测;之后对于静止态通过零速修正算法对速度进行修正,零积分航向角速率修正算法对航向角进行修正;然后,通过模糊综合评判的非视距识别算法对非视距信号进行识别,通过基于半定规划的非视距修正算法对识别出的信号进行修正;最后通过改进的容积卡尔曼滤波器将UWB定位数据和INS定位数据进行融合,得出组合定位结果.实验结果显示,与标准容积卡尔曼滤波算法相比,改进的容积卡尔曼滤波算法的定位结果均方根误差降低了2.32 cm(18.82%),拥有更好的定位精度和鲁棒性.
针对单相气体流致噪声问题,以某浮式生产储卸油装置(floating production storage offloading,FPSO)大流量天然气处理装置管路系统的压力安全阀为研究对象,采用非定常大涡模拟(large eddy simulation,LES)和Ffowcs Williams-Hawkings(FW-H)声类比模型对其流动特性和流致噪声特性进行研究,得到了压力安全阀(pressure safety valve,PSV)内流场分布,预测了噪声产生位置及其频谱特性,结论可为压力安全阀和天然气管路系统的前期设计提供理论依据和技术支撑.
大规模无线传感器中通常采用虚拟主干网来实现信息的有效传输,如何构建具备高效传输和一定容错性的虚拟骨干网成为当前学术界的研究热点之一.构建虚拟骨干网问题可以转化为图论中的构造连通控制集问题来解决,求解最小连通控制集(minimum connected dominating set,MCDS)问题已经被证明是非确定性多项式(non-deterministic polynomial,NP)完全问题,通过严格的理论分析和验证可以将近似算法多项式时间内求得的连通控制集规模限定在特定的约束范围内.本文提出一种同时考虑高效路由和容错性的虚拟骨干网构建算法,该算法采用m重控制来提高路由的容错性,时间复杂度为O(n3).通过理论分析和仿真实验发现,在二维平面内,设Mopt(1,m)为二维空间下最小m重连通控制集问题的最优解,当m≤5时,该连通控制集近似比为(240/m+5)Mopt(1,m);当m＞5 时,该连通控制集近似比为 54Mopt(1,m).
针对现有多数实例分割算法特征表示能力差、对不同大小目标检测精度差等问题,提出一种基于改进全卷积单阶段目标检测(fully convolutional one-stage object detection,FCOS)网络的实例分割方法.所提方法在FCOS网络模型的骨干网络之后增加一个底层分支模块,用于获取目标不同尺度特征图在像素粒度上的得分;在FCOS网络模型的 5 个主干(head)检测网络之后增加一个顶层注意力分支,用于计算特征金字塔所获取的每一层尺度下输出边界框内的全局注意力特征图;最后设计一个特征融合模块,用于建立局部空间位置特征与全局语义信息之间的联系,提高特征获取能力.在MSCOCO数据集上进行的定量实验表明,所提网络与PolarMask、Mask-RCNN网络相比,平均精度(average precision,AP)结果分别提升了5.5%和1.3%.在实际场景中的定性试验结果表明,所提方法具有更高的稳定性.
为了研究开式自然循环回路运行过程中的流动不稳定现象,并对可能的抑制措施进行验证,本文采用RELAP5程序建立了详细的实验回路分析模型,通过该模型计算结果与实验数据进行比较,验证了该模型在模拟开式自然循环回路流动及其不稳定现象的准确性.在该模型基础上,对自然循环回路运行过程中的流动不稳定现象进行了分析,对采用不可凝气体注入以抑制流动不稳定性现象的措施进行了验证.结果表明,通过在回路上升段注入一定速率的不可凝气体,能够较好地抑制回路运行过程中的流动不稳定现象,并且能够提高回路的循环流速,有利于提高回路排热能力.
为研究非能动安全壳热量导出系统(passive containment heat removal system,PCS)管道工程布置设计过程中的调整对系统排热能力的影响,利用非能动安全壳热量导出系统性能综合验证实验装置,通过改变模化试验回路中阀门开度的方法,在 0.43和 0.53 MPa工况下,研究回路局部阻力系数变化对于系统排热能力和系统循环流量的响应情况.研究结果表明,阀门在 45%～100%开度变化引起回路阻力变化时,对系统的排热能力影响较小,在实验所验证的阻力范围内,能够指导PCS工程布置设计.
机会网络中的黑洞节点会删除其他节点所传递的消息,严重影响机会网络的性能.为了解决黑洞节点的问题,本文提出了基于节点信誉值的路由算法(reputation-based secure routing,RBSR),该算法利用节点的社会性对节点的行为进行评估,计算出该节点的信誉值,根据它的信誉值来修改该节点的可信度,正常节点将不会向可信度较低的节点传输消息,以此来提高机会网络的安全性.通过机会网络仿真平台(opportunistic network environment,ONE)进行仿真,并与其他路由算法对比,验证了该算法能够降低黑洞节点对于消息的删除比例,保障消息的投递率.
针对短期风电出力预测目前存在的难点与问题,提出一种基于特征优选和麻雀搜索优化门控循环单元(gated recurrent unit,GRU)神经网络预测模型,实现对风电功率的短期预测.首先,分别使用Kendall秩相关系数、灰色关联度和互信息对原始特征数据进行特征优选,选择有效特征作为输入特征集;其次,使用麻雀搜索算法(sparrow search algorithm,SSA)对GRU神经网络超参数进行优化,获取最优超参数;最后,结合西北某风电场实测数据验证了该方法的有效性.实验结果表明,本文所提出的预测模型与文中其他传统预测模型相比,均方根误差和平均绝对误差平均下降了 25.3%和31.3%,拟合优度系数平均提高了10.2%,表现出更好的预测性能.
为了解决挖掘特征能力不足的问题,充分提取不同出行高峰日特征来提高交通流预测的准确性,本文提出了基于特征强化的交通流预测模型——卷积神经网络(convolutional neural network,CNN)-特征增强(feature enhancement,FE)-门控循环单元(gate recurrent unit,GRU)(CNN-FE-GRU)神经网络模型.该模型首先采用CNN来挖掘不同时间序列下路口与车流量的潜在联系,有效地捕捉时序数据的特征;其次提出FE模块来增加模型聚焦能力,刻画不同时间节点对目标时间节点交通流的相关性,同时为每个时间节点赋予相应权重;最后采用GRU对输出的时序数据进行进一步的特征提取,并在全连接层的作用下实现交通流的预测.实验结果表明,CNN-FE-GRU模型的平均绝对误差(mean absolute error,MAE)、均方误差(mean-square error,MSE)和均方根误差(root mean square error,RMSE)平均值分别为 0.229、0.130 8、0.338 8,相较于对比模型均有不同程度下降,CNN-FE-GRU模型在精确度和预测性能方面都有了显著提升.
飞行自组织网络是由无人机组成的移动自组织网络,其高动态的特性使得网络拓扑结构频繁变化,应用在传统移动自组织网络的路由协议不再适用.因此提出了一种新的基于萤火虫算法(firefly algorithm,FA)的最优化链路状态(optimized link state routing,OLSR)协议FA-OLSR作为飞行自组织网络的路由协议.FA-OLSR协议通过节点之间的链路持续时间信息和链路质量信息衡量节点之间的链路稳定性,将链路稳定性作为选择多点中继(multipoint relay,MPR)集合的准则.此外,FA-OLSR协议使用萤火虫算法设计OLSR协议的MPR选择机制.仿真结果表明,FA-OLSR协议能够提高数据包的传输成功率、减小数据包传输的端到端时延,更适用于飞行自组织网络.
针对认知对抗中干扰方难以获取雷达方正确先验知识、面对复杂模型求解最优干扰策略困难的问题,提出了基于双层强化学习的多功能雷达认知干扰决策算法,第 1 层强化学习验证先验知识是否正确,并决定是否更新先验知识;第 2层强化学习基于更新的先验知识进行强化学习,生成Q矩阵指导干扰方进行干扰决策.为了提高双层强化学习算法的干扰决策效率以及干扰决策正确率,对Q-learning算法的动作选择策略和收益函数设置方法进行了改进.仿真实验表明,在错误先验知识的情况下,该算法可以解得正确的最优干扰策略.相比于单层强化学习,该算法提高了干扰方适应复杂电磁环境的能力,使得强化学习在多功能雷达认知干扰决策中更具应用价值.
为了验证带有搅拌摩擦焊的小型水陆两栖飞机机身强度,本文利用有限元仿真技术,建立机身精细化有限元模型,在不同着水工况下对小型水陆两栖飞机机身隔框进行了强度计算分析以及焊接接头强度校核.本文对有限元模型采用静强度求解分析,得到机身隔框的von Mises应力云图;同时,给出焊接处强度校核的工程方法,在对隔框分析的基础上,着重分析了危险隔框处搅拌摩擦焊焊接接头的连接强度.结果分析表明,在对称船艉着水工况下,飞机部分隔框裕度值为负,可能发生强度破坏,但焊接接头强度满足要求,没有发生失效,验证了本文对象应用搅拌摩擦焊技术的可行性.
针对三维无线传感器网络分簇后,簇内节点单跳至簇头时簇内节点能量消耗大的问题,提出了基于改进最小生成树(improved minimum spanning tree,IMST)的三维路由协议(three dimensional routing protocol,3DRT),IMST_3DRT引入K-means++算法均衡选举簇头,把能量和跳数加入最小生成树(minimum spanning tree,MST)的权重均衡簇内能耗,引入一种客观赋权法CRITIC(criteria importance though intercrieria correlation)计算权重系数,选出均衡下一跳.该算法与 3D-LEACH、3D-mst2017、3D-KBECRA算法相比,能耗利用率分别提高了 38.9%、22.1%、31.5%,寿命分别延长了 30.6%、12.5%、7.0%.仿真结果表明,此算法能降低网络能耗、延长网络寿命.
电力负荷预测直接影响电网规划和运行,但是受到各类因素的影响.为提高预测精度,针对电力负数据时序性和非线性特征,提出一种基于变分模态分解的中期电力负荷混合预测模型(hybrid prediction model of medium-term power load based on variational mode decomposition,HPMMPL-VMD).在HPMMPL-VMD算法中,首先使用VMD将原始电力负荷序列分解成若干个相对平稳的模态分量,并利用长短时记忆神经网络对各个模态分量进行建模;然后将各个预测分量进行叠加得到电力负荷预测值;最后,使用最小二乘支持向量回归对误差序列进行预测,并将电力负荷预测值与误差预测值相加得到最后预测结果.为验证HPMMPL-VMD的性能,选取其他预测方法与其进行比较,实验结果表明本文所提模型具有较高的预测精度.
