As an important computer vision task, 3D human pose estimation has received widespread attention and many applications have been derived from it. Most previous methods address this task by using a 3D pictorial structure model which is inefficient due to the huge state space. We propose a novel approach to solve this problem. Our key idea is to learn confidence weights of each joint from the input image through a simple neutral network. We also extract the confidence matrix of heatmaps which reflects its feature quality in order to enhance the feature quality in occluded views. Our approach is end-to-end differentiable which can improve the efficiency and robustness. We evaluate the approach on two public datasets including Human3.6M and Occlusion-Person which achieves significant performance gains compare with the state-of-the-art.
In the widely used field of panoramic image stitching, the key technologies mainly cover two parts, i.e., image registration and image fusion. In order to achieve low-cost and real-time processing, researchers often design dedicated circuits for various image stitching algorithms. Many studies focus on image registration algorithms and ignore image fusion algorithms, let alone dedicated circuit design. In addition, to reduce the ghosting effect and deformation caused by seams in stitching, finding the best seam line based on the overlapping area of the stitching image is crucial, which directly affects the quality of image stitching and fusion. In order to solve the above problems and achieve the efficient fusion of registered images, an image stitching and fusion algorithm circuit based on a dynamic programming algorithm to search for seam lines was proposed. Comprehensive experimental results and a theoretical analysis based on Cyclone IV FPGA devices show that, with a clock frequency of 100 MHz, the proposed circuit takes about 7.04 ms to carry out the fusion processing of two 486 × 643 images, and the corresponding frame rate is approximately 142 FPS, achieving a perfect real-time stitching effect and meeting the demand for real-time image processing. After a theoretical derivation and comparison with other similar works, its processing speed is better than four state-of-the-art implementations.
The operation of the Insulated Gate Bipolar Transistor (IGBT) is closely related to the operating state of the drive circuit. Based on the theory of analog circuit fault diagnosis, this paper proposed an incipient fault diagnosis method combing Empirical Wavelet Transform (EWT) and Residual Network (ResNet) for IGBT drive circuit which has an EXB-841 driver module as the core. Firstly, the drive circuit was divided into the driving function (DF) part and the short-circuit protection (SP) part according to its working principle and basic structure. And the sensitivity analysis was performed on all the main components in both sections to select the test objects. Secondly, the circuit signals were obtained by fault injection and Monte Carlo analysis and then decomposed by improved EWT based on Scale Space (SS) to construct the datasets. Finally, based on the structure of ResNet18, 1D-ResNet was established and trained on the collected datasets to achieve deep feature extraction and fault classification. Simulation results show that the incipient fault diagnosis accuracy of DF part and SP part is 99.55% and 97.55% respectively.
随着集成电路制程趋于极限,登纳德缩放定律逐步失效,芯片的功率密度逐渐提升,尤其是在5G、物联网以及高性能计算快速发展的驱动下,单芯片面积也在增大,热耗散问题日趋严重,传统的冷却方式已无法保证芯片的可靠工作.将热沉制备在芯片内部可以避免封装材料的导热热阻和多层界面热阻,提升冷却性能和冷却效率.学术界针对芯片的嵌入式微流体冷却开展了大量卓有成效的研究和探索,不断提出新型通道结构设计方案,包括平行长直通道、歧管通道、射流通道等.旨在于优化泵功和热阻,在小压降下实现高效冷却.然而,随着芯片面积的增大,在限域空间实现高效冷却将更加困难,工艺难度和制造成本限制了嵌入式液冷的大规模商业化使用,目前在实际IC芯片内演示的冷却方案验证了嵌入式冷却的性能,但复杂度高,兼容性差,冷却性能有待进一步提升.尤其是在3D封装架构下,需要提出兼容小型化、高密度封装的通道结构,通过协同设计,在保证电学互连的前提下实现层间冷却.在优化通道结构设计的同时,还需要简化工艺,降低成本,提升嵌入式微流体冷却的工艺可靠性和长期工作可靠性,才能推进嵌入式微流体冷却技术的实际应用.
随机森林具有训练速度快、不容易过拟合、易于实现等优点成功应用于各种领域.针对在芯片设计后仿阶段需要对不同存储存储单元大小、电压、温度等情况进行功耗测试,并且测试一次的时间很长的问题,提出了一种基于麻雀搜索算法(SSA)与随机森林(RF)相结合的功耗预测方法.首先,对14nmSRAM后仿的单元库进行表征,找出合适的特征变量,得到特征数据后构建训练测试集;然后对特征变量进行特征重要性分析,按照特征重要性排序;最后使用随机森林模型进行回归预测,并引入了麻雀搜索算法以寻找出均方根误差最小时的模型参数.与线性回归模型、支持向量回归模型等相比,SSA-RF收敛精度高并且训练速度快,SSA-RF模型的R2值为0.97左右.此外,在数据量较少的情况下其R2的值也能达到0.95左右,构建了一个较好的预测模型,为减少功耗测试时间提供了一种可行的方案,可以为设计人员留下更多的时间去优化电路.
针对全球导航卫星系统(GNSS)接收机在安全领域的应用要求,提出一种宽频带、高线性和高驱动的新型下变频电路结构.所提出的下变频器由宽频带共栅低噪声跨导放大器、电流型无源混频开关、和增益可调的跨阻驱动放大器组成.该电路采用电容交叉耦合共栅输入跨导增强技术,实现了 1.15-1.65 GHz宽频带匹配和全频点GNSS信号的低噪声放大.所提出的新型的桥式跨阻驱动放大器,具有直接驱动50Ω负载阻抗能力,实现了大动态条件下宽增益控制范围和出色的下变频线性性能.流片测试结果表明,提出的下变频器实现了+38dBm的输出三阶交调截点功率(OIP3),+17 dBm的输出1dB压缩点功率(OP1dB),10-27 dB可调的转换增益.下变频噪声系数(NF)在1.15-1.65 GHz频段的各种增益下都小于12.6dB.该下变频器在低增益模式下实现了 高线性、低噪声和强驱动能力,适合应用于复杂环境下的GNSS接收机.
商标图形要素是商标审查时,审查人员判断两个商标是否相似的重要判断依据.然而由于商标图形要素具有多种可能的解释,不同审查人员对同一商标图形要素可能有不同的理解,造成商标图像具有丰富的语义信息.对比学习通过最大化正样本语义信息来训练模型,能根据商标图像含有的独特语义信息对其进行区分,有助于完成商标检索等下游任务.为了充分理解商标图像的语义信息,首次将无监督对比学习引入到商标检索领域.首先使用一系列能增强语义信息的预处理方法进行处理,从而保留商标图像所含有的语义信息;然后根据商标图像生成的正负样本视图将数据进行分组,着重学习到正样本之间的相同语义信息以及正负样本之间的差异信息;所提取到的语义信息有助于模型判别两张商标图像是否语义相似,最终提高商标检索的平均精度.在公开的百万级商标图像数据集METU上进行的测试结果表明,与现有最新的商标检索方法相比,本文所使用的对比学习算法将mAP@100指标从55.0％提高到72.6％.
控制器局域网(CAN)是一种用于汽车中各个子系统之间进行通信的总线协议,最高传输速率可达1 Mbit/s.随着自动驾驶技术的飞速发展,CAN总线已经不能满足自动驾驶系统对传输带宽的要求.时间敏感网络(Time Sensitive Network,TSN)不仅具有以太网高带宽低延时优点,而且具有很高的实时性,所以TSN逐步被应用在车载以太网中来为数据传输提供高带宽、低延时和高可靠性的网络通道.基于应用层软件的传统TSN-CAN网关存在软件不确定性等缺点.提出一种在数据链路层上,通过数字电路的方式实现TSN-CAN网关的方法,设计了 CAN控制器和TSN-CAN转换电路.该电路采用Verilog语言进行设计,通过硬件来保证TSN与CAN之间转换的可预测的延时,能够在极短的时间内实现协议的转换与数据转发.该网关消除了软件层面的不确定性,具有低延时的优点.并且支持APB总线进行配置,可以很方便的集成至SoC芯片中,满足车载芯片的需求.最后通过Xilinx FPGA验证了该设计的正确性.
近年来,独享L2 Cache是实现高性能多核处理器的主流架构,但是该架构在维护Cache一致性上需要多次访存,增加了系统开销.为此,本文基于PowerPC指令架构实现了 一种基于私有Cache状态机与片上总线监测机制相融合的多核缓存一致性设计,使处理器之间可以直接通过干涉接口交互数据.采用硬件描述语言Verilog HDL设计并实现了该多核缓存结构,仿真结果表明,在实现缓存一致性时,这种具有干涉路径的结构相比于传统访存方法最大能够节省87.06％的时间开销,有效地提升了多核处理器性能.最后经过实物芯片在板级上的测试,与仿真结果保持一致.
得益于遥感技术与相关监测技术的快速发展及应用,通过遥感图像挖掘出波段信息以来进行农作物产量预测在近些年这一领域受到更多的青睐.然而,影响农作物生长的多种波段信息受限于空间大小、时间差异会被各种降维技术处理,从而没有充分利用数据的时空、波段特性.因此提出了 一种用于农作物产量预测的深度学习架构用以解决这些问题,该模型结合了三维卷积网络(3DCNN)和时间卷积网络(TCN)以更好的捕捉遥感图像的时空信息和波段信息.此外,在新的损失函数中,还引入一个变量,用以消除作物产量标签分布不平衡的影响.最后,通过中国的玉米的产量数据预测验证了新模型.其结果与主要使用的深度学习方法进行比较.实验结果表明,本文所提出的方法可以提供比其他竞争方法更好的预测性能.
目前深度神经网络在计算机视觉和语音处理上获得了广泛应用,但是深度神经网络模型参数量和计算量巨大,通常在资源有限的嵌入式应用上部署困难.在基本不影响计算精度的前提下,剪枝技术可以对于深度神经网络模型进行有效压缩和加速,因此成为了目前研究热点.本文论述了深度神经网络剪枝的相关问题和理论,归纳总结近年来面向深度神经网络的剪枝方法,对于当前主流的剪枝方法进行了分类梳理,并对于未来和网络结构搜索相结合的发展方向进行了展望.
在分类问题中,类重叠现象会大大影响分类模型的效果,针对类重叠样本的识别问题,提出了一种基于SHAP值的类重叠识别新方法,基于SHAP值构造出样本在所属类中的分类作用能力隶属属性,对类间重叠样本进行有效识别,然后利用仿真实验验证了基于SHAP的类重叠识别方法的适用性;将样本的分类作用能力归一化后构造出样本隶属度度量,并将该隶属度应用于模糊支持向量机(Fuzzy Support Vector Machine,FSVM)算法后得到FSVM SHAP模型,通过在多个经典二分类数据集上实验得到了较好的效果,体现了该模型的有效性.
近年来,物联网技术不断进步与突破,全球物联网行业呈现爆发式增长态势.低功耗蓝牙自组网(Bluetooth Low Energy Mesh,BLE Mesh)应运而生,相较于其他的Mesh协议,BLE Mesh是竞争力极强的通信方式.然而,现有的BLE Mesh只考虑以管理型泛洪协议进行数据传输.当网络规模或传输数据量增大时,网络中将会充斥大量冗余数据,导致能耗增加.针对能耗问题,本文提出面向BLE Mesh的节点组合式按需路由协议.首先,通过邻居节点信息交换、节点组合配置和节点组合全连通三个步骤建立节点组合式网络拓扑.其次,使用路由探测包和路由回复包得到所有传输路径中的最短路径.最后,源节点沿着最短路径依次发送数据包.该协议通过限制普通节点转发,仅允许领导节点和中继节点转发数据包,减少转发节点数量,以达到抑制冗余数据包的目的.在MATLAB R2022a上仿真对比该节点组合式按需路由协议与管理型泛洪协议,结果表明,源节点向目的节点发送100个数据包时,该协议降低了网络中92.43％的数据包总量,进而减少了能量消耗,并且,源节点传输的数据包越多,效果越明显.
真随机数发生器(TRNG)与物理不可克隆函数(PUF)是安全加密认证系统的重要安全基元.然而传统TRNG通常需要额外的后处理电路.通过两个不同模块同时实现TRNG与PUF结构的电路,其面积消耗过大且结构复杂.为此,在优化TRNG的基础之上,利用FPGA实现了一种适用于物联网设备的TRNG与PUF轻量级集成设计.采用快速进位链逻辑实现了 TRNG,同时使用固定的比较链和多重检测的方法对传统环形振荡器型物理不可克隆函数(RO-PUF)进行了改进.采用PYNQ-Z2开发板对所提出的结构进行验证,实验结果表明:所设计的TRNG结构无需后处理过程即可通过15项NIST SP 800-22统计测试,每比特随机数的熵值为0.999997,吞吐率可达125 Mbps.改进的PUF具有良好的均匀性、稳定性和接近理想的唯一性,分别为47.45％,99.48％和50.12％.
针对舌体分割和单标签分类任务独立实现存在着难以提供舌诊所需的病理特征信息问题,通过共享层提取特征策略,提出联合舌体分割及多标签分类的多任务网络框架.首先,共享层采用轻量化编码模块,并结合金字塔切分注意力解码块以融合舌像深浅层特征,提升共享层特征提取能力.其次,舌像不同标签之间没有明显的关联性,难以对不同标签的相关性进行建模,因此设计了双流分支网络以实现多标签分类:其中一个分支基于自适应分割掩膜设计了背景屏蔽模块以提升舌裂纹识别性能,另一分支在编码块基础上使用空间金字塔池化实现舌苔分类.最后,在早期训练过程中分割损失远小于分类损失,相等损失权重策略将导致分割任务无法学习到最优参数,为此,通过优化的不确定性加权策略同时提升多个任务的性能.实验表明,多任务学习框架在提取共享特征降低网络参数的同时,能有效联合优化各个任务,提升性能.与Y-Net、MT-UNet等多任务学习网络相比,在舌体分割和多标签分类性能上均有提升.
针对图形处理芯片(GPU)中的曲面细分单元生成顶点数量过多的问题,提出一种基于三角形邻接关系的几何细分策略,称为TSTESS(Triangle Strip on Tessellation),其主要流程为,把细分块按照从外向内顺序拆分为多个环,对每个环生成多个梯形结构,每个梯形生成大量连续的三角形,通过有限自动机根据三角形的绕向和相邻信息,提取出它们的共有顶点,构成连续的三角形条带并输出.TSTESS方法减少了顶点的生成数量,有利于后期的计算和存储.通过实验测试在各种细分参数的情况下,该方法生成的顶点数量只相当于传统的三角形列表方法的50％～65％左右,可提高细分单元的执行效率,并且易于使用硬件描述代码融入到已有的GPU设计中,便于曲面细分单元输出的三角形条带获得硬件加速.
基于Wi-Fi的手势识别技术在智慧医疗、智能家居、工业生产、游戏交互等领域中有着广阔的应用前景,然而在实际应用中,一个在原用户(源域)数据集上训练得到的手势识别模型应用于新的用户(目标域)时准确率会显著下降.为了解决这一问题,提出了一种应用于Wi-Fi的域自适应手势识别方案.首先,使用一种新的轻量级卷积神经网络对源域数据预训练;然后,设计一种新的域自适应网络进行无监督迁移学习,引入了相关对齐损失将源和目标域深度特征的二阶统计量对齐,并使用中心损失提高特征的可判别性,使类内聚合、类间分散.实验证明提出的方案用于识别新用户手势动作具有很好的效果.在用户变化的情况下,所提方案将手势识别平均准确率从62.7％提升至90.2％,可以显著提升用户变化时Wi-Fi手势识别的鲁棒性.
视觉同时定位与建图技术已成为移动机器人和无人驾驶等领域的一个研究热点.目前,大多数视觉SLAM假设周围环境为静态的,当场景中存在运动物体时容易失效.为此,本文基于视觉图像的语义和几何信息来剔除环境中的运动物体,以提升系统的鲁棒性.具体地,本工作在ORB-SLAM2的基础上,通过多线程机制实现轻量级网络获取语义信息,以剔除已知类型的动态对象,并设计一个和语义剔除紧耦合的几何检测模块来剔除未知类型的运动物体.为平衡实时性与建图鲁棒性,在平台处理能力不足时,采用只对关键帧剔除动态点的策略.在TUMRGB-D的动态环境数据集的实验结果表明,本文算法在动态环境下的定位精度相较ORB-SLAM2有显著提升;与其他动态SLAM相比,精度也有一定程度的提升.
随着互联网技术的迅速发展,网络安全面临的威胁越发严峻,Web攻击量连年翻倍增长.针对当前Web威胁识别方法手动提取特征识别准确率低、正常和恶意类别样本分布不均衡的问题,本文提出了基于代价敏感的字符级卷积神经网络(Character-level Convolutional Neural Networks,Char-CNN)的 Web 威胁识别方案.首先分析 Web请求特征,将原始数据统一格式,读取数据并拼接成字符序列,根据预先指定的索引字典将字符序列进行编码;其次利用字符级别CNN提取请求信息,对字符编码进行特征提取和特征选择用于模型训练;最后嵌入代价敏感学习,修改神经网络模型交叉熵损失函数,增加恶意样本分类错误的代价,通过反向传播调整模型参数及权值,进而利用Softmax层进行威胁识别.实验表明,基于代价敏感的字符级卷积神经网络进行Web威胁识别方案的准确率达到98.99％,相比已有威胁识别方案,在精确率、召回率和F1分数均有提升,并验证了本方案在不平衡数据集上的有效性.
为了实现眼底图像视杯视盘的精准分割,减少人工分割方法带来的不确定性和耗时性,本文提出了 一种新型的卷积神经网络用于联合视杯视盘的分割,称为M2DS-TransUNet.该网络采用一种多分辨率图像结合并通过压缩与激励模块进行自适应提取的输入形式,同时结合多分辨率模块、Transformer和深度监督机制的优势,使得网络可以提取更加丰富的图像信息.采用五折交叉验证的方式对网络模型进行训练,并在当前三个主流数据集REFUGE、DRISHTI-GS和RIM-ONE-r3上进行了实验验证与评估,在最能体现分割效果的杯盘比指标上分别达到了 0.0284、0.097 8和0.017 9,其分割效果优于当前的一些经典算法.实验结果表明,本文所提出的方法可以提取更为丰富的视杯视盘信息,且具有跨数据集的泛化能力,是一种非常有竞争力的眼底图像视杯视盘联合分割方法.
