Objective The chest X-ray-relevant screening and diagnostic method is essential for radiology nowadays. Most of chest X-ray images interpretation is still restricted by clinical experience and challenged for misdiagnose and missed diagnoses. To detect and identify one or more potential diseases in images automatically, it is beneficial for improving diagnostic efficiency and accuracy using computer-based technique. Compared to natural images, multiple lesions are challenged to be detected and distinguished accurately in a single image because abnormal areas have a small proportion and complex representations in chest X-ray images. Current convolutional neural network（CNN） based deep learning models have been widely used in the context of medical imaging. The structure of the CNN convolution kernel has sensitive to local detail information, and it is possible to extract richer image features. However, the convolution kernel cannot be used to get global information, and the features-extracted are restricted of redundant information like its relevance of background, muscles, and bones. The model’s performance in multi-label classification tasks are affected to a certain extent. At present, the vision Transformer（ViT） model has achieved its priorities in computer vision-related tasks. The ViT can be used to capture information simultaneously and effectively for multiple regions of the entire image. However, it is required to use large-scale dataset training to achieve good performance. Due to some factors like patient privacy and manual annotate costs, the size of the chest X-ray image data set has been limited. To reduce the model’s dependence on data scale and improve the performance of multi-label classification, we develop the CNN-based ViT pre-training model in terms of the transfer learning method for diagnosis-assisted of chest X-ray image and multi-label classification. Method The CNN-based ViT model is pre-trained on a huge scale ground truth dataset, and it is used to obtain the initial parameters of the model.The model structure is fine-tuned according to the features of chest X-ray dataset. A 1 × 1 convolution layer is used to convert the chest X-ray images channels between 1 to 3. The number of output nodes of the linear layer in the classifier is balanced from 1 000 to the number of chest X-ray classification labels, and the Sigmoid is used as an activation function. The parameters of the backbone network are initialized in terms of the pre-trained ViT model parameters, and it is trained in the chest X-ray dataset after that to complete multi-label classification. The experiment is configured of Python3. 7 and PyTorch1. 8 to construct the model and RTX3090 GPU for training. Stochastic gradient descent（SGD） optimizer, binary cross-entropy（BCE） loss function, an initial learning rate of 1E-3, the cosine annealing learning rate decay are used. For training, each image is scaled to a size of 512 × 512 pixels, and a 224 × 224 pixels area and it is then cropped in random as the model input, and data augmentation is performed randomly by some of the flipping, perspective transformation, shearing, translation, zooming, and changing brightness. For testing, the chest X-ray image is scaled to 256 × 256 pixels and center crop a 224 ×224 area to input the trained model. Result The experiment is performed on the IU X-Ray, which is a small-scale chest X-ray dataset. This model is evaluated in quantitative using the average of area under ROC curve（AUC） scores across all classification labels. The results show that the average AUC score of the pre-trained ViT model is 0. 774. The accuracy and training efficiency of the non-pre-trained ViT model is dropped significantly. The average AUC score is reached to 0. 566 only, which is 0. 208 lower. In addition, the attention mechanism heat map is generated based on the ViT model, which can strengthen the interpretability of the model. A series of ablation experiments are carried out for data augmentation, model structure, and batch size design. The fine-tuned ViT model is trained on the Chest-Ray14and CheXpert dataset as well. The average AUC score is reached to 0. 839 and 0. 806, which is optimized by 0. 014 and 0. 031. Conclusion A pre-trained ViT model is used for the multi-label classification of chest X-ray images via transfer learning. The experimental results illustrate that the ViT has its stronger multi-label classification performance in chest Xray images, and its attention mechanism is beneficial for lesions precision-focused like the interior of the chest cavity and the heart. Transfer learning is potential to improve the classification performance and model generalization of the ViT in small-scale datasets, and the training cost is reduced greatly. Ablation experiments demonstrate that the incorporated model of CNN and Transformer has its priority beyond single-structure model. Data enhancement and the batch size cutting can improve the performance of the model, but smaller scale of batch is still interlinked to longer training span. To improve the model’s ability, we predict that future research direction can be focused on the extraction for complex disease and highlevel semantic information, such as their small lesions, disease location, and severity.

针对乳腺肿块特征空间复杂,分类难度大的问题,采用尺度不变特征(scale-invariant feature transform,SIFT)进行肿块特征提取,使用区域生长算法得到感兴趣区域后,使用SIFT来提取感兴趣区域的特征,再利用K-means聚类的方法得到"视觉词汇"并生成词条,将得到的词条输入SVM训练.实验结果表明,上述特征提取方法减少了描述肿块的特征维数便于分类,提高了肿块分类的准确率,为乳腺肿块计算机辅助诊断系统提供了一个新的思路.

乳腺癌的早期症状在乳腺钼靶图像中主要表现为微钙化点,微钙化区域的真假阳性检测对于乳腺癌早期筛查具有重要意义.首先,对DDSM乳腺数据集中的图像进行预处理,去除噪声及无关组织干扰;其次,基于空-频域差值图像技术实现了疑似微钙化点的分割,取得的敏感性为91.00％,但假阳性率也较高(34.00％),并根据疑似点的质心位置自动截取感兴趣区域;然后,通过超分辨率反馈网络算法进行微钙化区域超分辨率重建;最后,提取感兴趣区域的纹理特征,将Gentle AdaBoost算法和单层决策树算法相结合,构建强分类器GAB-DS对区域进行分类,将微钙化区域和正常组织分离开来,GAB-DS分类模型取得了96.25％的准确率、94.38％的敏感性以及98.13％的特异性.实验结果表明,该模型在微钙化区域检测上性能优越,可用于辅助临床乳腺癌检测及诊断,具有一定的临床应用价值.

本研究提出一种基于结构和功能双模态磁共振成像数据融合的抑郁症分类算法,首先利用功能脑网络和深度学习网络分别提取功能和结构磁共振成像数据特征,并计算类概率,然后使用软投票法和加权投票法在决策层对两种类概率数据进行融合,充分提取功能与结构磁共振成像的数据信息,得到更加准确的分类效果.试验结果表明,数据融合方法可以显著提高抑郁症分类效果,获得91.34％的准确率和96.62％的召回率,更好地实现了抑郁症的辅助诊断与预后.

为了能识别阿尔茨海默症(AD)早期症状,提出一种改进的3DPCANet网络模型,并结合患者功能磁共振成像(fMRI)转换,对AD不同阶段患者进行分类.首先预处理患者的fMRI,并对预处理后的图像进行局部一致性(ReHo)图像转换;然后采用改进的3DPCANet模型对fMRI转换后的图像进行特征提取;最后使用支持向量机进行分类.实验结果显示,改进后的3DPCANet模型可以对fMRI转换后的图像提取有效的分类特征,其中,晚期轻度认知障碍与AD、主观记忆衰退与AD、主观记忆衰退与早期轻度认知障碍的分类准确率分别达到90.00％、88.89％、88.00％,验证了本方法的有效性和可行性.

脑胶质瘤及其子区域的全自动分割对临床脑胶质瘤患者的诊断、治疗与病情监控具有重要意义.本文改进传统Mixup方法,提出TensorMixup模型,并将其应用于三维U-Net脑胶质瘤分割任务.算法核心思想包括,首先从两位患者相同模态的核磁共振脑影像中分别获取肿瘤区域所在边界框的图像序列,并从获取的图像序列中选取尺寸为128×128×128体素的图像块,然后使用一个所有元素均独立采样于贝塔分布的张量,混合图像块的信息,接着将上述张量映射为矩阵,用于混合图像块的独热编码标签序列,从而合成新图像及其标注数据,最后使用合成数据训练模型,以提高模型的分割精度.在BraTs2019数据集的测试结果显示,本文算法在完整肿瘤、肿瘤核心与增强肿瘤区域的平均Dice值依次可达91.32％、85.67％与82.20％,证明使用TensorMixup进行脑胶质瘤分割,具有可行性与有效性.

阿尔茨海默病是老年人常见的一种慢性进行性神经退化疾病,提出一种融合功能磁共振成像和结构磁共振成像信息辅助诊断方法.采用时间窗、主成分分析和线性判别分析融合策略提取功能磁共振成像特征,采用基于支持向量机递归特征消除和线性判别分析提取结构磁共振成像特征,将两种模态的特征通过串行融合的方式转化为一个向量输入SVM分类器,并获得分类结果.在ADNI数据库中的实验验证,两种模态特征融合后AD/SMC、NC/SMC、AD/NC分类准确率分别为94.1％、95.5％和96％.

阿尔茨海默症(AD)是一种起病隐匿的进行性神经退行性疾病,会使患者的大脑脑区结构发生改变.为辅助医生对AD患者的病情做出正确判断,提出了一种改进的三维主成分分析网络(3DPCANet)模型,并结合被试者全脑均值低频波动振幅(mALFF)图像来对AD进行分类.首先,对功能磁共振成像(fMRI)数据进行预处理,计算出全脑mALFF图像;然后,利用改进的3DPCANet深度学习模型进行特征提取;最后,使用支持向量机(SVM)对不同阶段的AD患者的特征进行分类.实验结果显示,所提模型简单,鲁棒性好,且其在主观记忆衰退(SMD)与AD、SMD与晚期轻度认知障碍(LMCI)以及LMCI与AD上的分类准确率分别达到了92.42％、91.80％和89.33％,验证了提出方法的有效性和可行性.

传统光线投射算法虽然绘制图像时能取得良好的效果,但因为运算速度较慢,限制了其广泛应用.为了在图像三维重建时既能保证质量,又能提高实时交互性,本文提出一种基于改进光线投射算法的冠脉三维重建方法,利用检测原数据点的数据值来简化重采样中三线性插值的复杂性,并结合切比雪夫空体素跳跃法,进一步提高算法的效率.实验结果表明,该算法能够在提高运算速度的同时,保证绘制冠脉三维图像的质量.

衰荡光腔受温度影响长度变化使腔内光斑模式改变,影响测量精度,为达到衰荡光腔内温度均匀分布,利用仿真平台,对控温箱体内加热片发热功率进行仿真计算.首先设计控温箱体几何模型,确定热传导模型和边界条件,通过有限元分析初步确定控温箱体内温度分布;然后通过参数化扫描和迭代运算,优化控温箱体温度场分布,得到均匀化温度分布所需的各加热片最佳工作功率.通过测试,控温箱体内最大温差小于0.06℃,沿衰荡光腔方向,温差小于0.002℃,达到±0.0005℃的控温精度,满足衰荡光腔内温度变化小于±0.003℃的精度要求.

为了提高肺结节检测的精确度和效率,提出一种基于多特征融合和XGBoost的肺结节检测模型.首先采用阈值分割与形态学运算,获得候选结节区域;然后通过基于超分辨率重建的卷积神经网络进行候选结节的特征增强;其次采用快速鲁棒特征、灰度共生矩阵、灰度不变矩的提取方法获得候选结节的局部与全局的多种特征,采用词袋模型进行降维并融合;最后利用XGBoost-决策树分类模型去除假阳性结节,完成肺结节的检测.在LIDC-IDRI数据上进行的实验表明该模型能达到97.87％的准确率和97.92％的召回率.该模型可用于辅助医生进行肺结节诊断,具有一定的临床应用价值.

针对传统的摄像头异常干扰识别方法识别种类单一,由预测闪烁而引起的识别准确率和可靠性低、 泛化能力不强的问题,提出一种基于滚动预测平均算法的摄像头异常干扰识别方法.在自建的异常干扰图像训练集上微调ImageNet预训练的ResNet50,训练出用于摄像头异常干扰的图像分类与识别模型,在该模型的基础上运用滚动预测平均算法,以在线或离线的方式实现摄像头异常干扰视频的分类与识别.测试集实验结果表明,该方法能够正确识别出正常、遮挡、模糊和摄像头旋转视频,识别准确率达到了95％,充分验证了该方法的可行性和有效性.

抑郁症是致残率和发病率最高的疾病之一,全球约有3亿人正遭受着抑郁症的困扰.然而,目前并没有有效的生物特征和临床方法能够帮助医生对抑郁症进行准确的诊断.针对此任务,本文将计算机视觉领域的前沿深度学习模型进行优化与适配,应用于抑郁症的辅助诊断,并在此基础上引入迁移学习,取得了很好的效果.实验结果表明,同前沿算法模型相比,本文提出的方法能够有效提高抑郁症与健康对照者的结构磁共振成像分类准确率和召回率,充分验证了提出方法的有效性和优越性.

为了充分提取抑郁症患者的磁共振影像信息,提高抑郁症的诊断准确率,本研究将功能磁共振图像与结构磁共振图像作为研究对象,提出一种双模态数据融合的抑郁症分类算法.首先构建4种不同尺度的功能脑网络,提取功能磁共振图像的数据特征,然后使用迁移学习处理的三维密集连接卷积神经网络,提取结构磁共振图像的数据特征,接着使用典型相关分析方法融合两种特征,最后使用支持向量机对融合特征进行分类,从而将受试者识别为健康者或抑郁症患者.实验结果表明,本文提出的方法可获得89.56％的分类准确率与95.48％的召回率,与单模态数据分类相比,基于双模态数据的分类方法具有更好的分类性能.此外,典型相关分析法可以有效融合双模态的图像特征.

乳腺癌的早期症状在乳腺钼靶图像中主要表现为微钙化点,微钙化区域的真假阳性检测对于乳腺癌早期筛查具有重要意义.本研究选取DDSM图像进行实验,手动截取了400个疑似钙化区域.首先提取全部区域的Haralick纹理特征和灰度游程矩阵特征建立特征集,然后使用Adaboost算法集成决策树,构建强分类器AB-DT,对400个疑似钙化区域进行分类.实验发现当集成462棵决策树时,模型分类性能最佳.最后进行10折交叉验证,AB-DT算法达到了91.75％的准确率,91.75％的敏感性,91.79％的特异性,F1指数为0.9187.该模型在微钙化真假阳性检测上性能优越,可用于辅助乳腺微钙化点检测,具有一定的临床应用价值.

提出一种多尺度功能脑网络融合特征的抑郁症分类方法,具体思想包括:首先通过精细化脑区,建立4种不同尺度的脑网络;然后对每种尺度的脑网络分别提取局部特征和全局特征,并将多种尺度脑网络的特征进行有效融合并降维;最后使用支持向量机对患者脑部功能磁共振影像进行分类.试验结果表明,分别提取局部特征和全局特征,并进行有效融合,可以提升识别效果;空间尺度减小会得到更多有效特征,进而能够有效提升分类结果;多尺度特征融合也可以在很大程度上对分类结果起到积极作用.与传统单一大尺度脑网络方法相比,本研究提出的方法获得了更加优秀的试验结果,识别率可达88.67％,充分验证了本研究提出方法的有效性和可行性,并为抑郁症患者的临床诊断与治疗提供生物学依据.

为实现阿尔茨海默症(AD)的医学影像分类,辅助医生对患者的病情进行准确判断,本研究对采集的34名AD患者、35名轻度认知障碍患者和35名正常对照组成员的功能磁共振影像进行特征提取和分类,具体思路包括:首先利用皮尔逊相关系数计算脑区之间的功能连接,然后采用随机森林算法对被试不同脑区之间的功能连接进行重要性度量及特征选择,最后使用支持向量机分类器进行分类,利用十倍交叉验证估算分类准确率.实验结果显示,随机森林算法可以对功能连接特征进行有效分析,同时得到AD发病过程的异常脑区,基于随机森林和SVM建立的分类模型对AD、轻度认知障碍的识别具有较好的效果,分类准确率可达90.68％,相关结论可以为AD的早期临床诊断提供客观参照.

目的 通过CBCT图像数据建立糖尿病伴牙周炎患者下颌前磨牙剩余牙槽骨内牙根的三维模型.方法 选取1例糖尿病伴牙周炎患者为研究对象,对患者进行血糖控制及牙周基础治疗后,采用CBCT扫描获取图像数据,在Mimics软件中建立牙槽骨及牙齿的实心三维模型,确定牙槽骨边界,沿牙槽嵴进行虚拟切割,建立糖尿病伴牙周炎患者下颌前磨牙剩余牙槽骨内的牙根三维模型.结果 成功建立了糖尿病伴牙周炎患者下颌前磨牙剩余牙槽骨内的牙根三维模型,该模型清晰完整,可从不同角度观察和精确测量牙槽骨内的牙根三维形态.结论 CBCT图像结合数字化软件图像分割技术准确地建立糖尿病伴牙周炎患者下颌前磨牙剩余牙槽骨内的牙根三维模型,为研究糖尿病伴牙周炎患者牙槽骨丧失的三维精准测量奠定了基础.

目的:为提高乳腺癌检测的精准度和效率,提出了一种基于自适应能量偏移场无边缘主动轮廓模型(AEOF-CV)的乳腺肿块分割与分类方法.方法:首先采用中值滤波、阈值分割及区域连通进行图像预处理,去除图像噪声;然后使用伽马变换及形态学运算相结合的方法进行图像增强;其次,采用AEOF-CV对弱对比度图像提高分割精度,用于乳腺肿块分割,得到感兴趣区域;最后使用不同提取特征方法,结合支持向量机识别感兴趣区域是否有肿块,并对存在肿块的图像判别肿块的良、恶性.结果:实验利用DDSM数据库中350个图像进行测试,实验结果证明,基于AEOF-CV乳腺肿块分割方法可以得到肿块清晰外部轮廓,具有较好的鲁棒性,误分率可达到0.212 0.无肿块样本识别率达到94.57％,恶性肿块识别率为97.91％,良性肿块识别率为96.96％,总识别率达94.00％.结论:基于AEOF-CV的乳腺肿块分割效果较好,误分率相对CV方法降低19.17％,查准率和查全率达到了0.851 9和0.836 5,全局分析性能较好,是乳腺肿块分割的有效方法,可为后续模式识别提供可靠依据.

针对肺结节特征复杂、人工提取特征困难的问题,提出基于改进的VGG-16卷积神经网络的肺结节检测模型.首先采用阈值分割与处理最大连通区域后的图像进行掩模运算,得到肺实质部分.然后通过Regionprops标记每个连通区域序号分割出所有疑似结节;采用核函数极限学习机而不是Softmax函数作为VGG-16结构中的分类器.最后利用改进后的VGG-16模型去除假阳性结节,完成对肺结节检测.在LIDC-IDRI数据集上进行的实验表明改进后的模型能达到92.56％的准确率和94.44％的高敏感度.该模型可用于辅助医生进行肺结节诊断,具有一定的临床应用价值.