多模态情感分析过程中,对情感判定起主导作用的模态常常是动态变化的。传统多模态情感分析方法中通常仅以文本为主导模态,而忽略了由于模态之间的差异性造成不同时刻主导模态的变化。针对如何在各个时刻动态选取主导模态的问题,提出一种自编码器动态主导融合的多模态情感分析方法。该方法首先对单模态编码并获得多模态融合特征,再利用自编码器将其表征到共享空间内;在此空间内衡量单模态特征与融合模态特征的相关程度,在各个时刻动态地选取相关程度最大的模态作为该时刻的主导模态;最后,利用主导模态引导多模态信息融合,得到多模态鲁棒性表征。在多模态情感分析基准数据集CMU-MOSI上进行广泛实验,实验结果表明本文提出方法的有效性,并且优于大多数现有最先进的多模态情感分析方法。
The paper proposes a multi-modal hierarchical fusion method based on text modal guidance,which uses text modal infor-mation as the guidance to achieve hierarchical adaptive screening and fusion of multi-modal information.Firstly,the importance information representation between two modalities is realized based on the cross-modal attention mechanism,then the hierarchical adaptive fusion based on the multimodal important information is realized through the multimodal adaptive gating mechanism,and finally the multimodal features are synthesized.and modal importance information to implement multimodal sentiment analysis.The experimental results on the public datasets MOSI and MOSEI show that the accuracy and F1 value of the baseline model have increased by 0.76%and 0.7%,respectively.
抗生素健康素养水平是结合个人的抗生素知识、健康状况和抗生素使用经验,使用抗生素健康信息和服务做出抗生素治疗决定的能力[1].健康素养低下会导致不当的自我用药和抗生素滥用,进而导致抗生素耐药性(antimicrobial resistance,AMR)等不良后果[2-3].目前AMR已成为一个全球性问题,全世界每年死于AMR的人数约70 000人,若不采取措施,预计到2050年每年死亡人数将增至1000万人[4].全球超过三分之一的国家报告了常见病原体的广泛耐药性,预计在2030年到2050年期间翻一番[4].2019年4月联合国报告指出,各个国家抗生素滥用水平都远高于预期,特别是中低收入国家,耐药率高达80%~90%.中国作为全球最大的抗生素生产与使用国,人均抗生素消耗量显著高于西方国家,耐药状况严重.
Multi-modal neural machine translation (MNMT) aims to improve textual level machine translation performance in the presence of text-related images. Most of the previous works on MNMT focus on multi-modal fusion methods with full visual features. However, text and its corresponding image may not match exactly, visual noise is generally inevitable. The irrelevant image regions may mislead or distract the textual attention and cause model performance degradation. This paper proposes a noise-robust multi-modal interactive fusion approach with cross-modal relation-aware mask mechanism for MNMT. A text-image relation-aware attention module is constructed through the cross-modal interaction mask mechanism, and visual features are extracted based on the text-image interaction mask knowledge. Then a noise-robust multi-modal adaptive fusion approach is presented by fusion the relevant visual and textual features for machine translation. We validate our method on the Multi30K dataset. The experimental results show the superiority of our proposed model, and achieve the state-of-the-art scores in all En-De, En-Fr and En-Cs translation tasks.
目的 探讨广州市区小学生的性格发展状况,为了解和促进广州市儿童的性格和身心健康发展提供科学依据和建议.方法 采取横断面调查研究,通过整群随机抽样的方法抽取广州市区两所小学三年级学生共405名,采用儿童艾森克个性问卷(Junior Eysenck Personality Questionnaire,JEPQ)量表进行问卷调查,采用两独立样本t检验比较性别、年龄组、不同地区间的JEPQ各维度得分,采用卡方检验比较不同地区间JEPQ各维度的高分比例.结果 广州市区小学生JEPQ的内外向(extroversion and introversion,E)、神经质(neuroticism,N)、精神质(psy-choticism,P)、掩饰性(lie,L)维度标准分T分分别为50±11、50±16、42±18、50±10.其中,20.6%的儿童情绪不稳定(N维度T分>61.5);22.3%和32.7%的儿童分别为内向(E维度T分<43.3)和外向(E维度T分>56.7)倾向;6.3%的儿童性格孤僻或有攻击性(P维度T分>61.5).与重庆、滁州、和西安地区相比,广州地区男女生的E维度得分较高(除西安女生,P<0.05).结论 广州市区的两成小学生有焦虑、紧张的倾向,与其他城市相比更为外向.建议打造学校-社区-家庭"三位一体"的支持网络,为儿童的身心健康发育保驾护航.
目的 了解学生机能学实验课上晕倒情况及其原因,提出预防和救治措施.方法 统计14年来在机能学实验课上晕倒的学生情况,在询问本人、向其同学了解情况后进行归类分析.结果 机能学实验课上晕倒的学生共42人,女生33人(占78.6%),大一学生29人(占69.0%),夏季实验课上晕倒34人(占81.0%),兔子实验课上晕倒26人(占61.9%),体质因素20人,心理因素11人,疾病因素8人,特殊因素3人.结论 性别、年级、时间、气候、实验动物类型是学生晕倒的客观原因,体质、心理、疾病等是学生晕倒的主观因素.采取预防措施和对晕倒学生进行紧急、必要的救治是保证学生生命安全的重要措施.