Introduction. Large language models (LLMs) have become increasingly significant in crisis information management due to their advanced natural language processing capabilities. This study aims to develop a comprehensive evaluation benchmark to assess the effectiveness of LLMs in generating crisis information. Method. CIEeval, an evaluation dataset, was constructed through steps such as information extraction and prompt generation. CIEeval covers 26 types of crises across sub-domains including water disasters, environmental pollution, and others, comprising a total of 4.8k data entries. Analysis. Eight LLMs applicable to the Chinese context were selected for evaluation based on multidimensional criteria. A combination of manual and machine scoring methods was utilized. This approach ensured a comprehensive understanding of each model's performance. Results. The manual and machine scores showed significant correlation. Under this scoring method, Claude 3.5 Sonnet performed the best, particularly excelling in complex scenarios like natural and accident disasters. In contrast, while scoring slightly lower overall, Chinese models like ERNIE 4.0 Turbo and iFlytek Spark V4.0, showed strong performance in specific crises. Conclusion. The evaluation benchmark validates the best LLM for crisis information generation (Claude 3.5 Sonnet) and provides valuable insights for LLMs to optimize and apply LLM in crisis information.
[Purpose/significance]Comprehending the development process of scientific knowledge contributes to the scientific research.For knowledge evaluation and service,it is crucial to trace the structure and progress of knowledge in subdivided fields from a micro perspective.[Method/process]This article took the knowledge unit in medical informatics as an example.This paper used the semantic type of triples to define the treatment-related subdivision fields,constructed the knowledge unit citation networks of 125 diseases at different intervals,and identified the knowledge communities with the Leiden algorithm.From the dimensions of knowledge evolution and knowledge competition state,we aim to reveal the evolutionary characteristics of disease individuals.The indexes of Richness,Balance,and Difference are calculated to reveal the diversity characteristics of disease individuals as well as the overall disease population.[Result/conclusion]The research demonstrates that the knowledge communities can reflect the knowledge structure and evolution state of disease individuals.The overall diversity characteristics of diseases include:the common-ality of indicators indicates that the number of all disease knowledge communities is increasing,and the differences in scale and composition between communities are expanding.Different diseases show conventional,early-controversial,and generalized evolu-tionary patterns,with the earlier diseases being less balanced and more different.
[Purpose/significance]Trust is a crucial component in sustaining collaboration and facilitating knowledge transfer among scientists,transforming knowledge from being individually-owned to being shared among many.Studying trust mechanisms in scientific knowledge transfer not only helps maintain relationships among collaborators but also accelerates the process of knowledge transfer,thereby promoting scientific development further.[Method/process]We initially quantified the trust among scientific col-laborators using the American Physical Society dataset(APS)and examined the trust distribution pattern within this group.Subse-quently,we categorized knowledge transfer among these collaborators into two types:implicit and explicit.We then delineated the paths of knowledge transfer within the collaborative network.Finally,we employed regression analysis to verify the impact of the de-gree of trust among collaborators on the volume of knowledge transfer.[Result/conclusion]Trust and knowledge transfer among scientific collaborators exhibit a distinct time-series resonance pattern.The trust within collaborative teams is less than that within teams with explicit knowledge transfer.The correlation between explicit transfer and trust is stronger,although the dependence is weaker.This paper expands the study of trust emotions in scientific collaboration to include trust behaviors.Furthermore,it mitigates the limitations of measuring static trust in a cross-sectional collaboration by quantifying the trust among scientific collaborators.
[目的/意义]梳理国内外开放科学评价的研究成果,以期为其理论研究和实践发展提供参考.[方法/过程]运用VOSviewer软件,从开放数据、开放获取、公众科学、研究方法与模型、开源软件、开放教育资源、众包、开放科学主题8个方面综述国内外开放科学评价的研究进展.[结果/结论]国内外学者对上述8个方面的评价研究进行了广泛探索,且取得了明显进展.[局限]现有研究存在开放科学评价的研究领域广而散、研究方法与模型有待丰富、实践评价调查有待加强等问题.未来应加强开放科学评价的理论研究,丰富研究方法和模型,加强开放科学实践测评,从而更好地促进开放科学实践发展.
[目的/意义]本体广泛应用于知识图谱、信息检索等众多领域,逐渐成为近年来一大研究热点.文章归纳总结了国内外本体构建及应用方面研究成果,以期为相关领域学者提供研究参考.[方法/过程]首先,从本体构建原则、表示语言和构建方法三个维度对本体构建基础研究进行梳理.其次,运用关键节点识别和社团挖掘算法对本体构建主题进行演化分析,并进一步结合中国知网和Web of Science代表性文献梳理近年来本体构建研究热点.最后,结合前述分析总结本体研究主要应用领域,并对本体相关研究进行总结与展望.[结果/结论]结合本体研究现状,半自动化及自动化本体构建、本体融合等技术研究以及本体的应用有望成为未来研究热点.
[目标/意义]通过构建中观层面的网络和社交媒体时代科学活动理论模型,探索科学活动视角下的Alt-metrics 的主题演化特征.[方法/过程]使用解释性内容分析法对Altmetrics相关文献进行梳理,进行聚类分析和时间序列分析,以了解Altmetrics研究主题的演变规律,并进一步比较国内外Altmetrics研究的差异.[结果/结论]时间序列分析揭示了 Altmetrics研究的细分领域存在不同程度的相似性和差异性.研究结果表明,科学活动理论框架有助于描述Altmetrics数据和指标背后的社会现象和行为机制.这一框架能更好地体现科学界的"以人为本"的本质和趋势,从社会学的研究视角弥补Altmetrics作为定量研究方法的局限性,探索网络和社交媒体时代科学计量学的社会学转向.
[目标/意义]开放科学运动与实践推动科学信息交流模式变革,Altmetrics的诞生为科研评价体系带来新的机遇,梳理现有Altmetrics数据可用性研究可为新语境下科研评价与中文Altmetrics数据建设提供参考.[方法/过程]通过文献调查,在厘清Altmetrics数据价值与内涵基础上,从数据来源与搜集、指标内涵与价值、用户类型与动机、数据政策与机制、数据质量与特征5个维度探索Altmetrics数据的现存问题,总结当前Altmetrics数据可用性评价指标.[结果/结论]Altmetrics数据受到可信度、可解释性、语境适用性、数据质量、数值特征等方面影响.目前尚缺乏针对各类Altmetrics数据可用性的评价研究.
[目的/意义]从创新链与产业链融合视角科学识别关键核心技术,对把握产业发展重心,制定个性化发展策略具有积极意义.[方法/过程]文章构建融合创新链与产业链的关键核心技术分析框架,包含以下部分:第一,重点技术清单梳理,明确产业的技术构成;第二,技术主题识别,基于论文、专利识别创新链技术主题,基于企业信息识别产业链技术主题;第三,关键核心技术识别,针对创新链、产业链发展的不同特征构建关键核心技术评估指标;第四,关键核心技术归类,根据重点技术清单、创新链关键核心技术、产业链关键核心技术的交叉关系,划分为优势型、待攻关型、待布局型、待转化型关键核心技术.[结果/结论]该分析框架具有可行性与有效性,可以系统全面地把握产业发展中各项技术定位,能够为产业技术情报分析提供分析工具.
[目的/意义]系统调查和剖析国外iSchools社群信息学(CI)课程设置现状与特点,旨在为我国相关院系课程优化与研究提供借鉴.[方法/过程]结合网络调查和文献分析,在全面调查iSchools联盟院系课程体系的基础上,选取国外最具代表性的16所院校,从CI课程教学目标、授课对象与学位项目、课程属性、课程内容、教学方法5个方面进行剖析,并总结其特点.[结果/结论]16所院校共开设26 门 CI相关课程,呈现以下特点:技术与人文融合,关注社会发展问题;"虚"与"实"共存,教学内容侧重点不同;"教"与"研"相长,理论与实践相结合;"远"与"近"兼备,国际化与本土化视角鲜明.这些特点可以为我国社群信息学的课程优化提供参考.
[目的/意义]算法意识差异成为数字鸿沟的新形式,目前缺少对我国网络用户算法意识的有效测量工具.文章尝试构建中文情境下的算法意识量表,为后续检测用户算法意识提供有效可靠的测量工具.[方法/过程]以现有研究为基础,通过深度访谈、问卷调查、探索性因子分析等过程,构建面向我国网络用户的算法意识量表.[结果/结论]最终量表包括算法存在意识、算法功能意识、算法伦理意识和算法风险意识4个维度,共12个题项.对算法意识量表的适用性进行探讨,发现该量表能够反映个体差异对算法意识的影响以及不同算法意识维度在不同个体因素间差异情况,验证了算法意识差异是一种新的数字鸿沟,为有效测量用户算法意识提供方法论支持.
[目的/意义]了解公众对突发事件信息公开过程的认知与体验,揭示公众对突发事件信息公开过程质量的评价维度、模式和期望.[方法/过程]通过半结构化深度访谈,收集了 96位受访者对于突发事件信息公开过程的质量评价,并通过质性编码进行分析.[结果/结论]研究发现,公众主要通过对比评价、代入评价和直观评价的方式对公开机制、平台建设、传播过程、表达形式和权利体现5个维度展开评价,并提出了对信息公开过程质量提升的期望.研究结果有助于政府了解公众的现实需求,以高效地提升信息公开质量和赋能公众应对突发事件的能力.
[目的/意义]应急情报协同治理是一个实现应急情报从混乱到整齐,从无序到有序,总体向好发展为目标的动态、多维过程.[方法/过程]构建基于共生理论的重大突发公共卫生事件应急情报协同治理框架,以共生能量的生成隐喻协同能量的生成,对共生要素与协同治理要素进行相互印证,将共生要素的困境与疫情防控过程中应急情报协同治理的困境进行类比性植入和全景扫描,并基于质参量兼容原理、能量生成原理、系统进化原理、界面选择原理提出打破应急情报交互壁垒的纾困路径.[结果/结论]针对重大突发公共卫生事件应急情报协同治理的困境,提出基于共生要素的纾困路径:强化共生单元韧性,构建耦合联动的情报共同体;增拓共生环境容量,优化功能互补的协同治理工具箱;激发共生模式活力,打造双重共轭的情报保障链;优化共生界面选择,形塑多元平台和机制驱动的功能网.
文章探讨信息资源管理作为一个学科的研究对象,给出了它的学科定义,分析了它的学科性质,从不同视角(学界、企业和政府等)调研了其学科内涵和研究对象的历史演变情况,包括学科发展早期、中期和近期的研究主题或培训内容.在此基础上,结合当前的学科发展趋势和环境,提出了确定信息资源管理学科研究对象和内容范围的6条原则和知识体系框架.
[目的/意义]将网络节点影响力和传播力引入科学数据研究,对于实现核心数据资源的精准发现、加速数据的传播和重用、有效提升数据影响力都具有十分重要的意义.[方法/过程]构建全球性基因表达综合数据库(GEO)科学数据集共被引网络,对网络的个体节点影响力和传播力进行分析;找到k个最具影响力的节点集合,并利用独立级联(IC)模型对传播效果进行模拟验证.[结果/结论]在不同网络规模情况下,度中心性和结构洞指标可以取得最大化传播效果.不同类型的GEO数据集在网络结构中占据不同位置,根据数据集特点进行合理使用和引用,可以加速数据集的传播和扩散.[局限]只侧重于网络结构特征的研究,未来需要结合数据集的元数据信息,进一步增强研究的实用性和可操作性.
[目的/意义]科技情报早期弱信号隐蔽性与不确定性较强,定性与定量方法结合的情报感知成为探究未来科技不确定程度与影响力程度的重要方式.文章尝试提出弱信号环境下科技情报感知方法框架,推进科技情报前瞻识别与预测.[方法/过程]首先,归纳、辨析情报感知的相关概念、感知阶段及其特征.然后,基于情报感知过程视角,针对已有定性与定量分析方法,分析不同阶段的情报感知识别方法及其优势与不足,总结现有方法存在的问题.[结果/结论]提出"弱信号识别—意义建构—预测与响应"闭环迭代的早期情报感知框架.框架结合了理论与应用,包含3个层级,每个层级包括相应的任务以及开展每个任务对应的方法.此外,提出弱信号环境下早期情报感知"沙漏模型",用于对弱信号进行多级筛选与甄别.文章提出的弱信号环境下科技情报感知方法框架可以为早期科技情报感知提供理论与方法的综合参考.
书名:信息资源管理:理论与实践 作者:肖明 出版社:机械工业出版社 ISBN:9787111449607 出版时间:2023年1月 定价:49.8元 自媒体经济的爆发,让每个人都成为信息的生产者、接受者与传播者,处于被各种信息包裹的状态.互联网技术为信息生产传播提供了助力,但这并不意味着我们可以毫无规则、毫无节制地滥用网络信息资源,或是不遵守基本的网络文明规范,去造谣传谣、以讹传讹.从高校教育层面看,大学生作为高频使用互联网的人群,难免要与各类网络信息资讯、网络文化打交道.而大学生正处于人生价值观、世界观的成长期,这些未经筛选的网络信息资源可能对大学生思想观念产生消极影响.
[目的/意义]在百年未有变局、新科技革命叠加中美大博弈背景下,科技安全面临的考验和挑战前所未有.履职科技安全是地方科技情报机构特色彰显和业务拓展的关键路径.[方法/过程]以地方科技情报机构履职科技安全的现实起点、指导原则和功能任务为逻辑主线,运用系统理论,构建以理念、思维、观念引领为根本,四维发力为核心的科技安全情报功能任务体系框架,提出主要内容.[结果/结论]科技安全是发挥科技情报履职作用的强关联领域,地方科技情报机构业务应朝着多元化方向发展,聚焦关键核心技术自主可控安全、技术占先/突破的科研组织范式安全、科技成果转化与应用安全、产业链供应链安全等开展科技安全情报研究与服务.
[目的/意义]将突发事件应急管理领域的标准文件数字化表示,以提高突发事件应对能力.[方法/过程]基于"公共安全科技的三角形模型"构建本体模型;对标准中不同数据形式,利用机器学习和模板匹配等方法进行知识抽取,构建知识图谱;以森林火灾管理相关标准验证方法可行性,提出应用建议.[结果/结论]基于文章提出的方法,可实现标准的高水平数字化,利用知识图谱实现对突发事件标准中知识的跨标准协同查询,突发事件辅助决策,物资的规范建议等应用,并为其他领域的标准数字化提供参考,助力数字中国的建设.[创新/价值]提出了构建突发事件相关标准知识图谱的框架;基于公共安全科技的三角形模型构建了突发事件应对标准中的概念本体;应用新方法高效且低成本地进行知识抽取.
书名:大数据视角下公安情报分析技术 作者:李俊莉,陈巍,宋培彦,等 出版社:科学技术文献出版社 ISBN:9787518909261 出版时间:2020年1月 定价:83.60 创新和发展公安机关的情报信息分析工作,运用系统论和整体论思想有效整合情报信息人员、系统和数据,树立大数据理念,构建公安情报平台和优化公安情报工作流程,有效利用和管理海量公安情报信息安全数据,通过云计算技术设计基于大数据公安情报分析系统,以实现公安数据的采集整合和综合利用,从而发挥公安情报的预警、预测、预防和辅助决策功能.在大数据环境下有效提高公安情报数据管理和情报分析能力,面对庞杂多样的公安情报数据需要融合大数据分析,以适应大数据发展需求和提升情报分析能力.为减少公安情报信息错误,运用批判思维和横向思维以消除思维定势的负面效应,从而提高公安情报分析能力和分析质量.为尽量消除公安情报信息安全诸多隐患,在重视信息化建设的同时,还要重视情报信息安全风险研究与风险管理.
[目的/意义]先前研究在识别有用性在线评论时假设数据集类是平衡的,但真实数据往往不符合这一假定.为克服这一局限,文章从真实情景出发提出了在不平衡数据集上识别在线评论的有用性,以提升在线评论的效用.[方法/过程]提出不平衡数据集上在线评论有用性识别模型,该模型包括在线评论有用性特征集构建、融合SMOTE和Boosting的有用性识别算法以及识别效果评价等模块,并从真实数据集出发验证了模型的识别效果.[结果/结论]模型在解决类不平衡后准确识别在线评论有用性的综合性能超过89％,优于未解决类不平衡的分类识别算法,为在线评论有用性识别提供了有效的方法和工具.
