[0001]技术领域
[0002]本发明涉及虚拟现实领域，具体涉及一种面向适老化认知训练和基于手势交互的虚拟现实康复系统。
[0003]背景技术
[0004]轻度认知功能障碍(Mild Cognitive Impairment，MCI)起病隐匿，发病特征辨识度低，如果能在MCI阶段进行有效康复，可以有效减缓认知功能衰退。基于虚拟现实(Virtual Reality，VR)的认知康复系统是实现对MCI患者认知干预的重要途径。然而，现有的VR认知训练存在多感官协同不足、缺乏反馈、适老化设计不足等问题。此外，手势交互的方式具有多感官协同、老人使用更便捷等优点。因此，提出多感官、强交互、适老化的手势交互VR认知康复训练系统具有重要意义。
[0005]发明内容
[0006]本申请基于背景技术中存在的问题，提出了一种面向适老化认知训练和基于手势交互的虚拟现实康复系统。
[0007]为了实现上述目的，本申请采用以下技术方案予以实现：
[0008]第一方面，本申请提出一种认知康复训练系统，包括：
[0009]S1.场景加载完毕，自动进入“手势动作训练”任务，根据提示进行手势动作训练；
[0010]S2.通过手势交互点击菜单按钮，场景跳转进入“颜色匹配”任务；
[0011]S3.通过手势交互点击菜单按钮，场景跳转进入“形状与大小匹配”任务；
[0012]S4.通过手势交互点击菜单按钮，场景跳转进入“益智积木拼搭(3×3)”任务，成功后进入下一难度“4×4”。
[0013]进一步地，所述步骤S1包括以下步骤：
[0014]S12.受试者拍下按钮，开始倒计时，在面前的一系列虚拟手势动作(提示手势的外轮廓标黑)的指示下，左右手分别完成对应的姿势；
[0015]S22.每只手每次正确完成一个动作会出现该动作的提示动画和对应的提示音，同时计分板(分左右手两个计分板)对应位置的分数会相应增加；
[0016]S23.会实时导出受试者的任务用时和得分数据。
[0017]所述步骤S2包括以下步骤：
[0018]S21.受试者拍下按钮，开始倒计时，需要将对应颜色的小球放到对应颜色的圆心轨道光圈上；
[0019]S22.每放置正确一个小球至对应颜色的轨迹光圈中计分板会计1分，规定时间(倒计时结束前)得到4分(即四个小球的颜色匹配均正确)即视为训练成功完成；
[0020]S23.会实时导出受试者的任务用时和得分数据。
[0021]所述步骤S3包括以下步骤：
[0022]S31.受试者拍下按钮，开始倒计时，需要将对应大小形状的物品放到对应的圆轨道光圈上；
[0023]S32.每放置正确一个物体至对应形状与大小的轨迹光圈中计分板会计1分，规定时间(倒计时结束前)得到4分(即四个物体的形状与大小匹配均正确)后即视为训练成功完成；
[0024]S33.会实时导出受试者的任务用时和得分数据。
[0025]所述步骤S4包括以下步骤：
[0026]S41.受试者拍下按钮，开始倒计时，需对照“示例区”的白色积木块(已拼搭完成的成功示例)的形状，用手抓取“待完成区”的三个积木块进行拼搭，拼至“示例区”的形状一致；
[0027]S42.在规定时间内达到和左边范例积木块摆放一致后认定闯关成功，跳转至下一关：4×4规格；
[0028]S43.会实时导出受试者的任务用时和得分数据。
[0029]第二方面，本申请提出适老化认知训练的手势交互、声音交互、动画交互设计，包括：
[0030]S5.系统摒弃传统VR项目中的手柄交互，改为手势交互，受试者与场景中物体手势交互的形式包括捏合、抓握、点触、按压、自由抓取等；
[0031]S6.在训练任务中设置了按钮提示音、倒计时提示音、任务成功/失败提示音、抓取物体的声音等；
[0032]S7.在训练任务中加入动画，提示受试者如何正确完成任务，提升其完成任务的积极性。
[0033]第三方面，本申请提出一个数据收集与分析模块，包括：
[0034]S8.受试者填写“受试者接受度调查问卷”和“受试者任务体验调查问卷”两份问卷；
[0035]S9.针对受试者在训练中产生的得分和用时数据，以及问卷信息，进行分析。
[0036]相对于现有技术，本发明的优点如下：
[0037](1)人机交互技术融合与多感官协同刺激的训练模式：
[0038]通过与临床医生交流并结合患者自身偏好，在系统中使用人机交互技术，涵盖手势、声音、动画等多感官协同刺激，设计并构建沉浸式的适老化VR场景和交互方式。可以根据患者的具体情况和训练反馈调整训练模式，更有效地满足不同患者的需求。
[0039](2)手势交互的适老化认知训练任务设计：
[0040]统脱离传统VR项目中的手柄交互，改为手势交互，患者可以使用手势直接与场景中物体进行交互。使用手势追踪和交互技术，设计并实现“手势动作训练”“颜色匹配”“形状与大小匹配”“益智积木”“超市购物”五个认知训练任务，涵盖五大认知域，突破了传统VR认知训练模式单一、交互性差、较少考虑适老化的局限。
[0041](3)任务设计综合五大认知域，促进MCI疾病的早筛与康复：
[0042]该系统可用于对MCI患者进行认知功能的评估，包括记忆、注意力、执行功能等方面的评估。通过Quest3手势交互，系统可以提供一系列认知任务和游戏，帮助患者进行认知功能训练，延缓病情进展。
[0043](4)VR认知康复临床研究的创新：
[0044]经过临床验证和数据分析，项目可有效用于认知康复训练，激发受试者训练主动性，为适老化VR认知康复临床研究提供参考。
[0045]附图说明
[0046]图1为本发明的整体架构图；
[0047]图2为本发明的手势动作训练任务(远景)图；
[0048]图3为本发明的手势动作训练任务(近景)图；
[0049]图4为本发明的颜色匹配任务(远景)图；
[0050]图5为本发明的颜色匹配任务(近景)图；
[0051]图6为本发明的形状与大小匹配任务(远景)图；
[0052]图7为本发明的形状与大小匹配任务(近景)图；
[0053]图8为本发明的益智积木拼搭(大屏倒计时+操作提示的循环播放视频窗口)图；
[0054]图9为本发明的益智积木拼搭(难度一)图；
[0055]图10为本发明的益智积木拼搭(难度二)图；
[0056]图11为本发明的数据采集与分析流程图；
[0057]图12为本发明的部分受试者五大认知域的得分雷达图。
[0058]具体实施方式
[0059]下面将结合附图和具体实施方式对本发明进行进一步详细说明，但本发明的保护范围不限于此；
[0060]针对MCI患者伴有的手部灵活性减弱、手部微弱的抖动、握力减弱手部肌肉问题，该训练任务基于Meta官方的手势交互Interaction SDK：com.meta.xr.sdk.interaction.ovr.samples中的手势姿势示例场景，进一步完成对MCI患者手势动作的训练，旨在能帮助患者提高手部肌肉的灵活性和力量。
[0061]如图2和3所示，受试者在面前的一系列虚拟手势动作(提示手势的外轮廓标黑)的指示下，左右手分别完成对应的姿势，每只手每次正确完成一个动作会出现该动作的提示动画和对应的提示音，同时计分板(分左右手两个计分板)对应位置的分数会相应增加。
[0062]受试者参与训练时先拍下面前桌子左边的绿色按钮，正前方出现倒计时数字后便可进行手势动作训练。
[0063]在手势动作训练任务的过程中，设计了：
[0064](1)桌子左边的连续循环播放的小视频窗口，受试者可以学习如何进行手部姿势练习。
[0065](2)倒计时系统：
[0066]1)拍下按钮开始倒计时；
[0067]2)倒计时结束(为0)时交互停止，计分停止。
[0068](3)计分系统：
[0069]1)按不同的手势姿势分类计分；
[0070]2)正确一个计1分；
[0071]3)分开左右手实现计分板。
[0072](4)声音提示交互：
[0073]1)受试者正确做出对应的手势的提示音；
[0074]2)受试者拍下/松开按钮的声音提示；
[0075]3)倒计时的声音；
[0076]4)成功完成训练任务的声音提示；
[0077]5)未能完成训练任务的声音提示。
[0078]另外，在手势动作训练的过程中，受试者有任何不适，想终止任务都可以拍下红色应急按钮，会直接退出训练任务。
[0079]如图和4和图5所示，受试者在参与“颜色匹配任务”时，先拍下桌子左侧绿色按钮，正前方会出现大屏开始倒计时。受试者面前的自动吸附槽初始状态下会放有蓝、红、绿、黄(从左到右)的四个小球。而与之对应的四条圆形轨道上有蓝、红、绿、黄(从内到外)的四色光圈。受试者需要将对应颜色的小球放到对应颜色的圆心轨道光圈上。
[0080]在放置小球到光圈的过程中，设计了：
[0081](1)倒计时系统：
[0082]1)拍下按钮开始倒计时；
[0083]2)倒计时结束(为0)时交互停止，计分停止。
[0084](2)距离检测+自动吸附：
[0085]1)轨迹光圈上：在受试者用手抓取小球，离轨迹光圈在一定距离范围内时，会检测到这一距离并将小球自动吸附到轨迹的光圈上。
[0086]2)长条槽上(面前)：在受试者用手抓取小球，离面前的长条槽一定距离时，小球会自动吸附槽上，并且槽的长度会根据放置的小球个数而发生改变。
[0087](3)计分板：
[0088]每放置正确一个小球至对应颜色的轨迹光圈中计分板会计1分，规定时间(倒计时结束前)得到4分(即四个小球的颜色匹配均正确)即视为训练成功完成。
[0089](4)声音提示交互：
[0090]1)在受试者抓取/放下小球时的声音提示；
[0091]2)倒计时的秒针声音提示；
[0092]3)受试者拍下/松开按钮的声音提示；
[0093]4)小球自动吸附的声音提示；
[0094]5)成功完成训练任务的声音提示；
[0095]6)未在规定时间内完成训练任务的声音提示。
[0096]另外，在颜色匹配任务的训练过程中，受试者有任何不适，想终止都可以拍下红色应急按钮，会直接退出训练任务。
[0097]如图6和图7所示，受试者在参与“形状与大小匹配任务”时，先拍下桌子左侧绿色按钮，正前方会出现大屏开始倒计时。
[0098]受试者面前的自动吸附槽初始状态下会放有大号球体、大号立方体、小号立方体、小号球体(从左到右)的四个可以手势交互的物品。而与之对应的四条圆形轨道上有大号圆圈、大号正方形、小号正方形、小号圆圈(从内到外)的四种与之对应的四种光圈。受试者需要将对应大小形状的物品放到对应的圆轨道光圈上。
[0099]在放置小球到光圈的过程中，设计了：
[0100](1)倒计时系统：
[0101]1)拍下按钮开始倒计时；
[0102]2)倒计时结束(为0)时交互停止，计分停止。
[0103](2)距离检测+自动吸附：
[0104]1)轨迹光圈上：在受试者用手抓取小球(或立方体)，离轨迹光圈在一定距离范围内时，会检测到这一距离并将小球(或立方体)自动吸附到轨迹的光圈上。
[0105]2)长条槽上(面前)：在受试者用手抓取小球(或立方体)，离面前的长条槽一定距离时，小球(或立方体)会自动吸附槽上，并且槽的长度会根据放置的物体个数而发生改变。
[0106](3)计分板：
[0107]每放置正确一个物体至对应形状与大小的轨迹光圈中计分板会计1分，规定时间(倒计时结束前)得到4分(即四个物体的形状与大小匹配均正确)后即视为训练成功完成。
[0108](4)声音提示交互：
[0109]1)在受试者抓取/放下小球(或立方体)时的声音提示；
[0110]2)倒计时的秒针声音提示；
[0111]3)受试者拍下/松开按钮的声音提示；
[0112]4)小球(或立方体)自动吸附的声音提示；
[0113]5)成功完成训练任务的声音提示；
[0114]6)未在规定时间内完成训练任务的声音提示。
[0115]另外，在形状与大小匹配任务的训练过程中，受试者有任何不适，想终止都可以拍下红色应急按钮，会直接退出训练任务。
[0116]如图8和9所示，受试者在进行拼搭积木时，先拍下桌子左侧的绿色按钮，正前方会出现大屏开始倒计时。受试者需对照“示例区”的白色积木块(已拼搭完成的成功示例)的形状，用手抓取“待完成区”的三个积木块进行拼搭，拼至“示例区”的形状一致即算任务成功完成。
[0117]在拼搭过程中，设计了：
[0118](1)桌子左边的连续循环播放的小视频窗口，受试者可以学习如何使用自由手势抓取积木块。
[0119](2)倒计时系统：
[0120]1)拍下白色按钮开始倒计时；
[0121]2)倒计时结束(为0)时交互停止，计分停止。
[0122](3)距离检测+自动吸附：
[0123]1)距离检测：受试者手势交互抓取两个积木块使之相互靠近，在一定正确的距离(与目标积木块对比)内，会检测到进入这一正确距离并在计分板上累计分数。
[0124]2)自动吸附：在两个积木块进入这一正确距离后，它们两会自动吸附为和“示例区”积木块一致的形状，这大大提高了受试者的操作便捷性。
[0125](4)声音提示交互：
[0126]1)在受试者抓取/放下积木块时的声音提示；
[0127]2)倒计时的秒针声音提示；
[0128]3)受试者拍下/松开按钮的声音提示；
[0129]4)两个积木块间自动吸附的声音提示；
[0130]5)成功完成训练任务的声音提示；
[0131]6)未在规定时间内完成训练任务的声音提示。
[0132]在规定时间内达到和左边范例积木块一致后认定闯关成功，跳转至下一关：4×4规格(如图10)。另外，在拼搭积木拼图的过程中，受试者有任何不适，想终止都可以拍下红色应急按钮，会直接退出训练任务。
[0133]为了评测认知康复训练系统的有用性和可接受性，以及受试者对训练任务的体验感，设计了接受度问卷和任务体验问卷，分别包含11个接受度问题项以及7个问题的任务体验问题项，每份调查问卷还包含对受试者基本信息的收集(如表1和表2)。表1为本发明的受试者接受度调查问卷；表2为本发明受试者任务体验调查问卷。
[0134]表1：
[0135]表2：
[0136]在这两份问卷中，每个问题的评分从1到5，分别对应从完全不同意到强烈同意，1表示完全不，5表示非常是。如果得分≥4，则认为受试者对该问题持支持态度，而得分≤2，则认为受试者对该问题持否定态度。
[0137]如图11，是受试者数据收集与分析的流程。其中，受试者参与认知训练任务的顺序为：“任务一：手势动作训练”“任务二：颜色匹配”“任务三：形状与大小匹配”“任务四难度一：益智积木拼搭(3×3)”和“任务四难度二：益智积木拼搭(4×4)”。
[0138]通过对任务一到四收集的训练时间与任务得分数据进行分析，如图12，是部分受试者五大认知域的得分雷达图。
[0139]需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。
