[0001]基于扫描探针显微镜的触觉交互接口的实现方法
[0002]技术领域
[0003]本发明涉及纳米尺度下的感知、操作和加工技术，具体地说是一种基于扫描探针显微镜的触觉交互接口的实现方法。
[0004]背景技术
[0005]纳米科学技术是新兴的科研领域。纳米尺度下的操作与加工是纳米科技的重要组成部分。只有在可操作的前提下，才能研究纳米尺度下物质的各种物理、化学等自然特性，才能研制纳米器件，纳米传感器以及纳米计算机等先进的技术装备。因此，纳米操作是当前国际微纳米科技前沿研究的一个热点。但是现有的用于纳米技术研究的设备基本是基于SPM(扫描探针显微镜，为纳米观测系统的一种；如：扫描隧道显微镜STM或原子力显微镜AFM)机理的设备。现有的这类设备(如SPM)仅仅用于纳米尺度下样品形貌的观察，缺乏有效的实时力、位置传感器信息反馈和人机交互能力，因而在进行纳米操作的时候只能进行离线规划，不能进行人机交互方式的操作。由于纳米尺度下被观测操作对象的许多特性未知，许多物理现象无参考模型，因而有意义的纳米操作只能依靠人工介入。所以具有实时的力、位置反馈下的人机交互操作对纳米科技的研究与发展具有特别重要的意义。
[0006]国外一些科研机构有过在纳米观测系统上嵌入Haptic装置(是一种人机交互用多自由度机电装置)，以实现可基于人机交互的纳米操作方式的想法，但是其采用的Haptic装置的价格常常在2万美金以上，比如SENSABLE公司的Premium6DOF装置的价格为8万美金，瑞士ForceDimension公司的Delta3-DOF装置为8.5万美金，如此昂贵的价格大大阻碍了具有力觉感知纳米操作方法的广泛应用。
[0007]发明内容
[0008]为了实现纳米尺度的人机交互操作功能，本发明的目的在于提供一种成本低廉的，具有实时力、位置反馈功能的，可人机交互的基于扫描探针显微镜的触觉交互接口的实现方法。它是在纳米观测系统上嵌入游戏杆装置(Haptic装置的一钟，价格低廉，几十美金左右)，以实现可基于人机交互的纳米操作方式。
[0009]本发明技术方案如下：
[0010]以触觉装置游戏杆作交互接口，将人通过游戏杆发出的运动信息经操作计算机、通过以太网传送给控制计算机中SPM控制单元，由SPM控制单元控制SPM的探针运动，实现对纳米尺度下物品进行操作；来自SPM的各种信息作为反馈信号经控制计算机中SPM控制单元、通过以太网传送给存有控制程序的操作计算机，控制程序将来自SPM的各种信息转化为力信号放大后，通过游戏杆反馈给操作者，实现在纳米尺度下人们对样品表面形貌的触觉感知；其中：
[0011]所述控制程序流程为，首先初始化，然后四个线程同时开始工作，其中线程1为游戏杆力感输出模块，线程2为等待消息并且执行消息对应的响应模块，线程3为用于socket间的相互通信模块，线程4为屏幕显示界面的动态更新模块；其中线程2通过消息队列与游戏杆对探针的控制模块通讯。
[0012]本发明纳米尺度下触觉交互接口的技术原理：
[0013]SPM用于扫描成像时，根据SPM种类的不同，可以利用不同的信号来进行成像。例如：当为STM时，利用隧道电流或者闭环控制Z向的电压进行成像；当为AFM时，可以根据误差信号、激光光斑左右信号、闭环控制Z向的电压信号进行成像。本发明针对操作者需要感知的不同种类的信号，通过控制程序(见图5)切换，将不同种类的相互作用的信息经模型转换(将误差信号、激光光斑左右信号或闭环控制Z向的电压信号等转为力信号)后放大后，通过游戏杆反馈给操作者。
[0014]本发明具有如下优点：
[0015]1.感知信息丰富。采用本发明可利用各种信息作为反馈信号，丰富操作者感知纳米尺度下样品表面各种形貌信息的思想。
[0016]2.成本低。本发明采用游戏杆作为SPM的触觉反馈装置，游戏杆是市场上常见的一种机电装置，它价格低廉，常常只有几十美金。
[0017]3.软件开发方便。本发明由windows为其提供了强大的软件开发包——DirectX(硬件描述语言，用于开发基于windows的程序，实现软件对硬件的直接控制)，这样本发明可以很方便的为SPM开发出价格低廉的触觉接口程序。
[0018]4.应用广泛。由于本发明具有成本低、软件开发方便的特点，所以有利于推动人机交互式纳米操作系统的普及，推动纳米尺度下加工、制造、装配业的发展。
[0019]附图说明
[0020]图1为本发明系统原理图。
[0021]图2为本发明一个实施例中游戏杆的原理图。
[0022]图3为本发明接口探针位置视觉反馈的实现原理图。
[0023]图4为本发明一个实施例中反馈力F随着x的变化曲线(保护探针的策略)。
[0024]图5为本发明控制程序流程图。
[0025]图5-1为图5控制程序中线程1具体流程图。
[0026]图5-2为图5控制程序中线程2具体流程图。
[0027]图5-3为图5控制程序中线程3具体流程图。
[0028]图5-4为图5控制程序中线程4具体流程图。
[0029]图5-5为图5控制程序一个实施例界面图。
[0030]图6为图5控制程序中游戏杆控制探针运动模块具体流程图。
[0031]图6-1为图6的探针X，Y向运动控制模块具体流程图。
[0032]图6-2为图6的探针Z向运动控制模块具体流程图。
[0033]图7为图5-2的力反馈函数模块流程图。
[0034]具体实施方式
[0035]如图1所示，本发明以作为触觉装置的、低价位的游戏杆1(本实施例采用游戏杆装置)作交互接口，将人通过游戏杆1发出的运动信息(X，Y，Z位置控制信号)经操作计算机2、通过以太网传送给控制计算机3中SPM控制单元，由SPM控制单元控制SPM的探针运动，实现对纳米尺度下物品进行操作；来自SPM的各种信息作为反馈信号经控制计算机3中SPM控制单元、通过以太网传送给存有控制程序的操作计算机2，控制程序将来自SPM的各种信息转化为力信号，放大后，通过游戏杆1反馈给操作者，实现在纳米尺度下人们对样品表面形貌的触觉感知。
[0036]其所述控制程序具体流程见图5，首先初始化，在初始化阶段，系统完成工作为：1)变量赋初值：包括各个线程所用到的变量；2)游戏杆初始化：一是起始位置初始化；二是游戏杆种类设定，坐标关系设定；三是将Joystick的硬件产生的中断消息定义为高优先级中断；3)Socket端口初始化：源IP地址设定，目标IP地址设定，通讯协议设定，传输方式设定，本发明采用UDP协议及点到点的传输方式，保证操作的实时性；然后四个线程同时开始工作，其中线程1为游戏杆力感输出模块，线程2为等待消息并且执行消息对应的响应模块，线程3为用于socket间的相互通信模块，线程4为屏幕显示界面的动态更新模块；其中：
[0037]参见图5-1，线程1具体流程为：在来自硬件的中断(每10ms产生一次)的情况下，先判断是否有中断产生，有中断产生则根据线程2的感知信息种类消息取出用户需要感知的信息量，将该信号进行去噪滤波处理，然后至力反馈函数模块进行放大；再判断放大后的值是否超过最大值，若超过，将该值等于所允许最大值，然后通过游戏杆将X、Y向力输出，返回是否有中断产生的判断；若不超过最大值，则直接通过游戏杆将X、Y向二维力输出。
[0038]参见图5-2，线程2的具体工作流程为：接收消息，并将消息分发到对应的响应函数；当感知信息种类消息到来的时候，根据消息的种类确定需要提出的信息种类，并将该种类信息作为公用变量传递给线程1；当刻画操作消息到来时，执行相应的刻画操作函数；当操作纳米棒消息到来时，程序将执行相应的推动纳米棒操作函数；当操作纳米颗粒消息到来的时候，执行相应推动纳米颗粒操作函数；当收到网络发送数据消息时，如果操作者同意发送数据，则发送数据，如果不同意，则等待下一次网络发送数据消息的到来；从游戏杆控制探针运动模块得到游戏杆的位置坐标后，首先将其转换屏幕坐标，如果不是操作纳米棒，转至是否操作纳米颗粒的判断，是操作纳米棒时，根据纳米棒管的运动学模型计算其运动位置坐标；是操作纳米颗粒时，计算出纳米颗粒新的位置坐标，如果不是进行纳米颗粒，至是否进行纳米刻画判断，如果是进行纳米刻画，再判断纳米刻画进行标志位是否置1，如果没有置1，程序等待下一次游戏杆位置消息的到来，如果纳米刻画进行标志位置1，则将当前游戏杆的坐标存入链表。
[0039]参见图5-3，线程3具体流程为：首先判断线程3是否结束，若结束则终止该线程；否则，判断是否有数据从SPM控制单元传来，有数据传来时判断数据是否正确，在数据正确的情况下存入二进制文件中，返回重新判断线程3是否结束；在数据没传来、数据不正确情况下分别直接返回重新判断线程3是否结束。
[0040]参见图5-4，线程4具体流程为：首先初始化，即设置象素格式、投影方式、视点，再
[0041]判断线程4是否结束，若没结束则判断加载位图否，若加载位图则根据位图重画界面，至是否进行纳米刻画的判断；位图未加载则直接至是否进行纳米刻画的判断；进行纳米刻画将链表中存入的点画到显示界面，然后判断是否进行推动纳米颗粒的操作；不进行刻画，直接判断是否进行推动纳米颗粒的操作；进行推动纳米颗粒的操作时依据计算出的原子的新位置来更新界面，再判断是否推动纳米棒；不进行推动纳米颗粒的操作，直接判断是否推动纳米棒；是推动纳米棒操作则要依据计算出的棒体的新位置来更新图片，将当前的图形界面存储到内存中，以便下次更新内存时用；不是推动纳米棒操作，直接将当前的图形界面存储到内存中；再判断是否保存当前图形，保存，则将内存中的数据以BMP位图的格式存储到硬盘，将线程1计算出Z方向力的大小，根据线形模型转换为柱状条的高低，并显示在界面上；若不是，直接将线程1计算出Z方向力的大小，根据线形模型转换为柱状条的高低，并显示在界面上，然后返回线程是否结束的判断。
[0042]如图2所述，游戏杆由操作柄4和若干按钮组成，操作柄4在空间内有三个自由度，其中两个是平面自由度，另外一个是旋转自由度。操作柄具有X、Y方向两个平面自由度，操作柄4自身还有一个自旋自由度。在X，Y方向上可以输出力，实现力反馈。在实际运用过程中，X，Y方向对自旋自由度耦合过大，本发明通过线程2经操作柄的X，Y方向及Z方向的两个按扭来控制探针的运动，操作柄4通过线程1同时在X，Y方向给出反馈力。
[0043]当需要三维力信息时，在控制程序中线程1解决了X、Y向二维力输出的同时，线程4根据Z方向力的大小控制视觉显示界面上的表示Z方向力大小的柱条的高低(柱条越高，Z方向的力越大)。至此，实现以视觉和触觉相结合的方式，解决了游戏杆只有二维力信息输出的不足。第三维的力感知采用视觉效果参见图5-5，即：在需要三维力信息时，让操作者得到第三维力信息。
[0044]SPM可以不同种类，可以是STM，AFM，摩擦力显微镜(FrictionForceMicroscope，FFM)、激光力显微镜(LaserForceMicroscope，LFM)、静电力显微镜(ElectrostaticForceMicroscope，EFM)等一系列扫描力显微镜(ScanningForceMicroscope，SFM)，从中取出各自不同的信号，则代表不同的表面信息。
[0045]通过控制程序用硬件描述语言DirecX实现对游戏杆的直接控制(参见图5)，包括游戏杆运动命令的输入(线程1中运动命令如：消息队列中X向运动方向、Y向运动方向、Z向运动方向)，以及如何将力反馈信息通过游戏杆输出(线程2)。
[0046]参见图6，游戏杆对探针的控制模块具体流程为：在整个控制程序开始阶段，进行硬件的初始化，包括：物理设备指定，数据格式设定，坐标关系设定，然后查看定时器时间是否溢出；若否，则继续在此进行查询，若定时器溢出，则将定时器归零，并通过DirectX函数获取游戏杆当前的状态信息，具体包括X，Y，Z的运动方向以及速度档的大小；然后将当前的游戏杆状态和各时刻游戏杆的状态作比较，若没有变化，则返回定时器是否溢出处，等待下一次定时器溢出，若有变化，则根据新的游戏杆状态值至探针X，Y向运动控制模块及探针Z向运动控制模块，来控制探针的运动，确定游戏杆的位置坐标，然后返回定时器是否溢出处，等待定时器的下一次溢出。
[0047]采用本发明，操作者利用该游戏杆，可以实现交互式探针动作控制；即操作员通过对操作手柄的操作(推、拉、刻划、敲击等)动作，经游戏杆装置的机电信号转换，在线传递到SPM控制探针产生相应的三维运动，在操作过程中，探针在的动态位置会显示在人其交互界面上，参见图3，具体原理是：游戏杆的运动，控制探针的运动，探针的运动位置动态的显示在人机交互界面上，这样操作者就可以获得一个动态更新的探针位置，与此同时，操作过程中的作用力通过游戏杆以及界面上表示Z方向作用力大小的柱状条显示给操作者。
[0048]本发明解决了游戏杆三维空间运动Z向对X，Y方向强耦合的问题，游戏杆对探针的控制模块中探针X，Y向运动控制模块具体流程如下(参见图6-1)：根据获得的游戏杆状态信息计算出游戏杆在X，Y方向上的运动角α，再根据游戏杆状态信息，获得操作者设定的X，Y方向运动的速度档。根据第n时刻的位置，计算出n+1时刻探针的位置。
[0049]原理：二维游戏杆的运动仅仅提供运动的方向角α，人为设定一个速度V，则游戏杆在n+1时刻的水平位置坐标为：X(n+1)＝X(n)+V×sinα；
[0050]Y(n+1)＝Y(n)+V×cosα；
[0051]其中：X(n+1)为n+1时刻探针的X向运动位置，X(n)为n时刻探针的X向运动位置；Y(n+1)为n+1时刻探针的Y向运动位置，Y(n)为n时刻探针的Y向运动位置；此时游戏杆位置的最小变化率为V×sinα，通过改变V的大小，可以使游戏杆的X向、Y向达到任意高的分辨率，解决了游戏杆作为纳米操作执行器时运动空间分辨率不足的问题。本实施例具体表现为：
[0052]以游戏杆为方向指示器，利用累加的思想，使游戏杆空间运动达到任意的分辨率。当游戏杆的运动空间为-50～50之间时，其最小变化步长为1，如果为-100～100，则最小变化步长为2，以此类推。根据纳米操作的需求，在最小变化步长为1的情况下，压电陶瓷管需要有-256～256的工作空间，那么游戏杆最小的运动将导致压电陶瓷管的变化为1×512/100，这显然不能满足纳米操作的需要，为了达到-256～256的分辨率，以及当纳米操作需要更为广泛的工作空间时，游戏杆可以满足纳米操作的需要。
[0053]由于游戏杆旋转自由度与两个平面自由度耦合强烈，如果将该旋转自由度的输入作为压电陶瓷管空间一维运动的控制，那么由于耦合强烈，单方向的运动控制将不能实现，本发明将Z向运动的自由度利用游戏杆上现有的两个按键来表示，由操作员操作的探针X，Y向运动控制模块控制(参见图6-2)，其流程为；首先设Kv为Z向运动的最小变化步长，其大小可以连续调节；Vz(n+1)为n+1时刻探针的运动位置，Vz(n)为n时刻探针的运动位置；判断按键1是否按下，是按下状态，表示向Z正向运动，Z向n+1时刻探针的运动位置为Z向运动的最小变化步长加上n时刻探针的运动位置，即：Vz(n+1)＝Vz(n)+Kv；判断按键2是否按下；按键1没按下，则直接判断按键2是否按下；若按键2按下，表示向Z负向运动，Z向n+1时刻探针的运动位置为Z向运动的最小变化步长减去n时刻探针的运动位置，即：Vz(n+1)＝Vz(n)-Kv；返回游戏杆对探针的控制模块中定时器是否溢出处，等待定时器的下一次溢出；若按键2没按下，直接返回游戏杆对探针的控制模块中定时器是否溢出处。
[0054]由于Z向运动控制采取累加的思想，本发明消除了三个自由度间的强耦合现象。
[0055]还有，本发明建立了距离和反馈力大小的函数关系，当探针与样品的距离改变时，游戏杆输出的力也会发生相应的改变，操作者通过力可以知道探针和样品的距离，可以起到保护探针的目的。
[0056]本实施例设探针距离样品表面的初始距离为dits，操作过程中探针和样品的实际距离dpts，其中下标i代表初始值(initial)，下标p代表实际值(practice)，下标t代表针尖(tip)，下标d代表距离(distance)，下标s代表样品(sample)；令x为探针与样品之间的实际距离比上探针与样品之间的初始距离，即：x＝dpts/dits，用F代表要输出的力，游戏杆最大输出力的值为Fmax；力反馈函数模块流程如下(参见图7)：当探针与样品之间的实际距离与探针与样品之间的初始距离之比x大于输出作用力为零的门限p时(即：x≥p)，游戏杆输出力为零；否则，x值小于p且大于零时，设置力的大小为x乘以一次多项式系数m，再加上常数b，否则，判断x值是否小于等于零且大于等于一次函数与二次函数交变的门限q，如x值是小于等于零且大于等于q，设置力的大小为ax2+bx+c，否则设置力的大小为最大输出力Fmax，另外这里设定当x值为0时，力的输出值为最大输出值Fmax除以K(K为任意正整数)。
[0057]在本实施例中，x≥p时，游戏杆输出力为零；当探针逐渐逼近样品表面，而与样品未接触时，即：0＜x＜p，游戏杆输出的力逐渐增大，但是增大的速率为线性；当探针与样品接触后，反馈力要随着探针深入样品的距离急剧增大，即q＜x≤0，本发明用二次函数增大反馈力的值，直到游戏杆所能输出力的最大值，当x＜q时，游戏杆力的输出保持最大值。可以得到输出力F和x的关系如下：
[0058]令
[0059]其中a、b、c与m、n分别为一次多项式和二次多项式的系数，为了保证力感的平滑，函数分段处的值应该相等，二次函数和一次函数在分界处的一次导数应该相等，那么可以得到a、b、c、m、n有如下关系：
[0060]n＝Fmax/K；m＝-n；c＝n；b＝m；a＝(Fmax-mq-n)/q2；
[0061]得到反馈力F随着x的变化曲线如图4所示，通过本发明，可以起到在操作过程中保护探针的目的。
[0062]本实施例可以令：K＝2，p＝1，q＝-0.1，Fmax＝1牛顿，求得：n＝0.5；m＝-0.5；c＝0.5；b＝-0.5；a＝45；其物理意义是当探针的实际距离大于初始距离时，游戏杆输出的力值为0，当探针的位置逐渐逼近样品表面直到接触到样品表面时，游戏杆输出的力成线形增加，达到最大值Fmax的一半，当探针压到样品表面，继续向样品表面前进时，力的增加成二次曲线，很快增加到最大输出值Fmax，通过这样的设置，探针越是逼近样品，游戏杆输出的力越大，移动越困难，这样就减小了探针损坏的机率，起到保护探针的目的。
[0063]本发明具有如下技术特点：
[0064]1.本发明所述方法可以将几种无法感知的微观作用信号转换为宏观力，并通过游戏杆输出，使操作员可以实时感受到纳米环境中不同种类的相互作用，丰富了操作人员对于纳米环境的感知信息。
[0065]2.采用本发明使反馈力的大小输出策略可选，除上述可以将误差信号、激光光斑左右信号、闭环控制信号等等转换为力信号作为反馈输出外，还可以将探针与样品间的距离作为变量，通过游戏杆反馈给操作者。这样探针与样品的距离越近，则游戏杆输出的力就越大，移动探针就越困难，可以起到保护探针的目的。
[0066]3.在作用力反馈和扫描图形的辅助下，操作者可以根据科研与加工作业需要进行人机交互式纳米操作，从而可以实现具有传感器信息反馈与可视化图形辅助的纳米作业。
[0067]4.本发明另外一个特点就是成本低廉，实现简单，具有通用性，可以施加在其它SPM家族的显微镜上。
[0068]5.本发明将传统的游戏杆用到纳米操作系统中去，成为双向感知的操作杆，通过这个技术，可以实现具有力反馈的交互式纳米操作。
[0069]6.本发明率先提出了从AFM采集的操作/扫描过程中的光电检测误差信号，光斑左右信号，闭环控制的电压信号，以及STM的电流信号、闭环电压信号等放大合适的倍数后直接通过游戏杆输出，让操作者感受表面形貌不同种类的信息。
[0070]7.对于其它SPM家族的探针型显微镜，都可以取出其用于成像的信号，不同种类的成像信号侧重代表不同的表面形貌性质。因此，本发明接口方法适用于任何商用SPM家族的显微镜，而不仅仅局限于AFM和STM。
[0071]8.本发明游戏杆在两个方向上具有力输出，解决如果需要三维力信息，如何让操作者得到第三维力信息的问题。
[0072]9.本发明将触觉和视觉相结合，可以实现三维力信息的获取，借以弥补游戏杆只在两个方向上具有力反馈输出的不足。
[0073]10.用游戏杆的两个按键解决了不能单独控制单方向运动问题。
