专

一种高流强射束检测装置

177201807349S

发明人

张志永, 刘聪, 刘建北, 邵明, 周意

受让人

UNIV CHINA SCI & TECHNOLOGY (UCST-C)

申请人

谷歌有限责任公司

申请号

00305

申请日

2021-03-03

公开(公告)号

177201807349S

公开(公告)日

2017-04-24

IPC分类号

C02F001/14C02F103/08

CPC分类号

优先权号

129594

优先权日

1997-05-19

摘要

The module has an electronic circuit substrate (22) stored and changed in a package. One end of the electronic circuit substrate is fixed. Several lead terminals (8a-8d) with curved legs (12) are formed on the electronic circuit substrate.

A metallic package base (30) which has the same die thickness as the height of each lead terminal, is detachably in contact with the lead terminal and bottom portion of the electronic circuit substrate. A package lid (34) covers and inserts the electronic circuit substrate.

ADVANTAGE -Ensures stability and prevents rattle due to parallel arrangement of electronic circuit and package base. Prevents poor electric contact, electrical property degradation caused by application of unnecessary mechanical stress and heat dissipation problems due to module stability. Prevents electric short-circuit due to wiring connection of electron portion of lead terminal legs and electronic circuit substrate. Provides reliable electronic component module.

权利要求

1. A registering device characterized by comprising: extracting means for extracting parameters representing shapes of partial lines when each of the partial lines is represented by a polynomial of an n-th order curve obtained by dividing a blood vessel line appearing in an image by setting end points and branch points of the blood vessel line as reference points, wherein the extracting means sets a number of types of parameters to be extracted, as a number of intersections of one of the partial lines with a straight line connecting points of opposite ends of the one of the partial lines increases; and generating means for generating data including the parameters of the partial lines and positions of points of opposite ends of the partial lines.

2. The registering device according to claim 1 , characterized in that the extracting means extracts, when each of the partial lines is represented by polynomial of an n-th order curve, coefficients of terms and an angle defined by a straight line connecting opposite ends of the partial line relative to a reference direction, and a length of the partial line, or the angle and the length.

3. The registering device according to claim 1 characterized in that the extracting means extracts coefficients of terms when each of the partial lines is represented by polynomial of an n-th order curve, and sets order of the n-th order curve higher, as the number of intersections of a straight line connecting points of opposite ends of each of the partial lines increases.

4. The registering device according to claim 3 characterized in that the extracting means sets the order of the n-th order curve higher and sets a larger number of types of parameters to be extracted except for the coefficients, as the number of intersections of the straight line connecting the opposite ends of each of the partial lines increases.

5. A collating device characterized by comprising: storing means for storing data including parameters representing shapes of partial lines when each of the partial lines is represented by a polynomial of an n-th order curve obtained by dividing a blood vessel line appearing in an image by setting end points and branch points of the blood vessel lines as reference points and positions of points of the opposites ends of the partial lines, wherein a number of types of parameters is a number of intersections of one of the partial lines with a straight line connecting points of opposite ends of the one of the partial lines increases; and collating means for collating the parameters and the points of the opposite ends of the partial lines with collation targets as elements for a discrimination of a registrant.

6. The collating device according to claim 5 characterized in that the collating means collates the points of the opposite ends of the partial lines with the points serving as the collation targets, and collates the parameters of the partial lines with parameters serving as collation targets when displacement amounts of the points are equal to or larger than an allowable limited amount.

7. The collating device according to claim 5 characterized in that the collating means stops collation with the collation objects when an identifier representing that the parameters have been extracted through a predetermined extraction process is not included in the data.

8. The collating device according to claim 7 characterized in that as the number of intersections of the straight line connecting the opposite ends of the partial lines increases, a larger number of types of parameters are set to be extracted in the extraction process.

9. A non-transitory computer readable medium storing instructions for causing a computer to perform functions, comprising: extracting parameters representing shapes of partial lines when each of the partial lines is represented by a polynomial of an n-th order curve obtained by dividing a blood vessel line appearing in an image by setting end points and branch points of the blood vessel line as reference points, wherein a number of types of parameters to be extracted is a number of intersections of one of the partial lines with a straight line connecting points of opposite ends of the one of the partial lines increases; and generating data including the parameters of the partial lines and positions of points of opposite ends of the partial lines.

10. A data configuration of identification data generated as an object to be registered characterized in that the identification data has a configuration including parameters representing shapes of partial lines obtained by dividing a blood vessel line appearing in an image by setting end points and branch points of the blood vessel line as reference points and positions of points of opposite ends of the partial lines, wherein a number of types of parameters is a number of intersections of one of the partial lines with a straight line connecting points of opposite ends of the one of the partial lines and the parameters and the points of the opposite ends of the partial lines are used as elements for discrimination of a registrant when processing for collation with objects to be collated is performed.

11. The data configuration according to claim 10 characterized in that the parameters representing the shapes of partial lines obtained by dividing a blood vessel line appearing in an image by setting end points and branch points of the blood vessel line as reference points and information used to refer to the positions of the points of the opposite ends of the partial lines are stored for individual partial lines obtained by dividing a blood vessel line appearing in an image by setting end points and branch points of the blood vessel line as reference points are stored in a single file, and the positions of the end points and the branch points are stored in a file serving as the object to be referred to.

12. The data configuration according to claim 10 characterized in that when the points of the opposite ends of the partial lines are collated with points serving as collation targets and it is determined that displacement amounts of the points are equal to or larger than an allowable limited amount, the identification data is used for processing for collating the parameters of the partial lines with parameters serving as collation targets.

13. The data configuration according to claim 10 , wherein the identification data has a configuration including the parameters, the points of the opposite ends of the partial lines, and an identifier representing that the parameters have been extracted through a predetermined extraction process, and in the extraction process, for each of the partial line, the larger the number of intersections with a straight line connecting the opposite points of the partial line is, the larger the number of extracted parameters are set.

说明书

[0001][0001] 본 발명은 관절 동작 인식 장치 및 방법에 관한 것으로, 구체적으로는 실시간 영상정보를 받아 관절의 유연성 운동효과를 파악하는 시각적 피드백 방법을 지닌 관절 동작 인식 장치 및 방법에 관한 것이다.

[0002][0002] 일반적으로 동작 인식 기술은 사용자의 신체 움직임을 이용하여 컴퓨터와 상호 작용하는 기술이다. 사람의 움직임을 영상 입력 장치에 대한 인터페이싱 입력으로 사용할 수 있다.

[0003][0003] 종래의 관절 운동은 운동 되거나 스트레칭 되는 부위에 대한 정확도 및 운동 효과에 대해서 시각적으로 확인할 수 없는 불편함을 내제하고 있었다.

[0004][0004] 따라서, 이에 최근에는 카메라를 통하여 획득한 영상 정보로부터 사람의 움직임을 추적하고 인식하는 방식을 활용하여 기준이 되는 움직임과 비교하는 방식이 개발되고 있다. 최근 인공지능에 대한 관심이 높아지면서 인공지능 프레임워크가 발전하는 추세에 있다. 인공지능 프레임워크 모델 중에서는 영상 정보 내의 사람을 특정하여 사람의 관절 좌표를 추출하는 연구 및 개발이 요구되고 있다.

[0005][0005] 본 발명의 배경기술은 대한민국 등록특허 제10-1711736 호에 개시되어 있다.

[0006][0006] 본 발명은 사람이 찍힌 일련의 영상정보에서 매 순간의 관절 좌표를 통해 사용자의 움직임과 실시된 운동 과정에서 각 관절의 운동 효과를 측정하는 관절 동작 인식 장치 및 방법을 제공한다.

[0007][0007] 본 발명의 일 측면에 따르면, 관절 동작 인식 장치를 제공한다.

[0008][0008] 본 발명의 일 실시 예에 따른 관절 동작 인식 장치는 입력된 영상으로부터 사용자 관절 정보를 추출하는 관절 정보 추출부, 추출된 사용자 관절 정보에 기초하여 관절의 위치 변화를 산출하는 위치 변화 산출부, 추출된 사용자 관절 정보에 기초하여 관절의 각도 변화를 산출하는 각도 변화 측정부 및 산출한 관절의 위치 변화와 각도 변화 중 적어도 하나를 이용하여 운동 효과를 산출하는 운동 효과 산출부를 포함할 수 있다.

[0009][0009] 본 발명의 일 실시 예에 따르면, 카메라 등의 영상 입력 장치로 사람들을 관찰하여 사용자의 동적 스트레칭 운동 시, 어느 관절 부분이 운동 되고 있는지 시각적으로 알림을 발생할 수 있다.

[0010][0010] 또한, 본 발명의 일 실시 예에 따르면, 시각적인 알림으로 피드백 하여 운동이 부족한 관절 또는 스트레칭이 부족한 관절 부분을 즉시 알려줄 수 있다.

[0011][0011] 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 해석되어야 한다.

[0012][0012] 도 1은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치를 나타낸 전체 시스템. 도 2는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 움직임 및 운동 효과를 측정하는 움직임 및 운동 효과 측정부를 설명하기 위한 도면. 도 3은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 가중치 산출부를 설명하기 위한 도면. 도 4는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 오차 범위 산출부를 설명하기 위한 도면. 도 5는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 위치 변화 측정부를 설명하기 위한 도면. 도 6은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 각도 변화 측정부를 설명하기 위한 도면. 도 7은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 동작 과정을 나타낸 순서도. 도 8은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 가중치 산출부의 동작 과정을 나타낸 순서도. 도 9는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 오차 범위 산출부의 동작 과정을 나타낸 순서도. 도 10은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 움직임 판단부의 동작 과정을 나타낸 순서도. 도 11은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 위치 변화 측정부의 동작 과정을 나타낸 순서도. 도 12는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 각도 변화 측정부의 동작 과정을 나타낸 순서도.

[0013][0013] 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

[0014][0014] 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이를 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

[0015][0015] 이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

[0016][0017] 도 1은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치를 나타낸 전제 시스템 도면이다.

[0017][0018] 도 1을 참조하면, 본 발명의 일 실시 예에 따른 관절 동작 인식 장치는 카메라(100), 움직임 및 운동 효과 측정부(200) 및 디스플레이 출력부(300)를 포함한다. 관절 동작 인식 장치는 예를 들면, 인공지능 모델 중 Pose Detection 모델을 기반으로 하나, 이에 한정하는 것은 아니다.

[0018][0019] 카메라(100)는 사용자의 모습과 움직임을 촬상 이미지로 입력한다. 카메라(100)는 예를 들면, 원형 또는 직사각형 형태일 수 있으나, 이에 한정하는 것은 아니다. 또한, 카메라(100)는 적어도 하나일 수 있다.

[0019][0020] 움직임 및 운동 효과 측정부(200)는 카메라(100)를 통해 입력된 사용자의 모습과 움직임의 연산을 담당한다. 움직임 및 운동 효과 측정부(200)는 기반 정보 입력부(210), 가중치 산출부(220), 오차 범위 산출부(230), 관절 정보 추출부(240), 움직임 판단부(250), 위치 변화 측정부(260), 각도 변화 측정부(270) 및 운동 효과 산출부(280)를 포함할 수 있다. 움직임 및 운동 효과 측정부(200)는 이하 도 2를 참조하여 더욱 상세히 설명한다.

[0020][0021] 디스플레이 출력부(300)는 움직임 및 운동 효과 측정부(200)로부터 측정된 움직임 및 운동 효과를 출력하는 기능을 제공한다. 디스플레이 출력부(300)는 스트레칭 정도를 나타낸 측정된 점수가 사용자에게 시각적인 피드백으로 출력할 수 있다. 디스플레이 출력부(300)는 예를 들어, 당신의 움직임 및 운동 효과는 3단계(높음) 입니다. 의 문장으로 출력될 수 있으나, 이에 한정하는 것은 아니다.

[0021][0023] 도 2는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 움직임 및 운동 효과를 측정하는 움직임 및 운동 효과 측정부(200)를 설명하기 위한 도면이다.

[0022][0024] 도 2를 참조하면, 움직임 및 운동 효과 측정부(200)는 기반 정보 입력부(210), 가중치 산출부(220), 오차 범위 산출부(230), 관절 정보 추출부(240), 움직임 판단부(250), 위치 변화 측정부(260), 각도 변화 측정부(270) 및 운동 효과 산출부(280)를 포함할 수 있다.

[0023][0025] 구체적으로, 기반 정보 입력부(210)는 사용자 관절 정보에 대응하는 사용자의 연령 및 신체 정보 중 적어도 하나를 포함하는 사용자 기반 정보를 입력한다. 기반 정보 입력부(210)는 관절 동작 인식 장치의 초기에 입력 받는 정보를 포함할 수 있다. 기반 정보 입력부(210)는 피사체와 카메라 사이의 거리, 움직임을 측정한 사용자의 연령 또는 신장 및 결격 사유를 입력할 수 있다. 기반 정보 입력부(210)는 다수의 기반 정보를 입력할 수 있고, 이는 각종 계수를 설정하는 기반이 될 수 있다. 기반 정보 입력부(210)는 예를 들면, 거리가 가변적인 상황으로 입력을 받지 않는 상황에서는 사용자와 카메라 사이의 거리를 신장으로부터 매 프레임마다 거리를 측정할 수 있다.

[0024][0026] 가중치 산출부(220)는 사용자 기반 정보에 기초하여 사용자의 각 관절에 대한 가중치 값을 설정한다. 가중치 산출부(220)는 각 관절 사이에 존재하는 움직일 때 발생하는 가중치를 설정하고 이를 관절별 가중치로 산출할 수 있다. 가중치 산출부(220)는 관절 좌표의 변화가 예를 들어, 0°- 30°인 경우 가중치는 5로 설정될 수 있고 30°- 60°인 경우, 가중치는 6으로 설정될 수 있다. 가중치 산출부(220)는 관절 좌표 각도의 변화가 30°씩 증가하여 360°까지 설정할 수 있고 가중치는 1씩 증가하여 17까지 설정할 수 있으나, 이 수치에 한정하는 것은 아니다.

[0025][0027] 오차 범위 산출부(230)는 사용자 기반 정보 및 사용자의 각 관절에 대한 가중치 값을 이용하고, 초기 관찰 과정을 거쳐 사용자의 움직임에 대한 오차 범위를 설정한다. 오차 범위 산출부(230)는 관절 좌표를 파악할 때 존재하는 오차에 대해서 측정할 수 있다. 오차 범위 산출부(230)는 오차의 정도를 파악하기 위해 정지 상태의 사용자를 관찰하여 오차 정도를 측정하게 하는 과정을 포함한다. 오차 범위 산출부(230)는 의도적인 움직임과 오차 또는 무의식적인 움직임들의 구분할 수 있다. 오차 범위 산출부(230)는 오차 범위를 벗어나는 움직임과 움직임의 방향성으로 파악할 수 있다.

[0026][0028] 관절 정보 추출부(240)는 입력된 영상으로부터 사용자 관절 정보를 추출한다. 관절 정보 추출부(240)는 기 입력된 영상정보를 인공지능 모델에 기초하여 매 순간의 관절 좌표 목록을 판별할 수 있다.

[0027][0029] 움직임 판단부(250)는 미리 설정된 시간마다 추출된 사용자 관절 정보를 이용하여 움직임 여부를 판단한다. 움직임 판단부(250)는 관절 정보 추출부(240)로부터 얻은 관절 좌표를 이전 프레임의 관절좌표와 차이를 비교하여 각 관절의 움직임 여부를 파악할 수 있다.

[0028][0030] 위치 변화 측정부(260)는 추출된 사용자 관절 정보에 기초하여 관절의 위치 변화를 산출한다. 위치 변화 측정부(260)는 이전 순간의 관절 좌표와 현재 순간의 관절 좌표의 위치 변화를 측정한다. 위치 변화 측정부(260)는 손목 관절과 팔꿈치 관절 위치, 팔꿈치 관절과 어깨 관절 위치, 무릎 관절과 발목 관절 위치 및 무릎 관절과 고관절 관절 위치로 구성될 수 있다. 또한, 위치 변화 측정부(260)는 미리 정의한 4개 기준 길이의 상위, 하위 관계에 기초하여 관절의 좌표 변화에 따라 관절의 움직임 정도를 파악할 수 있다.

[0029][0031] 각도 변화 측정부(270)는 추출된 사용자 관절 정보에 기초하여 관절의 각도 변화를 산출한다. 각도 변화 측정부(270)는 시간에 따라 미리 설정된 제1 관절, 제2 관절 및 제3 관절을 이은 선분이 이루는 각도의 변화량에 기초하여 움직임 정도를 파악할 수 있다. 예를 들어, 각도 변화 측정부(270)는 각도 자체의 측정을 통해 세 점의 좌표로 이루어진 삼각형의 arctan 방법을 이용할 수 있다. 각도 변화 측정부(270)는 손목 관절, 팔꿈치 관절과 어깨 관절을 이루는 팔꿈치 관절 각도, 팔꿈치 관절, 어깨 관절과 고관절 관절을 이루는 어깨 관절 각도, 고관절 관절, 무릎 관절과 발목 관절을 이루는 무릎 관절 각도로 추출할 수 있다. 또한, 각도 변화 측정부(270)는 어깨 관절, 고관절 관절과 무릎 관절을 이루는 고관절 각도 1 및 무릎 관절, 고관절 관절과 반대쪽 고관절 관절로 이루는 고관절 각도 2를 포함하여 5가지 각도에 기초하여 측정할 수 있다.

[0030][0032] 운동 효과 산출부(280)는 산출한 관절의 위치 변화와 각도 변화 중 적어도 하나를 이용하여 운동 효과를 산출한다. 운동 효과 산출부(280)는 위치 변화 측정부(260)에서 추출된 위치 변화량과 가중치를 곱셈하여 관절 위치 스코어를 환산할 수 있다. 또한, 운동 효과 산출부(280)는 각도 변화 측정부(270)에서 추출된 각도 변화량과 가중치를 곱셈하여 꼭짓점 관절 각도 스코어를 환산하는 방식을 사용할 수 있다. 운동 효과 산출부(280)는 스코어 값을 환산하는 방법 중 적어도 하나를 포함하여 산출된 스코어 값에 기초하여 시각적인 효과로 나타낼 수 있다.

[0031][0034] 도 3은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 가중치 산출부(220)를 설명하기 위한 도면이다.

[0032][0035] 도 3에 도시된 바와 같이, 가중치 산출부(220)는 동작 실시부(221), 가동 범위 관찰부(223), 각도 관찰부(225) 및 유사도 측정부(227)를 포함한다. 동작 실시부(221)는 사용자가 관절 동작 인식 장치에 미리 지정된 N가지의 동작을 실시하는 과정을 실시한다. 가동 범위 관찰부(223)는 미리 지정된 N가지의 각 동작에서 어깨, 고관절, 팔꿈치 및 무릎의 가동 범위를 관찰할 수 있다. 각도 관찰부(225)는 미리 지정된 N가지의 각 동작에서 어깨, 고관절, 팔꿈치 및 무릎의 최대 각도를 관찰할 수 있다. 유사도 측정부(227)는 기 실시된 N가지 동작과 비교하여 유사도를 측정할 수 있다. 가중치 산출부(220)는 이하 도 8를 참조하여 더욱 상세히 설명한다.

[0033][0037] 도 4는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 오차 범위 산출부(230)를 설명하기 위한 도면이다.

[0034][0038] 도 4에 도시된 바와 같이, 오차 범위 산출부(230)는 설정부(231), 측정 모듈 실행부(233), 측정 알림부(235), 신체 정보 측정부(237) 및 오차 범위 연산부(239)로 구성된다. 설정부(231)는 초기 관찰 과정을 거쳐 오차 범위를 설정할 수 있다. 측정 모듈 실행부(233)는 사용자 정보를 입력하기 위해 입력 모듈 측정 모듈이 실행될 수 있다. 측정 알림부(235)는 사용자에게 측정 시작을 알릴 수 있다. 신체 정보 측정부(237)는 사용자에게 T-pose, 부동 자세 및 신체 정보를 측정할 수 있다. 오차 범위 연산부(239)는 특정 시간동안 정지 상태인 사용자 관절 목록의 좌표들이 수집되고, 수집된 좌표로부터 각각의 관절이 벗어난 정도를 통계낼 수 있다. 또한, 오차 범위 연산부(239)는 통계낸 관절 좌표들의 평균 좌표와 분산을 계산할 수 있다. 오차 범위 연산부(239)는 계산된 평균 좌표와 분산 외에도 표준 편차와 편차 값을 연산하여 오차 범위를 계산할 수 있다. 오차 범위 산출부(230)는 산출된 오차 범위에 의해 관절 좌표의 변화가 오차 범위 이상에 있을 경우, 정상적인 오차로 판단할 수 있다. 오차 범위 산출부(230)는 이하 도 9를 참조하여 더욱 상세히 설명한다.

[0035][0040] 도 5는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 위치 변화 측정부(240)를 설명하기 위한 도면이다.

[0036][0041] 도 5에 도시된 바와 같이, 위치 변화 측정부(260)는 위치 비교값 산출부(261), 위치 관절 좌표 설정부(263) 및 위치 스코어 연산부(265)로 구성된다. 위치 비교값 산출부(261)는 8개 관절 마디 길이의 현재값과 기존에 측정된 기존값과의 위치 비교값을 산출할 수 있다. 위치 관절 좌표 설정부(263)는 직전과 현재 프레임의 위치 관절 좌표를 각각 입력할 수 있다. 위치 스코어 연산부(265)는 손목 관절과 팔꿈치 관절 위치, 팔꿈치 관절과 어깨 관절 위치, 무릎 관절과 발목 관절 위치 및 무릎 관절과 고관절 관절 위치로 구성된 상위, 하위 관절의 좌표값의 변화량을 계산할 수 있다. 위치 스코어 연산부(265)는 가중치와 상대 좌표로 설정된 하위 관절 좌표와 상위 관절 좌표의 거리 좌표 변화량을 곱셈하여 연산될 수 있다. 위치 변화 측정부(260)은 이하 도 11를 참조하여 더욱 상세히 설명한다.

[0037][0043] 도 6은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 각도 변화 측정부(270)를 설명하기 위한 도면이다.

[0038][0044] 도 6에 도시된 바와 같이, 각도 변화 측정부(270)는 각도 비교값 산출부(271), 각도 관절 좌표 설정부(273) 및 각도 스코어 연산부(275)로 구성된다. 각도 비교값 산출부(271)는 8개 관절 마디 길이의 현재값과 기존에 측정된 기존값과의 각도 비교값을 산출할 수 있다. 각도 관절 좌표 설정부(273)은 직전과 현재 프레임의 각도 관절 좌표를 각각 입력할 수 있다. 각도 스코어 연산부(275)는 손목 관절, 팔꿈치 관절과 어깨 관절을 이루는 팔꿈치 관절 각도, 팔꿈치 관절, 어깨 관절과 고관절 관절을 이루는 어깨 관절 각도, 고관절 관절, 무릎 관절과 발목 관절을 이루는 무릎 관절 각도의 값으로 비교할 수 있다. 각도 스코어 연산부(275)는 기 설정된 제1관절, 제2관절 및 제3관절으로 좌표를 설정하여 내각과 꼭짓점 각도를 계산할 수 있다. 또한, 각도 스코어 연산부(275)는 꼭짓점 관절에 따라 평각 초과 여부를 확인할 수 있고, 측정된 각도 구간에 따라 가중치가 변화할 수 있다. 각도 스코어 연산부(275)는 가중치와 각도 변화량을 곱셈하여 연산될 수 있다. 각도 변화 측정부(270)은 이하 도 12를 참조하여 더욱 상세히 설명한다.

[0039][0046] 도 7은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 동작 과정을 나타낸 순서도이다.

[0040][0047] 도 7에 도시된 바와 같이, 단계 S710에서 관절 동작 인식 장치는 초기 기반 정보를 입력하고 파악한 기반 정보에 의해 각종 기반계수를 설정하는 단계가 우선시된다.

[0041][0048] 단계 S720에서 관절 동작 인식 장치는 시험 행동 측정 단계에 의해 초기 관찰과 오차 범위 및 개인별 관절 가중치 값이 설정된다.

[0042][0049] 단계 S730에서 관절 동작 인식 장치는 입력된 영상의 매 순간의 관절 좌표 정보를 인공지능 모델에 의해 추출한다.

[0043][0050] 단계 S740에서 관절 동작 인식 장치는 미리 설정된 시간마다 추출된 관절 정보를 비교하고, 움직임 여부를 판단한다.

[0044][0051] 단계 S750에서 관절 동작 인식 장치는 이전 순간의 관절 좌표와 현재 순간의 관절 좌표의 위치 변화를 측정한다.

[0045][0052] 단계 S760에서 관절 동작 인식 장치는 측정한 관절 좌표 변화를 통해 움직임 여부와 관절의 운동 효과를 시각적 알림으로 출력한다.

[0046][0053] 단계 S770에서 관절 동작 인식 장치는 영상의 끝난 상태인지 확인한 후 영상이 끝나면 종료되고 영상이 끝나지 않은 상태면 S730으로 귀환한다.

[0047][0055] 도 8은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 가중치 산출부(220)를 설명하기 위한 순서도이다.

[0048][0056] 도 8에 도시된 바와 같이, 단계 S810에서 가중치 산출부(220)는 관절 동작 인식 장치에 미리 지정된 N가지 동작이 사용자에 의해 실시된다.

[0049][0057] 단계 S820에서 가중치 산출부(220)는 미리 지정된 N가지의 각 동작에서 어깨, 고관절, 팔꿈치 및 무릎의 가동 범위와 최대 각도를 관찰한다.

[0050][0058] 단계 S830에서 가중치 산출부(220)는 기 실시된 N가지 동작과 비교하고 유사도를 측정한다.

[0051][0059] 단계 S840에서 가중치 산출부(220)는 단계 S830에서 유사도를 사용자의 운동 동작에서 추출된 관절의 최대 가동 각도)를 (미리 실시된 N 가지 운동 동작에서 추출된 관절의 최대 가동 각도)로 나누어 산출한다.

[0052][0060] 단계 S850에서 가중치 산출부(220)는 N개의 동작에서 관절별로 기하 평균 유사도를 측정하여 각 관절의 유사도를 계산한다.

[0053][0061] 단계 860에서 가중치 산출부(220)는 현재 인물의 가중치를 산출한다. 단계 860에서 가중치 산출부(220)는 (계산된 관절별 유사도) 와 (기본 가중치[관절목록]) 를 곱하여 현재 인물의 가중치를와 관절목록의 값을 도출할 수 있다.

[0054][0062] 단계 870에서 가중치 산출부(220)는 단계 S810 내지 S860 과정을 거쳐 사용자의 관절 정보에 따른 가중치를 산출하고 설정을 완료한다.

[0055][0064] 도 9는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 오차 범위 산출부(230)를 설명하기 위한 순서도이다.

[0056][0065] 도 9에 도시된 바와 같이, 단계 S905에서 오차 범위 산출부(230)는 초기 관찰을 진행하고 오차 범위를 설정한다.

[0057][0066] 단계 S910에서 오차 범위 산출부(230)는 입력 모드를 실시하여 측정 모듈을 실행한다.

[0058][0067] 단계 S915에서 오차 범위 산출부(230)는 사용자에게 측정 시작 알림을 표시한다.

[0059][0068] 단계 S920에서 오차 범위 산출부(230)는 사용자에게 T-pose와 부동 자세를 측정한다.

[0060][0069] 단계 S925에서 오차 범위 산출부(230)는 단계 S920을 측정 후, 사용자의 신체 정보를 측정한다.

[0061][0070] 단계 S930에서 오차 범위 산출부(230)는 일정 시간동안 프레임 횟수만큼 인공지능 모델인 포츠 예측 모델이 실행된다.

[0062][0071] 단계 S935에서 오차 범위 산출부(230)는 단계 S930 를 거쳐 일정 시간 동안 사용자의 관절 좌표를 측정하고 완료 알림을 실행한다.

[0063][0072] 단계 S940에서 오차 범위 산출부(230)는 수집된 프레임의 관절 목록에서 관절별 평균 좌표, 분산, 표준편차 및 편차의 최댓값을 계산한다.

[0064][0073] 단계 S945에서 오차 범위 산출부(230)는 단계 S940에서 계산된 값인 측정된 분산, 표준 편차 및 편차의 최댓값 중 한 가지 방법에 기초하여 오차 범위를 계산한다.

[0065][0074] 단계 S950에서 오차 범위 산출부(230)는 오차 범위를 3가지 방법인 단계 S955, 단계 S960 및 단계 S965 로 오차 범위를 선택할 수 있다.

[0066][0075] 단계 S955에서 오차 범위 산출부(230)는 오차 범위를 측정된 분산 값과 정수 값을 곱하여 산출한다.

[0067][0076] 딘계 S960에서 오차 범위 산출부(230)는 오차 범위를 측정된 표준편차 값과 정수 값을 곱하여 산출한다.

[0068][0077] 단계 S965에서 오차 범위 산출부(230)는 오차 범위를 측정된 편차의 최댓값으로 산출한다.

[0069][0079] 도 10은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 움직임 판단부(250)를 설명하기 위한 순서도이다.

[0070][0080] 도 10에 도시된 바와 같이, 단계 S1010에서 관절 동작 인식 장치의 움직임 판단부(250)는 비정상 움직임이 카메라를 통해 인식된다.

[0071][0081] 단계 S1020에서 움직임 판단부(250)는 단계 S1010에서 비정상 움직임이 감지되면 현재 프레임의 관절 좌표가 입력된다.

[0072][0082] 단계 S1030에서 움직임 판단부(250)는 오차를 연속적인 프레임 간의 같은 관절의 좌표 차이로 파악하여 직전 프레임의 관절 좌표를 입력한다.

[0073][0083] 단계 S1040에서 움직임 판단부(250)는 오차를 수 프레임 전과 현재 프레임 간의 같은 관절의 좌표 차이로 파악하여 관절 좌표를 입력한다. 움직임 판단부(250)는 오차의 경우 방향성이 존재하지 않을 경우, 가만히 있는 경우에는 프레임이 비슷한 범위에 위치한다. 또한, 움직임 판단부(250)는 의도적인 움직임의 경우, 방향성이 존재하여 수 프레임이 지나면 오차 범위 밖으로 측정된다.

[0074][0084] 단계 S1050에서 움직임 판단부(250)는 현재 프레임과 직전 혹은 수 프레임 전과의 좌표 사이의 거리와 오차 범위를 비교한다.

[0075][0085] 단계 S1060에서 움직임 판단부(250)는 두 좌표 사이의 거리가 오차 범위를 초과하면 정상적인 움직임으로 판단한다.

[0076][0086] 단계 S1070에서 움직임 판단부(250)는 두 좌표 사이의 거리가 오차 범위 미만이면 오차로 취급한다.

[0077][0088] 도 11은 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 위치 변화 측정부(260)를 설명하기 위한 순서도이다.

[0078][0089] 도 11에 도시된 바와 같이, 단계 S1105에서 위치 변화 측정부(260)는 기준이 되는 이전 좌표와 비교하여 각관절의 스트레칭 정도를 파악한다.

[0079][0090] 단계 S1110에서 위치 변화 측정부(260)는 비정상 움직임을 확인하기 위해 직전과 현재 프레임의 각 관절 좌표를 입력한다.

[0080][0091] 단계 S1115에서 위치 변화 측정부(260)는 관절의 움직임이 비정상 움직임인지 확인한다. 단계 S1115에서 위치 변화 측정부(260)는 비정상 움직임으로 확인될 경우, 단계 S1125가 진행된다.

[0081][0092] 단계 S1120에서 위치 변화 측정부(260)는 비정상 움직임으로 확인되지 않을 경우, 현재 프레임의 움직임을 무시한다.

[0082][0093] 단계 S1125에서 위치 변화 측정부(260)는 손목 관절과 팔꿈치 관절 위치, 팔꿈치 관절과 어깨 관절 위치, 무릎 관절과 발목 관절 위치 및 무릎 관절과 고관절 관절 위치의 길이를 양쪽 모두를 포함하여 8개 관절 마디 길이로 현재값과 기존값을 비교한다.

[0083][0094] 단계 S1130에서 위치 변화 측정부(260)는 8개 관절 마디 길이의 현재값과 기존값의 차이가 50% 이상 차이가 존재하는지 확인한다.

[0084][0095] 단계 S1135에서 위치 변화 측정부(260)는 기존값의 8개 관절 마디 길이의 현재값과 기존값의 차이가 50% 이상 존재할 경우, 기 설정된 손목 관절과 팔꿈치 관절 위치, 팔꿈치 관절과 어깨 관절 위치, 무릎 관절과 발목 관절 위치 및 무릎 관절과 고관절 관절 위치에서 상위 하위 관계를 로드한다.

[0085][0096] 단계 S1140에서 위치 변화 측정부(260)는 상위 관절에 해당되는 관절의 좌표를 (0,0)으로 설정한다.

[0086][0097] 단계 S1145에서 위치 변화 측정부(260)는 하위 관절에 해당되는 좌표를 상대 좌표로 설정한다.

[0087][0098] 단계 S1150에서 위치 변화 측정부(260)는 상대 좌표와 프레임 간 좌표 변화량인 거리 변화량을 계산한다.

[0088][0099] 단계 S1155에서 위치 변화 측정부(260)는 위치 스코어를 위치 변화한 관절별 가중치와 단계 S1150에서 측정된 거리 변화량을 곱셈한다.

[0089][0100] 단계 S1160에서 위치 변화 측정부(260)는 단계 S1155에서 산출된 스코어 값을 사용자에게 시각적으로 피드백을 제공하는 모듈로 이동한다.

[0090][0102] 도 12는 본 발명의 일 실시 예에 따른 관절 동작 인식 장치의 각도 변화 측정부(270)를 설명하기 위한 순서도이다.

[0091][0103] 도 12에 도시된 바와 같이, 단계 S1205에서 각도 변화 측정부(270)는 기준이 되는 이전 좌표와 비교하여 각관절의 스트레칭 정도를 파악한다.

[0092][0104] 단계 S1210에서 각도 변화 측정부(270)는 비정상 움직임을 확인하기 위해 직전과 현재 프레임의 각 관절 좌표를 입력한다.

[0093][0105] 단계 S1215에서 각도 변화 측정부(270)는 관절의 움직임이 비정상 움직임인지 확인한다. 단계 S1215에서 각도 변화 측정부(270)는 비정상 움직임으로 확인될 경우, 단계 S1225가 진행된다.

[0094][0106] 단계 S1220에서 각도 변화 측정부(270)는 비정상 움직임으로 확인되지 않을 경우, 현재 프레임의 움직임을 무시한다.

[0095][0107] 단계 S1225에서 각도 변화 측정부(270)는 손목 관절과 팔꿈치 관절 위치, 팔꿈치 관절과 어깨 관절 위치, 무릎 관절과 발목 관절 위치 및 무릎 관절과 고관절 관절 위치의 길이를 양쪽 모두를 포함하여 8개 관절 마디 길이로 현재값과 기존값을 비교한다.

[0096][0108] 단계 S1230에서 각도 변화 측정부(270)는 8개 관절 마디 길이의 현재값과 기존값의 차이가 50% 미만으로 차이가 존재하는지 확인한다.

[0097][0109] 단계 S1235에서 각도 변화 측정부(270)는 미리 설정된 제1 관절, 제2 관절 및 제3 관절의 관계를 로드한다.

[0098][0110] 단계 S1240에서 각도 변화 측정부(270)는 제1 관절, 제2 관절 및 제3 관절을 3개 좌표로 설정하여 이은 선분이 이루는 각도를 계산한다. 단계 S1240에서 각도 변화 측정부(270)는 3개 좌표로 내각과 꼭짓점 부분의 각도를 계산한다.

[0099][0111] 단계 S1245에서 각도 변화 측정부(270)는 제1관절, 제2관절 및 제3관절 좌표를 (x1, y1), (x2, y2), (cx, cy)로 설정한다.

[0100][0112] 단계 S1250에서 각도 변화 측정부(270)는 꼭짓점 각도 θ 를 arctan((y2-cx)/(x2-cx)) - arctan((y1-cy)/(x1-cx))로 구한다.

[0101][0113] 단계 S1255에서 각도 변화 측정부(270)는 꼭짓점 관절에 따라 평각인 180도를 초과하는지 확인한다. 단계 S1255에서 각도 변화 측정부(270)는 꼭짓점 관절 각도가 평각을 넘어서는 어깨일 경우, 고관절 좌표를 (x1, y1), 어깨 좌표를 (x2, y2), 팔꿈치 좌표를 (cx, cy)로 설정한다. 단계 S1255에서 각도 변화 측정부(270)는 관절과 어깨가 이루는 직선을 Bodyline(x, y)로 설정하고 (y2-y1)/(x2-x1)*(x-x1)-(y-y1)으로 직선 값을 산출할 수 있다. 단계 S1255에서 각도 변화 측정부(270)는 현재 팔꿈치가 왼쪽, 오른쪽인 경우에 따라 몸 안쪽 방향을 의미하는 계수로 부호를 결정한다. 단계 S1255에서 각도 변화 측정부(270)는 팔꿈치 좌표가 안쪽 방향일 경우 둔각을 넘어섰다는 의미로 2π- θ 로 산출할 수 있다.

[0102][0114] 단계 S1260에서 각도 변화 측정부(270)는 측정된 각도 구간에 따라 가중치가 변화한다.

[0103][0115] 단계 S1265에서 각도 변화 측정부(270)는 꼭짓점 관절 스코어 값을 가중치와 각도 변화량을 곱하여 구한다.

[0104][0116] 단계 S1270에서 각도 변화 측정부(270)는 단계 S1265에서 산출된 스코어 값을 사용자에게 시각적으로 피드백을 제공하는 모듈로 이동한다.

[0105][0117] 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 들은 모든 면에서 예시인 것이며 한정적이 아닌 것으로 이해해야만 한다.

[0106][0118] 100: 카메라 200: 움직임 및 운동 효과 측정부 240: 관절 정보 추출부 300: 디스플레이 출력부 260: 위치 변화 측정부 270: 각도 변화 측정부 280: 운동 효과 산출부

同族专利

暂无同族专利