[0001]【技术领域】
[0002][0001]본 기술은, 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것으로, 특히 정보의 전송량을 삭감하면서 배신측의 처리 부하를 저감시킬 수 있도록 한 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.
[0003]【背景技术】
[0004][0002]종래의 고정 시점 대상 3D Audio로서 규격화된 MPEG(Moving Picture Experts Group)-H 부호화 규격은, 수청자의 위치를 원점으로 하고, 그 둘레의 공간 내를 오디오 오브젝트가 이동한다는 사고 방식에 기초하고 있다(예를 들어, 비특허문헌 1 참조).
[0005][0003]그 때문에, 고정 시점에서는 원점에 있는 수청자로부터 본 각각의 오디오 오브젝트의 위치 정보는, 수청자로부터 각 오디오 오브젝트까지의 수평 방향의 각도, 높이 방향의 각도 및 거리를 사용한 극좌표에 의해 기술되어 있다.
[0006][0004]이러한 MPEG-H 부호화 규격을 이용하면, 고정 시점의 콘텐츠에 있어서, 공간 내의 각 오디오 오브젝트의 위치에, 그것들의 오디오 오브젝트의 음상을 정위시킬 수 있고, 임장감이 높은 오디오 재생을 실현하는 것이 가능하다.
[0007][0005] ISO/IEC 23008-3 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio
[0008][0006]한편으로, 공간 내의 임의의 위치를 수청자의 위치로 할 수 있는 자유 시점의 콘텐츠도 알려져 있다. 자유 시점에서는, 공간 내에 있어서 오디오 오브젝트가 이동하는 것에 더하여, 수청자도 이동 가능하다. 즉, 수청자가 이동 가능하다는 점에 있어서, 자유 시점은 고정 시점과 다르다.
[0009][0007]이러한 자유 시점에 있어서도, 고정 시점에 있어서의 경우와 마찬가지로, 수청자로부터 본 오디오 오브젝트의 위치를 나타내는 극좌표의 위치 정보를 얻을 수 있으면, MPEG-H에서 규격화된 극좌표계의 렌더러에 의해 오디오 재생을 실현하는 것이 가능하다. 즉, 고정 시점에 있어서의 경우와 마찬가지의 렌더링 처리에 의해 자유 시점의 오디오 재생을 실현할 수 있다.
[0010][0008]이 경우, 예를 들어 각 오디오 오브젝트의 오디오 데이터와, 그것들의 오디오 오브젝트의 위치를 나타내는 위치 정보가 서버로부터 재생측에 제공된다. 그리고, 재생측에 있어서 공간 내의 오디오 오브젝트의 위치에 음상을 정위시키는 오디오 재생을 위한 렌더링이 행하여진다.
[0011][0009]그런데, MPEG-H의 렌더러에 의해 자유 시점의 오디오 재생을 실현하고자 하면, 오디오 오브젝트나 수청자의 위치가 변화할 때마다, 수청자로부터 본 오디오 오브젝트의 위치 갱신이나 오디오 오브젝트의 위치에 관한 정보의 전송이 필요해진다. 따라서, 정보의 전송량이나 서버 등의 콘텐츠의 배신측에서의 처리 부하가 증가해 버릴 우려가 있다. 또한 서버에 접속하는 수청자의 수가 증가했을 경우에는, 그 수의 배수분만큼 처리 부하가 증대하게 되고, 그 수가 몇천, 몇만이 되면 과대한 부하가 되어 버린다.
[0012][0010]본 기술은, 이러한 상황을 감안하여 이루어진 것이고, 정보의 전송량을 삭감하면서 배신측의 처리 부하를 저감시킬 수 있도록 하는 것이다.
[0013][0011]본 기술의 제1 측면의 정보 처리 장치는, 유저가 있는 공간 내의 오브젝트의 위치를 나타내는 제1 정밀도의 저정밀도 위치 정보를 취득하고, 상기 공간 내의 상기 오브젝트의 위치를 나타내는, 상기 유저의 위치에 따른 상기 제1 정밀도보다도 높은 제2 정밀도의 위치 정보를 얻기 위한 추가 정보를 취득하는 취득부와, 상기 저정밀도 위치 정보 및 상기 추가 정보에 기초하여 상기 위치 정보를 구하는 위치 정보 산출부를 구비한다.
[0014][0012]본 기술의 제1 측면의 정보 처리 방법 또는 프로그램은, 유저가 있는 공간 내의 오브젝트의 위치를 나타내는 제1 정밀도의 저정밀도 위치 정보를 취득하고, 상기 공간 내의 상기 오브젝트의 위치를 나타내는, 상기 유저의 위치에 따른 상기 제1 정밀도보다도 높은 제2 정밀도의 위치 정보를 얻기 위한 추가 정보를 취득하고, 상기 저정밀도 위치 정보 및 상기 추가 정보에 기초하여 상기 위치 정보를 구하는 스텝을 포함한다.
[0015][0013]본 기술의 제1 측면에 있어서는, 유저가 있는 공간 내의 오브젝트의 위치를 나타내는 제1 정밀도의 저정밀도 위치 정보가 취득되고, 상기 공간 내의 상기 오브젝트의 위치를 나타내는, 상기 유저의 위치에 따른 상기 제1 정밀도보다도 높은 제2 정밀도의 위치 정보를 얻기 위한 추가 정보가 취득되어, 상기 저정밀도 위치 정보 및 상기 추가 정보에 기초하여 상기 위치 정보가 구해진다.
[0016][0014]본 기술의 제2 측면의 정보 처리 장치는, 유저가 있는 공간 내의 오브젝트의 위치를 나타내는 제1 정밀도의 저정밀도 위치 정보를 송신하고, 상기 저정밀도 위치 정보의 송신처로부터의 요구에 따라, 상기 공간 내의 상기 오브젝트의 위치를 나타내는, 상기 유저의 위치에 따른 상기 제1 정밀도보다도 높은 제2 정밀도의 위치 정보를 얻기 위한 추가 정보를 송신하는 통신부를 구비한다.
[0017][0015]본 기술의 제2 측면의 정보 처리 방법 또는 프로그램은, 유저가 있는 공간 내의 오브젝트의 위치를 나타내는 제1 정밀도의 저정밀도 위치 정보를 송신하고, 상기 저정밀도 위치 정보의 송신처로부터의 요구에 따라, 상기 공간 내의 상기 오브젝트의 위치를 나타내는, 상기 유저의 위치에 따른 상기 제1 정밀도보다도 높은 제2 정밀도의 위치 정보를 얻기 위한 추가 정보를 송신하는 스텝을 포함한다.
[0018][0016]본 기술의 제2 측면에 있어서는, 유저가 있는 공간 내의 오브젝트의 위치를 나타내는 제1 정밀도의 저정밀도 위치 정보가 송신되고, 상기 저정밀도 위치 정보의 송신처로부터의 요구에 따라, 상기 공간 내의 상기 오브젝트의 위치를 나타내는, 상기 유저의 위치에 따른 상기 제1 정밀도보다도 높은 제2 정밀도의 위치 정보를 얻기 위한 추가 정보가 송신된다.
[0019][0017]본 기술의 제1 측면 및 제2 측면에 의하면, 정보의 전송량을 삭감하면서 배신측의 처리 부하를 저감시킬 수 있다.
[0020][0018]또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 것의 효과여도 된다.
[0021]【附图说明】
[0022][0019]도 1은, 콘텐츠 재생 시스템의 구성예를 도시하는 도면이다.도 2는, 콘텐츠 재생 시스템의 처리 시퀀스에 대하여 설명하는 도면이다.도 3은, 콘텐츠 재생 시스템의 구성예를 도시하는 도면이다.도 4는, 서버의 구성예를 도시하는 도면이다.도 5는, 클라이언트의 구성예를 도시하는 도면이다.도 6은, 지각 한계 각도에 대하여 설명하는 도면이다.도 7은, 부호화 처리 및 파일 보존 처리를 설명하는 흐름도이다.도 8은, 최고 정밀도 위치 부호화 데이터 파일의 신택스 예를 도시하는 도면이다.도 9는, 위치 정보 취득 처리 및 위치 정보 송신 처리를 설명하는 흐름도이다.도 10은, 헤더 정보의 신택스 예를 도시하는 도면이다.도 11은, 저정밀도 양자화 위치 정보가 포함되는 비트 스트림의 신택스 예를 도시하는 도면이다.도 12는, 정규화 위치 정보의 부호화 예에 대하여 설명하는 도면이다.도 13은, 추가 비트 정보 취득 처리 및 추가 비트 정보 송신 처리를 설명하는 흐름도이다.도 14는, 추가 비트 정보의 송신 요구의 신택스 예를 도시하는 도면이다.도 15는, 차분 데이터의 신택스 예를 도시하는 도면이다.도 16은, 컴퓨터의 구성예를 도시하는 도면이다.
[0023][0020]이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
[0024][0021]
[0025][0022]
[0026][0023]본 기술은, 수청자로부터 오브젝트까지의 거리에 따라, 오브젝트의 위치를 나타내는 위치 정보의 양자화 정밀도를 전환함으로써, 정보의 전송량을 삭감하면서 서버 등의 콘텐츠 배신측의 처리 부하를 저감시킬 수 있도록 하는 것이다.
[0027][0024]또한, 이하에서는, 콘텐츠의 재생측에 있어서, 수청자로부터 본 오디오 오브젝트의 위치를 나타내는 정보에 기초하여 오디오 오브젝트의 오디오 데이터 렌더링을 행하는 경우, 구체적으로는 MPEG-H의 렌더러에 의해 자유 시점의 오디오 재생을 실현하는 경우를 예로서 설명한다. 그러나, 기타, 수청자로부터 본 오브젝트의 위치를 나타내는 정보에 기초하여, 오브젝트를 피사체로서 포함하는 콘텐츠 영상을 재생하는 경우 등에 있어서도 본 기술을 적용하는 것이 가능하다.
[0028][0025]또한, 이하에서는, 오디오 오브젝트를 단순히 오브젝트라고 칭하는 것으로 한다.
[0029][0026]예를 들어 MPEG-H의 렌더러에 의해 자유 시점의 오디오 재생을 행하는 경우, 도 1에 도시하는 콘텐츠 재생 시스템에 의해 오디오 재생을 실현하는 것을 생각할 수 있다.
[0030][0027]도 1에 도시하는 콘텐츠 재생 시스템은 수청자 위치 취득 장치(11), 극좌표 위치 정보 인코더(12), 서버(13), 클라이언트(14) 및 MPEG-H 렌더러(15)를 갖고 있다.
[0031][0028]이 콘텐츠 재생 시스템에서는, 콘텐츠의 제작자 등인 서버측의 유저 U11이, 공간 내의 각 오브젝트에 대해서, 그것들의 오브젝트의 공간 내의 위치를 나타내는 오브젝트 위치 정보를 극좌표 위치 정보 인코더(12)에 입력한다. 또한, 오브젝트 위치 정보는, 절대 좌표로 되어도 되고 극좌표로 되어도 된다.
[0032][0029]또한, 클라이언트(14)측에는, 재생된 콘텐츠를 시청하는 유저, 즉 콘텐츠의 음성 수청자 U12가 있고, 그 수청자 U12의 공간 내에 있어서의 위치를 나타내는 수청자 위치 정보가 수청자 위치 취득 장치(11)에 의해 취득된다.
[0033][0030]예를 들어 수청자 위치 취득 장치(11)는, 수청자 U12의 공간 내의 위치를 측정하는 GPS(Global Positioning System)나 자이로 센서 등의 측거 디바이스, 버추얼 공간 내의 수청자 U12의 가상적인 위치 정보를 취득하는 입력 장치 등으로 이루어지고, 수청자 U12의 위치를 나타내는 수청자 위치 정보를 출력한다.
[0034][0031]여기서, 수청자 위치 정보는, 공간 내에 있어서의 수청자 U12의 절대적인 위치를 나타내는, 3차원 직교 좌표계, 즉 xyz 좌표계의 좌표(x 좌표, y 좌표 및 z 좌표)에 의해 표시되는 절대 좌표 정보로 된다. 이하, xyz 좌표계의 좌표에 의해 표시되는, 공간 내의 절대적인 위치를 나타내는 정보를 절대 좌표라고도 칭하는 것으로 한다.
[0035][0032]수청자 위치 취득 장치(11)에 의해 출력된 수청자 위치 정보는, 클라이언트(14) 및 서버(13)를 통해 극좌표 위치 정보 인코더(12)에 의해 수신된다.
[0036][0033]극좌표 위치 정보 인코더(12)는, 수청자 위치 취득 장치(11)로부터 수신한 수청자 위치 정보와, 유저 U11에 의해 입력된 오브젝트 위치 정보에 기초하여, 공간 내에 있어서의 수청자 U12로부터 본 오브젝트의 위치를 나타내는 극좌표를 극좌표 위치 정보로 하여 생성한다.
[0037][0034]그리고, 극좌표 위치 정보 인코더(12)는, 각 오브젝트에 대하여 얻어진 극좌표 위치 정보를 부호화(인코드)하고, 부호화된 극좌표 위치 정보를, 서버(13)를 통해 클라이언트(14)에 송신한다.
[0038][0035]클라이언트(14)에서는, 그 클라이언트(14)에 마련된 극좌표 위치 정보 디코더(21)에 의해, 극좌표 위치 정보 인코더(12)로부터 수신한 극좌표 위치 정보를 복호(디코드)하고, 그 결과 얻어진 극좌표 위치 정보를 MPEG-H 렌더러(15)에 공급한다.
[0039][0036]MPEG-H 렌더러(15)는, 클라이언트(14)로부터 각 오브젝트의 극좌표 위치 정보의 공급을 받음과 함께, 서버(13)로부터 각 오브젝트의 오디오 데이터 공급도 받는다. 이 MPEG-H 렌더러(15)는, MPEG-H에서 규격화된 극좌표계의 렌더러이다.
[0040][0037]MPEG-H 렌더러(15)는, 각 오브젝트의 오디오 데이터 및 극좌표 위치 정보에 기초하여 렌더링을 행하여, 공간 내의 각 위치에 오브젝트의 음상이 정위하는 재생 오디오 데이터를 생성하고, 스피커 등의 재생계에 출력한다.
[0041][0038]예를 들어 공간 내에 오브젝트가 N개 있는 경우, 콘텐츠 재생 시스템으로의 처리 시퀀스는 도 2에 도시하게 된다.
[0042][0039]도 2에 도시하는 예에서는, 먼저 클라이언트(14)는 화살표 A11에 나타내는 바와 같이, 서버(13)에 대하여 공간 내에 있는 오브젝트의 개수, 즉 오브젝트수의 통지를 요구한다.
[0043][0040]그러면 서버(13)는, 클라이언트(14)의 요구에 따라, 화살표 A12에 나타내는 바와 같이 클라이언트(14)에 대하여 오브젝트수를 통지한다.
[0044][0041]또한, 클라이언트(14)는, 수청자 위치 취득 장치(11)로부터 수청자 위치 정보를 취득하면, 그 수청자 위치 정보를 화살표 A13에 나타내는 바와 같이, 서버(13)를 통해 극좌표 위치 정보 인코더(12)에 송신한다.
[0045][0042]극좌표 위치 정보 인코더(12)는, 수청자 위치 정보를 수신하면, 그 수청자 위치 정보와, 0번째의 오브젝트의 오브젝트 위치 정보에 기초하여, 수청자 U12로부터 본 0번째의 오브젝트의 위치를 산출하고, 그 산출 결과를 나타내는 극좌표 위치 정보를 부호화한다. 즉, 극좌표 위치 정보가 전송 가능한 포맷으로 부호화되어 부호화 데이터로 된다.
[0046][0043]그리고 극좌표 위치 정보 인코더(12)는, 화살표 A14에 나타내는 바와 같이, 0번째의 오브젝트에 대하여 얻어진, 부호화된 극좌표 위치 정보, 즉 극좌표 위치 정보의 부호화 데이터를, 서버(13)를 통해 클라이언트(14)에 송신한다.
[0047][0044]클라이언트(14)측에서는, 극좌표 위치 정보 디코더(21)에 의해, 수신된 0번째의 오브젝트의 극좌표 위치 정보의 부호화 데이터가 복호된다.
[0048][0045]마찬가지로, 극좌표 위치 정보 인코더(12)는, 1번째의 오브젝트에 대해서, 극좌표 위치 정보의 부호화 데이터를 생성하고, 화살표 A15에 나타내는 바와 같이, 1번째의 오브젝트의 극좌표 위치 정보의 부호화 데이터를, 서버(13)를 통해 클라이언트(14)에 송신한다. 또한, 클라이언트(14)측에서는, 극좌표 위치 정보 디코더(21)가, 수신된 1번째의 오브젝트의 극좌표 위치 정보의 부호화 데이터를 복호한다.
[0049][0046]그리고, 이후에 있어서도 N-1번째의 오브젝트까지, 극좌표 위치 정보의 부호화 데이터의 생성 및 송신과, 극좌표 위치 정보의 부호화 데이터의 복호가 차례로 행하여진다.
[0050][0047]이상의 처리에 의해, 0번째로부터 N-1번째까지의 N개의 오브젝트에 대하여 극좌표 위치 정보가 얻어지면, 그 후, MPEG-H 렌더러(15)에 의해 각 오브젝트의 극좌표 위치 정보와 오브젝트 데이터에 기초하여, 렌더링이 행하여진다.
[0051][0048]렌더링 처리에 의해 얻어진 재생 오디오 데이터에 기초하여 소리를 재생하면, 수청자 U12로부터 보아서 올바른 위치에 오브젝트의 음상을 정위시킬 수 있다.
[0052][0049]예를 들어 자유 시점의 콘텐츠를 재생하는 경우, MPEG-H 렌더러(15)에 의해 렌더링을 행하기 위해서는, 그 MPEG-H 렌더러(15)의 입력으로서, 수청자 U12로부터 본 오브젝트의 위치를 나타내는 극좌표 표현의 극좌표 위치 정보가 필요해진다.
[0053][0050]도 1에 도시한 콘텐츠 재생 시스템에서는, 고정 시점에 적합한 MPEG-H 렌더러(15)를 그대로 자유 시점에서도 사용할 수 있다. 또한, 극좌표 위치 정보 인코더(12)에 의해 실시간으로 극좌표 위치 정보가 생성되어서 송신되기 때문에, 극좌표 위치 정보를 서버(13) 상에 보유 유지해 둘 필요가 없다는 이점이 있다.
[0054][0051]그러나, 자유 시점에서는, 공간 내에서 오브젝트가 이동하는 것에 더하여, 수청자 U12도 공간 내를 이동하므로, 오브젝트와 수청자 U12의 어느 쪽인가가 이동할 때마다, 극좌표 위치 정보의 갱신과 전송이 필요해진다.
[0055][0052]특히, 도 1에 도시한 콘텐츠 재생 시스템에서는, 수청자 U12가 복수 있는 경우, 즉 복수의 클라이언트(14)가 서버(13)에 접속되어 있는 경우에는, 모든 수청자 U12에 대해서, 모든 오브젝트의 극좌표 위치 정보의 갱신(부호화)을 실시간 처리하게 된다. 그렇게 하면, 콘텐츠의 배신측인 극좌표 위치 정보 인코더(12)의 처리 부하가 높아져 버리고, 경우에 따라서는 클라이언트(14)에 대하여 재생 시각까지 필요한 오브젝트의 극좌표 위치 정보를 공급할 수 없게 되어 버린다.
[0056][0053]이에 비해, 서버(13)로부터 클라이언트(14)에 대하여, 절대 좌표에 의해 표현된 오브젝트의 공간 내의 위치를 나타내는 오브젝트 위치 정보를 공급하고, 클라이언트(14)측에 있어서 극좌표 위치 정보를 산출하는 것도 생각할 수 있다.
[0057][0054]그러나, 본래, 절대 좌표는 수청자 U12의 위치에 의존하지 않는 것이므로, 높은 정밀도로 표현하지 않으면 안되고, 오브젝트 위치 정보를 클라이언트(14)에 송신하는 것은 전송량의 관점에서 바람직하다고는 할 수 없다. 즉, 극좌표인 극좌표 위치 정보를 전송하는 경우와 비교하여, 절대 좌표인 오브젝트 위치 정보를 전송하는 경우에는, 정보(오브젝트 위치 정보)의 전송량이 많아져 버린다.
[0058][0055]그래서 본 기술에서는, 일단, 클라이언트측에 정보량이 적은 저정밀도의 오브젝트 위치를 나타내는 정보를 송신해 두고, 오브젝트의 위치를 나타내는 충분한 정밀도의 정보가 얻어지도록, 저정밀도의 정보와 보다 높은 정밀도의 정보의 차분의 정보를, 필요에 따라 추가로 송신하도록 하였다. 이에 의해, 정보의 전송량을 삭감할 수 있을 뿐만 아니라, 극좌표 위치 정보 인코더나 서버와 같은 콘텐츠의 배신측의 처리 부하도 저감시킬 수 있다.
[0059][0056]이러한 본 기술을 적용한 콘텐츠 재생 시스템은, 예를 들어 도 3에 도시하는 바와 같이 구성된다. 또한, 도 3에 있어서 도 1에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
[0060][0057]도 3에 도시하는 콘텐츠 재생 시스템은 절대 좌표 위치 정보 인코더(51), 서버(52), 수청자 위치 취득 장치(53), 클라이언트(54) 및 MPEG-H 렌더러(55)를 갖고 있다. 이 콘텐츠 재생 시스템에서는, 클라이언트(54)에 있어서, 수청자 U12로부터 본 오브젝트의 위치를 나타내는 극좌표 표현의 극좌표 위치 정보가 산출된다.
[0061][0058]즉, 콘텐츠의 배신측에서는 유저 U11이 공간 내에 있어서의 각 오브젝트의 위치를 나타내는 정규화 위치 정보 등을 절대 좌표 위치 정보 인코더(51)에 입력한다.
[0062][0059]이 정규화 위치 정보는, 3차원 직교 좌표계, 즉 xyz 좌표계의 좌표에 의해 표시되는, 공간 내의 오브젝트의 절대적인 위치를 나타내는 정규화된 절대 좌표 정보이다.
[0063][0060]절대 좌표 위치 정보 인코더(51)는, 유저 U11에 의해 입력된 정규화 위치 정보 등을 부호화하고, 그 결과 얻어진 최고 정밀도 위치 부호화 데이터 파일을 서버(52)에 송신한다. 또한, 서버(52)는 기록부(61)를 갖는 정보 처리 장치이고, 절대 좌표 위치 정보 인코더(51)로부터 수신한 최고 정밀도 위치 부호화 데이터 파일을 기록부(61)에 기록한다.
[0064][0061]여기서, 최고 정밀도 위치 부호화 데이터 파일에는, 각 오브젝트에 대해서, 정규화 위치 정보를 가장 높은 정밀도로 양자화하여 얻어진, 즉 작은 양자화 스텝 폭으로 양자화하여 얻어진 최고 정밀도 양자화 위치 정보가 포함되어 있다.
[0065][0062]이하, 정규화 위치 정보로부터 최고 정밀도 양자화 위치 정보를 얻을 때의 양자화 정밀도를, 최고 정밀도라고도 칭하고, 최고 정밀도 양자화 위치 정보에 의해 나타나는 위치를 최고 정밀도 절대 위치라고도 칭하는 것으로 한다.
[0066][0063]상세는 후술하지만 최고 정밀도 양자화 위치 정보의 일부를 추출함으로써, 최고 정밀도보다도 낮은 양자화 정밀도로 정규화 위치 정보를 양자화하여 얻어지는 양자화 위치 정보를 얻을 수 있다.
[0067][0064]이하에서는, 최고 정밀도보다도 낮은 양자화 정밀도로 정규화 위치 정보를 양자화하여 얻어지는 양자화 위치 정보를 저정밀도 양자화 위치 정보라고도 칭하는 것으로 하고, 특히 저정밀도 양자화 위치 정보 중, 가장 낮은 양자화 정밀도의 저정밀도 양자화 위치 정보를 최저 정밀도 양자화 위치 정보라고도 칭하는 것으로 한다. 또한, 이하에서는, 저정밀도 양
