프리지아 랩

Mixed Reality Toolkit에서 음성  명령 처리 방법의 변화


홀로렌즈에서 음성 명령이 실행되게 하려면 맨 먼저 해야 할 일이 마이크로폰을 허용하도록 설정하는 일이다.

이 설정 부분의 위치는 Mixed Reality Toolkit으로 오면서 유니티에서 설정 위치가 바뀌었다.


[AS-WAS]
HoloToolkit | Configure | Apply HoloLens Capability Settings


[AS-IS]
Mixed Reality Toolkit | Configure | Apply UWP Capability Settings



다음의 화면에서 microphone 옵션을 선택하고 적용을 클릭한다.




홀로렌즈 툴킷이 Mixed Reality Toolkit으로 바뀌면서 애셋의 구조에도 변화가 있었다.


기존에는 | HoloToolkit | Input | Scripts | Voice 아래의 KeywordManager 스크립트를 게임 개체에 연결했다.


연결한 후 해당 개체를 선택하고 오른편 [Inspector]에서 필요한 키워드의 크기를 정하면 다음과 같은 화면을 볼 수 있었다.



이 화면에서 키워드를 만들고 키워드의 액션을 매핑하면 되었다.


달라진 방법은 이제 Speech Input Source에서 키워드를 만들고 Speech Input Handler에서 해당 키워드에 액션을 매핑시키는 방식이다.


먼저, 다음 위치에서 SpeechInputSource.cs 스크립트를 해당 개체에 연결한다.


Assets | HoloToolkit | Input | Scripts | InputSources


[Inspector]에서 Speech Input Source 화면은 다음과 같으며, 여기서 필요한 키워드를 만든다.



다음으로, 다음 위치에서 SpeechInputHandler.cs 스크립트를 해당 개체에 연결한다.


Assets | HoloToolkit | Input | Scripts | Utilities | Interaction


[Inspector]에서 Speech Input Source 화면은 다음과 같으며, 여기서 앞서 정의한 키워드와 Response를 연결한다.


물론 Response에 연결할 음성 명령 처리 스크립트는 미리 만들어 놓아야 한다.


Comment +0

이번 포스팅은 유니티에서 Microsoft 홀로렌즈 프로그래밍 환경을 만들때 만날 수 있는 문제를 해결하는 방법을 다룬다.

이 글에서 다루는 개발 환경은 다음과 같다.


  • Visual Studio 2017 latest.
  • Unity 2017.3.1f1
  • 홀로렌즈 에뮬레이터
  • Microsoft MixedReality Toolkit



유니티 프로젝트에 Microsoft MixedRealityToolKit 패키지를 가져오면, 다음 그림에서처럼 [Mixed Reality Toolkit]메뉴가 추가된다.



1. 제일 먼저할 일은 이 메뉴의 [Apply Mixed Reality Scene Settings]와 [Apply Mixed Reality Project Settings]을 실행하는 작업이다.

이 두 가지 구성을 실행하는 과정에 다음 그림처럼 "...:MetroSupport is disabled" 같은 오류를 만날 수 있다.



2. 이 문제를 해결하려면, 유니티에서 [File]-[Build Settings]를 클릭해 다음의 화면을 실행한다.



3. [Build Settings] 창의 아래 [Platform] 목록에서 [Universal Windows Platform]을 선택하고, 오른편에서 [Open Download Page] 버튼을 클릭한다.
"Unity 2017.3.1f1 Metro Support Setup"이라는 실행파일을 다운로드 될텐데, 다운로드가 끝나면 바로 실행해 설치를 완료한다. 이 프로그램을 실행하기 전에 유니티는 종료하도록 한다.



4. 다시, [Mixed Reality Toolkit]-[Apply Mixed Reality Scene Settings]을 실행한 후 다시 [Apply Mixed Reality Project Settings] 메뉴를 선택해 [Apply Mixed Reality Project Settings] 창이 실행되면, [Apply] 버튼을 클릭한다.



앞서, 다운로드한 프로그램을 잘 실행했다면, 다음 화면처럼 스크립트 컴파일이 진행된다.



5. [Apply Mixed Reality Project Settings]을 완료한 뒤, 다시 [Build Settings] 창의 아래 [Platform] 목록에서 [Universal Windows Platform]을 선택하면, [Universal Windows Platform]의 속성이 제대로 로드된다.



Comment +0