## 概要 SONYのToF AR SDKを用いてToFセンサーを活用したアプリケーションを作成する。今回はToF ARを使用するための各種セットアップと公式チュートリアルの１つであるDepth映像の表示を試す。 ## 前提 - Unity 2022.3.11f1 - Unity Hubがインストール済みであること - Unity Hubダウンロードページ: https://unity.com/ja/download - ToF AR v1.4.0 - Google ARCore XR Plugin - AR Foundation - ARCore Extensions for AR Foundation - ToF ARが動作するAndroidデバイス - [ToF AR対応端末リスト](https://tof-ar.com/files/2/tofar/manual_reference/ToF_AR_User_Manual_ja.html#_tof_ar%E5%AF%BE%E5%BF%9C%E7%AB%AF%E6%9C%AB%E3%83%A2%E3%83%87%E3%83%AB%E5%90%8D%E3%83%AA%E3%82%B9%E3%83%88)を確認すること - 筆者の環境はXperia 1 III (Android 13) ## 作業 ### 環境構築・設定 #### 1. Unityインストールこの章では、**開発基盤であるUnityのインストール手順**を記載する。 Unityバージョンについて公式は、`2021.3.31f1`もしくは`2022.3.11f1`を推奨している。(ToF AR v1.4.0) 一応Unity 2020以上であれば動作するらしいが、今回は推奨に則り**Unity 2022.3.11f1をインストールする**。下記のダウンロードページにアクセスする。 - Unityダウンロードページ: https://unity.com/releases/editor/archive 「Unity 2022.X」 > 「Unity 2022.3.11」 > 「Unity Hub」のように順に選択していき、 Unity Hubを起動する。 ![Unityダウンロード](/images/blog/sony_tof_ar/unity_download.png) Unity Hub起動後、以下のようなインストール設定ウィンドウが表示される。 `Microsoft Visual Studio Community 2022`と`Android Build Support`にチェックが入ってることを確認して「Continue」をクリック。 ![Unityインストール設定](/images/blog/sony_tof_ar/unity_install_settings.png) 続けて、VS2022ライセンス条項の同意確認ウィンドウが表示されるので、チェックボックスにチェックを入れて「Continue」をクリック。続けて、Android SDK/NDKラインセンス条項の同意確認ウィンドウが表示されるので、チェックボックスにチェックを入れて「Install」をクリック。 ![ライセンス同意確認](/images/blog/sony_tof_ar/license_agreement.png) Unityのインストールが開始される。 ![Unityインストール画面](/images/blog/sony_tof_ar/unity_install.png) --- **※ VS2022がインストールされていない場合** VS2022がインストールされていない環境では、Unityインストール中にVS2022のインストーラが起動し、追加でアクションが必要となる。 ![VS2022インストーラ](/images/blog/sony_tof_ar/vs_installer1.png) インストール設定はデフォルトのままで「インストール」をクリックする。 ![VS2022インストール設定](/images/blog/sony_tof_ar/vs_installer2.png) 続けてワークロードの確認が出るが「続行」をクリックし無視する。 ![VS2022インストール確認](/images/blog/sony_tof_ar/vs_installer3.png) ![VS2022インストール](/images/blog/sony_tof_ar/vs_installer4.png) --- すべてのインストールが完了すると以下のように表示される。 ![Unityインストール完了画面](/images/blog/sony_tof_ar/unity_install_finish.png) Android SDKが正常にインストールされたかどうかの確認として、下記の場所に`SDK`と`NDK`、`OpenJDK`があるか確認する。 ```text C:\Program Files\Unity\Hub\Editor\2022.3.11f1\Editor\Data\PlaybackEngines\AndroidPlayer ``` #### 2. ToF ARセットアップこの章では、**ToF ARの入手、セットアップ手順**を記載する。下記のダウンロードページにアクセスし、「ToF AR v1.4.0」とあるボタンをクリックする。次に表示される利用規約に同意して、ToF ARツールキットをダウンロードする。 - ToF ARダウンロードページ : https://tof-ar.com/s/tofar/page/download_guide ダウンロードできたら解凍する。 Unity Hubに戻り、Projectsで右上にある「New project」をクリックして、プロジェクトを新規作成する。ウィンドウ上部の「Editor Version」が`2022.3.11f1`になっていることを確認して「3D」を選択し「Create project」をクリックする。 ![Unityプロジェクト作成](/images/blog/sony_tof_ar/create_unity_pj.png) 作成したプロジェクトのウィンドウ上部にあるメニューより「File」>「Build Settings…」を選択する。 ![ToF ARセットアップ](/images/blog/sony_tof_ar/tofar_setup1.png) 続けて、表示されたウィンドウの左下「Player Settings」をクリックする。 ![Build Settings](/images/blog/sony_tof_ar/tofar_setup2.png) 続けて、Androidタブ(ドロイドくんアイコンのやつ)を選択して、「Other Settings」中にある下記の設定項目を変更する。 - Scripting Backend : `IL2CPP` - Api Compatibility Level : `.NET Framework` or `.Net Standard 2.1` - Target Architectures : `ARM64`のみにチェック ![Player Settings](/images/blog/sony_tof_ar/tofar_setup3.png) 特に確定ボタンなどはないので、設定を変更したらそのままウィンドウを閉じる。次に、ウィンドウ上部のメニューより「Assets」>「ImportPackage」> 「Custom Package…」を選択する。 ![Custom Package](/images/blog/sony_tof_ar/tofar_setup4.png) するとファイル選択ウィンドウが表示されるので、`TofAR_Base_v1.4.0_Android.unitypackage`を選択して開く。 ※ ファイルパスは`{解凍先}\TofAR_v1.4.0\01_UnityProject\TofAR_Base_v1.4.0_Android.unitypackage` ※ 「TofAR_**Base**_v1.4.0\_Android.unitypackage」と「TofAR\_**Hand**_v1.4.0_Android.unitypackage」があるが、**Base**のほうを選択する。 ![ファイル選択ウィンドウ](/images/blog/sony_tof_ar/tofar_setup5.png) ファイルの読み込みが完了すると、下記のようにインポートするファイルの選択ウィンドウが表示される。今回はすべてにチェックが入った状態で「Import」をクリックし、インポートする。 ![インポート選択画面](/images/blog/sony_tof_ar/tofar_setup6.png) ウィンドウ下部の「Project」>「Assets」にて`TofAr`が確認できればインポート成功。 ![Assets画面](/images/blog/sony_tof_ar/tofar_setup7.png) #### 3. AR Foundationのセットアップこの章では、Unity用AR開発フレームワークである**AR Foundationのセットアップ手順**を記載する。 AR Foundationの詳細については[こちら](https://docs.unity3d.com/Packages/com.unity.xr.arfoundation@5.1/manual/index.html)。ウィンドウ上部のメニューより「Window」>「Package Manager」を選択する。 ![AR Foundationセットアップ](/images/blog/sony_tof_ar/arfoun_setup1.png) 続いて、Package Manager上部の「Packages」にて`Unity Registry`を選択する。続いて、左のリストを下にスクロールしてみつかる`AR Foundation`を選択して、右上にある「Install」をクリックしてインストールする。 ![AR Foundation](/images/blog/sony_tof_ar/arfoun_setup2.png) インストール完了後、下のようなダイアログがでる。バックエンド有効化するかどうか聞いてくるので、「Yes」を押して有効化する。 (Unityが自動で再起動される。) ![AR Foundation警告](/images/blog/sony_tof_ar/arfoun_setup3.png) #### 4. ARCore Extensions for AR Foundation のインストールこの章では、AR Foundationフレームワークの拡張機能である**ARCore Extensions for AR Foundationのセットアップ手順**を記載する。ウィンドウ上部のメニューより「Window」>「Package Manager」を選択する。続いて、Package Manager左上の「 + 」ボタンから「Add Package from git URL…」を選択する。 ![ARCore Extensionsセットアップ](/images/blog/sony_tof_ar/arext_setup1.png) 続いて表示される、入力ボックスに`https://github.com/google-ar/arcore-unity-extensions.git`と入力し、「Add」をクリックしてインストールを開始する。 ![ARCore Extensionsインストール](/images/blog/sony_tof_ar/arext_setup2.png) インストールが完了するとPackage Manager上で以下のように確認できる。 ![ARCore Extensionsインストール完了](/images/blog/sony_tof_ar/arext_setup3.png) #### 5. ARFoundationConnectorのインポートこの章では、ToF ARに同梱されているサードパーティの**ARFoundationConnectorをインポートする手順**を記載する。ウィンドウ上部のメニューより「Assets」>「ImportPackage」> 「Custom Package…」を選択する。次に、ファイル選択ウィンドウで`TofAR.ThirdParty.ARFoundationConnector-vx.x.x.unitypackage`（x.x.xはパッケージのバージョン）を選択して開く。 ![ファイル選択](/images/blog/sony_tof_ar/arfc_import1.png) 次に、すべてにチェックが入った状態で「Import」をクリックし、インポートする。 ![インポート選択画面](/images/blog/sony_tof_ar/arfc_import2.png) #### 6. ARCoreの設定この章では、**ARCoreの各種設定**について記載する。まず、今回使用するXRプラグインの提供元を指定していく。ウィンドウ上部のメニューより「Edit」>「Project Settings...」を選択する。続いて、左のメニューから「XR Plug-in Management」>「ドロイド君タブ」を選択していき、 `Google ARcore`にチェックを入れる。 ![ARCore XR Plugin有効化](/images/blog/sony_tof_ar/google_arcore_settings1.png) 次に、ネイティブライブラリが実行可能なように設定する。左のメニューから「Player」>「ドロイド君タブ」を選択していき、「Publishing Settings」の「Build」にある`Custom Main Manifest`にチェックを入れる。チェックを入れることで、Androidアプリの構成ファイル(`AndroidManifest.xml`)が自動で作成される。 ![マニフェスト作成](/images/blog/sony_tof_ar/create_manifest.png) 続いて、「Project」パネルより「Assets」>「Plugins」>「Android」と移動していき、 `AndroidManifest.xml`をダブルクリックして開く。 ![AndroidManifest](/images/blog/sony_tof_ar/android_manifest.png) 開いたら、6行目にある`application`タグに`android:extractNativeLibs="true"`を追記する。 ```xml:AndroidManifest.xml:sl:{6}

``` ※ `extractNativeLibs`とは？ネイティブライブラリ(C/C++で書かれたHWやOSの機能を直接操作するようなライブラリ)をAPKファイルから抽出し、デバイス上に展開するかどうかを指定するもの。 `true`と設定すると、ビルド時にAPKファイルからネイティブライブラリが抽出され、使用可能な状態になる。一方、`false`と設定すると、APKファイルから抽出されない。また、ネイティブライブラリを展開することがないためアプリのサイズを節約できる。ネイティブライブラリを必要とする場合は、`true`に設定し、ネイティブライブラリを必要としない場合は、`false`に設定するのが一般的。 #### 7. Android SDK - API Level対応に伴うビルド設定この章では、**Android SDK PlatformのAPI Levelに対応するためのビルド設定**について記載する。 ※ API Levelとは Androidバージョンと対応したフレームワークAPIのバージョン的なの。 Androidバージョン毎のAPI Levelは以下から確認できる。 API Level表: https://developer.android.com/guide/topics/manifest/uses-sdk-element?hl=ja#api-level-table まず、ビルドツールであるGradleをインストールしていく。ただし、Unity 2022では自動的にGradleがインストールされるっぽいので、おそらく確認だけで済むかと思う。ウィンドウ上部のメニューより「Edit」>「Preferences...」を選択する。続いて、左のメニューから「External Tools」を選択し、`Gradle Installed with Unity`にチェックが入っていることを確認する。 ![Gradle Installed](/images/blog/sony_tof_ar/gradle_settings1.png) 次に、AndroidManifest.xmlにネイティブライブラリの使用を宣言する記述を追加する。「Project」パネルより「Assets」>「Plugins」>「Android」と移動していき、`AndroidManifest.xml`をダブルクリックして開く。開いたら、以下のように追記する。 ```xml:AndroidManifest.xml:sl::{16-24}

``` 次に、動作させるAndroidのバージョンに対応したAPI Levelを設定する。ウィンドウ上部のメニューより「Edit」>「Project Settings...」を選択する。左のメニューから「Player」>「ドロイド君タブ」を選択していき、「Other Settings」の「Identification」にある`Minimum API Level`と`Target API Level`のそれぞれに、`Android 12.0 (12L, API level 32)`を設定する。 ![API Level](/images/blog/sony_tof_ar/gradle_settings2.png) #### 8. VulkanグラフィックスAPIの無効化この章では、グラフィックスAPIである**Vulkanを無効化する設定**について記載する。 Unityのほうで自動的にEnableとなっているが、ARCoreはVulkanをサポートしていないため、ビルド時にエラーが発生してしまう。そのため無効化する設定が必要となる。ウィンドウ上部のメニューより「File」>「Build Settings…」を選択し、表示されたウィンドウ左下の「Player Settings」をクリック。続けて、Androidタブ(ドロイドくんアイコンのやつ)を選択して、「Other Settings」の「Rendering」で、`Auto Graphics API`のチェックを外し、`Vulkan`を選択した状態で「 - 」ボタンをクリックして削除(無効化)する。 ![Vulkan無効化](/images/blog/sony_tof_ar/vulkan_disable.png) 以上で設定完了。 ### チュートリアルようやく本題。 ToF ARが公式でチュートリアルとして紹介している**Depth映像の表示**をやってみる。 #### アプリ実装「Project」パネルより、「Assets」>「TofAr」>「TofAr」にある`TofArManager`を画面左の「Hierarchy」パネルにドラッグ&ドロップする。また同様に、「Assets」>「TofAr」>「TofArTof」にある`TofArTofManager`も「Hierarchy」パネルにドラッグ&ドロップする。 ![チュートリアル1](/images/blog/sony_tof_ar/tutorial1.png) `TofArManager`は、ToF ARで共通に使われる機能を提供するクラスで、ToF ARを利用するアプリケーションに必須となる。 `TofArTofManager`は、デバイス接続を管理するクラスで、ToFカメラからのデータ取得のために必要となる。続いて、アプリ起動時に自動的にToFカメラからデータ取得を開始するように設定する。「Hierarchy」パネルより、`TofArTofManager`を選択し、画面右の「Inspector」パネル中にある`Auto Start`にチェックを入れる。 ![チュートリアル2](/images/blog/sony_tof_ar/tutorial2.png) 続いて、取得したデータを表示するUIを作成する。「Hierarchy」パネルの「 + 」をクリックし、「UI」>「Panel」と選択し`Panel`を追加する。 ![チュートリアル3](/images/blog/sony_tof_ar/tutorial3.png) 次に、Depthデータを自動的に表示してくれる`DepthViewRawImage`をPanelの子オブジェクトとして追加する。「Project」パネルより、「Assets」>「TofAr」>「TofArTof」>「V0」>「Resources」>「Prefabs」にある`DepthViewRawImage`を画面左の「Hierarchy」パネルの「Panel」上にドラッグ&ドロップする。 ![チュートリアル4](/images/blog/sony_tof_ar/tutorial4.png) #### 動作確認では、先程実装したアプリケーションをデバイス上で実行してみる。前提として、デバイスはUSBデバッグを有効化しておき、PCとデバイスをUSB接続しておく。なお、USBデバッグ有効化の手順は割愛する。まず、ウィンドウ上部にあるメニューより「File」>「Build Settings…」を選択する。次に「Platform」で`Android`を選択してから「Switch Platform」をクリックする。少しの間待ってから、右の画像のように「Build and Run」ボタンが表示されたらクリックし、ビルドと実行を行う。 ![チュートリアル5](/images/blog/sony_tof_ar/tutorial5.png) ビルド完了後、デバイス画面を確認すると下のようにDepth映像が表示された画面を確認することができる。 ![アプリスクショ](/images/blog/sony_tof_ar/app_ss.png) 白色の部分はDepthが正しく取れていないところだ。 ToFセンサの精度があまりよくないのかなんなのかわからないが、正直イマイチなところ.. よりわかりやすくしたデモ動画を作成した。この動画のようなアプリの実装方法を簡単に[Appendix 2. アプリ実装応用](#appendix-2-アプリ実装応用)に記載しておく。 ## 参考 - [ToF AR user manual](https://tof-ar.com/files/2/tofar/manual_reference/ToF_AR_User_Manual_ja.html) - [ToF AR API references](https://tof-ar.com/files/2/tofar/manual_reference/reference_ja/reference/api/TofAr.V0.html) - [GitHub - SonySemiconductorSolutions/tof-ar-samples-basic](https://github.com/SonySemiconductorSolutions/tof-ar-samples-basic/tree/master/Assets/TofArSamplesBasic/ColoredPointCloud) - [GitHub - SonySemiconductorSolutions/tof-ar-server](https://github.com/SonySemiconductorSolutions/tof-ar-server) - [Unity - Manual: Android environment setup](https://docs.unity3d.com/Manual/android-sdksetup.html) - [AR Foundation 向け ARCore Extensions のスタートガイド](https://developers.google.com/ar/develop/unity-arf/getting-started-ar-foundation?hl=ja) - [<アプリケーション> | Android Developers](https://developer.android.com/guide/topics/manifest/application-element?hl=ja) - [GitHub Gist - yatatsu/extractNativeLibsについて.md](https://gist.github.com/yatatsu/b9d76cafc7f84d3364f989304ccb5288) - [API レベルとは | Android Developers](https://developer.android.com/guide/topics/manifest/uses-sdk-element?hl=ja#ApiLevels) - [【Unity】ビルドエラー(You have enabled the Vulkan graphics API, which is not supported by ARCore.)の対処方法](https://qiita.com/rapirapi/items/ccff8e9606e565dd5e96) ## Appendix ### Appendix 1. ToF AR Serverの活用 ToF ARアプリ用のデバッグツール「**ToF AR Server**」を活用して、開発の利便性を向上させることができる。 ToF AR Serverをスマホにインストールし、起動させると、スマホ上のカメラやToFセンサーからデータを取得・送信し、アプリの動作をUnity上で確認できるようになる。これにより、アプリのビルドやデバイスへの転送などの手順を毎回行う必要がなくなる。まず、使用するデバイスにアプリストアからToF AR Serverをインストールする。 ToF AR Server: https://play.google.com/store/apps/details?id=jp.co.sonysemicon.tofar.server インストールが完了したら、ToF AR Serverを起動する。起動すると、下のような画面が表示される。 ![ToF AR Server](/images/blog/sony_tof_ar/tof_ar_server1.png) 次に、Unityに戻って「Hierarchy」の`TofArManager`を選択し、「Inspector」の「Tof Ar Manager (Script)」中にある以下の項目を設定する。 - Enable network debugging: チェック - Debug Server IP Address: - Debug Server Port: ![Server Settings](/images/blog/sony_tof_ar/tof_ar_server2.png) 以上の設定が完了後、UnityのPlayボタンを押してデバッグを開始できる。 ![デバッグ画面](/images/blog/sony_tof_ar/tof_ar_server3.png) (少し実機での見え方と違うけど..) ### Appendix 2. アプリ実装応用 #### Hierarchy ![Hierarchy](/images/blog/sony_tof_ar/appendix2_1.png) - カメラ映像周りの制御・データ取得を行う`TofArColorManager`を追加。 - `TofArColorManager`は`Assets/TofAr/TofArColor`にある。 - カメラ映像を表示する`ColorViewRawImage`をPanelの子オブジェクトとして追加。 - `ColorViewRawImage`は`Assets/TofAr/TofArColor/V0/Resources/Prefabs`にある。 - `ColorViewRawImage`は`DepthViewRawImage`の上位に配置する。 #### Inspector - ColorViewRawImage ![ColorViewRawImage](/images/blog/sony_tof_ar/appendix2_2.png) - 「Width」と「Height」を好みの大きさで設定する。 - Widthはパネルの横幅と同じにした。 #### Inspector - DepthViewRawImage ![DepthViewRawImage](/images/blog/sony_tof_ar/appendix2_3.png) - 「Depth View Material」を`TransparentDepthView`に変更する。 - 「Color」をクリックしてカラーピッカーを表示させ、「A」(Alpha)を好みの値に設定する。

タグ: AR/VRのブログ記事