YAZエンジニアが運営するメディア

(2020.05.29時点)MRグラスの「NrealLight」について知りたくて、ホームページを調べたので、備忘録として残します。

原文は、以下のリンクにあります。
https://developer.nreal.ai/develop/discover/core-features

5つのコアな機能

NRSDKの5つのコアな機能から始めましょう。
「空間コンピューティング」、「レンダリングの最適化」、「マルチモーダルインタラクション」
「開発ツール」、「サードパーティの統合」

空間コンピューティング

NrealLightは、様々なセンターとカメラを使用することで、周囲の環境情報と、ユーザー自身の視覚情報の双方を組み合わせることで、これまでにない高度な体験を構築します。
デジタルの世界と、現実の世界をシームレスに融合させる没入体験を提供します。

6DoF Tracking

6DoFトラッキングテクノロジーは、Nrealグラスの両側にある2つのSLAMカメラを使用して、特徴点を特定します。これらの特徴点が時間とともにどのように移動するかを追跡します。
NRSDKは、これらの特徴点の動きと、メガネのIMUセンサーの読み取り値を組み合わせて、空間を移動する眼鏡の位置と方向の両方を正確に追跡します。
6DoFトラッキングは、開発者にリアルタイムのマッピング構造と、3D点群を提供し、周辺環境の物理構造に関する情報をアプリケーションに提供します。

Plane Detection

平面検出により、NrealLightは、環境内の平面（水平および垂直の両方）を検出できます。
（NRSDK 1.0.0ベータでは、水平面の検出のみが使用可能です）
この平面変換は、継続的に更新され続けるので、メガネが動き回ると、平面が拡張され、複数の平面が重なると1つに統合されます。

Image Tracking

画像追跡により、アプリは物理的な画像を認識し、それらの周りに拡張現実体験を構築できます。
複数の参照画像を、画像データベースに追加することによって、1セッションで、事前学習済みの複数の画像を検出できます。

レンダリングの最適化

NRSDKはバックエンドのレンダリングパフォーマンスを最適化して、システム全体のレイテンシー（通信の遅延）を最小限に抑え、ジャダー（映像のカクカク感）を減らします。それによって、３D酔いのないスムーズで快適なユーザー体験を提供します。
レンダリング機能自体は、自動的に適用されるため、ユーザが有効化したり、調整する必要はありません。

Warping

NRSDKは、Nrealグラスの最後に予測された位置を使用して、レンダリングされた画像をワープし、再投影し、すべてのVSyncの前に表示に送信します。

マルチモーダル相互作用

Nreal Light Controller (3DoF)

直感的な方法で、NrealLightグラスに表示されている仮想オブジェクトを掴むための軽い3DoFコントローラーです。

Nreal Phone Controller (3DoF)

（現在、アプリの開発にはご利用いただけません）
Androidスマートフォンは、NrealLightに接続されている場合、3DoFコントローラーとして機能します。
タッチスクリーンは、ジェスチャーをサポートしており、NrealLightコントローラーと同じ機能を提供します。

その他のNrealLightとのやりとりについては、リンク先を確認してください。

開発ツール

「Emulator」や、「Observer View」などの開発ツールは、アプリケーション開発者のために特別に設計したものです。

Testing Tool / Emulator

※次のNRSDKバージョンで利用可能になる（現行1.3.0には、Emulatorフォルダがありました）
テストツールは、Unityエディターのプレイモードで実行されているエミュレーターのようです。
NrealLightのセンサーによって、通常読み取られる入力を、キーボード、マウス、またはスマートフォンを利用してシミュレートできます。
NRSDKに付属されており、NrealLightの実機がなくても、アプリケーションをテストできます。
エミュレーターは、Unityエディタープレイモードでのテストツールのようなものです。
NrealLightのセンサーによって、通常読み取られる入力を、キーボード、マウス、またはスマートフォンを利用してシミュレートできます。
NRSDKに付属されており、NrealLightの実機がなくても、アプリケーションをテストできます。

Observer View

ObserverViewを使用することで、マーカーで同期された2Dスマートフォンまたはタブレット画面で、NrealLightユーザーが見ている世界を共有することができます。

サードパーティの統合

NRSDKはオープンプラットフォームとして設計されており、プラグインとしてサードパーティのSDKと統合できます。
事例として、RGBカメラからのデータは、サードパーティのSDKが、顔検出アルゴリズムを実行するために利用することができます。

次のステップ

「Quickstart for Android Unity」を読んで、NrealLightで、初めての複合現実アプリケーションを構築する方法を学んでください。