「ARフェス！」開発裏話〜クライアントエンジニア編〜／注力ポイントをご紹介～
こんにちは！G2 Studios xRディビジョンのS.Tです。
xRディビジョンで研究開発を行った「ARフェス！」のクライアントエンジニアを担当しておりました。
今回は「ARフェス！」を開発する中で、クライアントエンジニアとして注力した点をご紹介します。
はじめに
近年、拡張現実（AR）技術は急激に進化し、様々な分野で新たな体験を提供しています。
本記事では、Unity AR Foundationを使用して作成した「ARフェス！」に焦点を当て、その魅力についてご紹介します。（前回の記事：新感覚 AR LIVE「ARフェス！」）
実際のフェスを体験しているようなライトアニメーション
フェスと言えば、派手なライトアニメーションが魅力的ですよね。
「ARフェス！」では実際のライブのようなリアルなライトアニメーションを作成し、より没入感を味わっていただけるように開発しました。
・AR ならではの課題
AR機能は、通常のアプリケーションより端末への負荷が高くなるため、「最適化」「パフォーマンス」をより重視する必要性があります。
そのため「ARフェス！」では、主に以下の対応を行いました。
・スポットライトの表示数を抑え、演出でカバーする
・スポットライト用のシェーダーを作成し、描画負荷を軽減する
Unityのスポットライトは最大8つまで描画できますが、描画数が増える毎に負荷も増加します。
「ARフェス！」は、キャラクターの動きなどがリアルタイム通信で連動するシステムとなっているため、描画負荷をなるべく抑える必要が発生しました。
そこで、一度に表示されるライト数を制限し、ライトの点滅、切り替え、ウェーブなどのアニメーションを取り入れ、画面のリッチさをキープする構成にしました。
・映像美の向上
「ARフェス！」では、画面の臨場感、映像美を向上させるため、URP(ユニバーサルレンダーパイプライン)のBloomなどを使用しています。画像のような手のオブジェクトを描画した際、手のマテリアルを光らせて、美しさを際立たせています。
URPとは：
Unity 2019.3から導入されたレンダリング方法です。
幅広いプラットフォームに対して最適化がされているのが特徴です。
Unityマニュアル引用：ユニバーサルレンダーパイプライン
・マーカーとの位置調整
「ARフェス！」では、ImageTarget機能によるマーカー画像認識で、AR表示を行っています。今回使用したマーカーは半径20cmにも及び、マーカーとしては大きめのサイズとなっています。
マーカーとは：
ARで３Dモデルなどを表示させる際、目印となる画像になります。
ImageTarget機能とは：
認識した画像などの特徴を捉え続け、端末のカメラを通して表示し続ける機能のことです。
ARGO 引用：AR用語集｜トラッキング
マーカー認識で重要な、特徴点の配置にも苦労しました。
上記のマーカーでは特徴点の検出がスムーズに行かず、画像の大きさも相まってAR表示後の位置ズレが多発しました。そのため、画像全体では無く「G2 Studiosのロゴのみ」をマーカー画像として登録しました。
認識範囲を制限することで特徴点の検出精度も向上し、AR表示後の動作も安定するようになりました。
(※開発の仕様上、特別にアウトラインをつけたロゴを使用しています)
特徴点とは：
境界、エッジの多さなど変化の激しい箇所があたります。
・オクルージョンによる没入感
ARでの没入感を高めるために、オクルージョン機能は不可欠です。
「ARフェス！」では、Unity AR Foundationの機能の1つである「AR Occlusion Manager」を使用しています。
これにより、デバイス視点から見えない場所を計算し、仮想オブジェクトが現実の物体に隠れるような遮蔽効果が実現されます。
オクルージョン機能とは：
後ろの物体を手前の物体が隠す状態のことを言います。
ARGO 引用：オクルージョン - AR用語集
まとめ
今回は、クライアントエンジニアの立場から「ARフェス！」を実装するにあたって注力した点をピックアップしました。映像美を追及したライトアニメーションやオクルージョン機能を追加することで、実際のライブのようなリアルな表現ができ、より没入感を味わっていただけるようになります。
ARアプリケーションを作成する際のお力添えになれば幸いです。
次回のxRマガジンでは、サーバーエンジニアから見た「ARフェス！」について配信します。
是非、そちらもご覧ください！
▼G2 Studiosについてはこちら