AR事業

AR事業部では Augmented Reality(AR)技術を応用したサービスやアプリケーションの開発を行っています。

iPhoneやAndroid端末のカメラを通して見た空間に、キャラクターや物体があたかもそこにあるかのように表示されているのを見たことはないでしょうか?
このようなことを実現するのが拡張現実の技術です。 AR技術を使うとインパクトがあるプロモーションを低コストで実現できるので、イベントや商品の販促等で利用されています。

ARの研究の歴史は、1965年ハーバード大学においてDr. Ivan Edward Sutherlandがシースルー式のHMD(ヘッドマウントディスプレイ)を作ったのが始まりだとされています(サザーランド博士は、GUIやオブジェクト指向の元になったインタフェースであるスケッチパッドを発明したことでも有名な先生です)(https://www.youtube.com/watch?v=USyoT_Ha_bA)。

ARの研究が本格化したのは1990年代になってからです。米コロンビア大学において、Steve Feinerらがレーザープリンターの中にどのようにペーパートレイが入っているかをワイヤーフレームCGで合成し、ユーザーのビューにオーバーレイ表示した事例が有名です(Computer Graphics and User Interfaces Lab. of Columbia University, KARMA(Knowledge-based Augmented Reality for Maintenance))。

AR技術で解決すべき重要な課題は、カメラの姿勢(位置と向き)を推定することですが、当時と今とではその解決方法が変わってきています。
1990年代は磁気センサー(POLHEMUS)や超音波センサー、多軸マニピュレータなどの特殊な機器を用いてカメラの位置と姿勢を測位追跡していましたが、2000年台からはARマーカーを利用するものが主流になりました。当時普及したスマートフォンに装備を追加せずに、カメラの位置推定が実現できたので、ARマーカーを利用したARアプリが大流行しました。ただし、 カメラの位置推定を行うにはARマーカーがカメラに写っている必要があるため、追跡範囲に制限がありました。

2017年9月に米Apple社がiOS11を搭載した端末でARを利用できるようにする「ARKit」をリリースしたことを契機にスマートフォンで容易に高度なARアプリケーションを開発できるようになりました。これには、スマートフォンのセンサーとカメラ画像に映ったモノの見え方の変化からカメラ位置を正確に推定する技術が利用されています。ARマーカーを利用せずにカメラ位置を推定するのでマーカーレストラッキングと呼ばれています。ARマーカーにあっ た追跡範囲の制限はありません。要素技術としては、1990年台からあったものですが、カメラのレンズの歪み等の特性を考慮する必要があったこと、計算量が多くリアルタイムにカメラ位置を推定することが困難で、実用化という点では問題がありました。ARKitのリリースで高いクオリティを持ったARアプリが多数提供されるようになりつつあります。ただし、夜間で真っ暗な状況ではカメラに写っているものがないため位置推定ができません。また、例えば夜間に走行している車をカメラでとらえているような状況では、風景の変化がカメラの動きなのか風景の動きか判断が難しくなるため位置推定ができなくなる場合があります。このような問題はありますが、追跡範囲の制限がないためその応用範囲はARマーカーのころとは比べ物にならないくらい広くなっています。

当社でも、AR事業の一つとしてARゲームの開発に取り組んでいます。ここでは、その開発事例としてどのようなアプリなのか、その開発方法や開発課題の解決方法などについて簡単に説明します。

メンバー募集

現在、AR事業部では次期ARプロジェクトに向けて正社員を募集しています。勤務地は新宿区高田馬場になります。詳細はこちらをご覧ください。

アプリのご紹介

ARポータルアプリZombieAR I

開発期間

  • 2018.3 – 2018.5

開発環境

  • Unity 2017 3.1
  • Unity ARKit Plugin
  • Xcode 9.3

ARゲームアプリ ZombieAR II

開発期間

  • 2017.12 – 2018.4

開発環境

  • Unity 2017 3.1
  • Unity ARKit Plugin
  • OpenCV for Unity
  • Xcode 9.3

VR、AR、MRの違い

VRとは

VRの応用例

仮想体験

家や家具などの使い勝手などを仮想的に体験できる。

動画配信

360°の臨場感のある映像を体験できる。

テレイグジスタンス(Telexistence, Tele-Existence)

遠隔臨場感とも呼ばれるVR技術の一つ。1980年台、当時の通商産業省工業技術院の研究員だった舘 暲(現在東京大学名誉教授)によって初めて紹介された。 遠隔で撮影された映像を使って、あたかもそこにいるかのような体験ができる。

ARとは

  • ARとはAugmented Reality(拡張現実)の略称。
  • 現実空間に仮想の映像を合成して、仮想の物体がまさにそこにあるように見せる技術。
  • ユーザの視点に応じて仮想の映像を変える必要があり、これを実現する多様な手法が提案されている。
  • ARマーカーもその一つで、仮想物体を配置位置の決定に利用される。
  • ARデバイスとしては、スマートフォンやARグラス、シースルー型HMDがある。

ARの応用例

地図・ナビゲーション

行先までの経路情報などを表示

情報提供

商品や風景などの映像に商品情報や天気予報、観光情報などを表示

プロモーション

パンフレット等に印刷したARマーカーをスマートフォンアプリで撮影して動画や3Dキャラクタを表示

医療

患者に体内の映像を重ねて表示して教育や腹腔鏡手術などに利用

買い物

洋服を仮想的に試着したり、家具を自宅に仮想的に配置してみたりできる

MRとは

  • MRはMixed Reality(複合現実)の略称。
  • 仮想世界を現実世界に重ね合わせて体験できるようにする技術。
  • ARは現実空間に主眼が置かれているが、MRでは仮想空間に主眼が置かれている。
  • ARは現実世界を仮想映像で拡張するが、MRは現実空間の情報を仮想空間に反映させて自然な仮想空間を体験できるようにしようとしている。
    例:現実の壁を認識して、そこに仮想的な壁を表示し、この壁を食い破ってネズミが出現してくるような体験ができる。
  • MRデバイスとしては、Microsoft社のHoloLensがある。
    ※HoloLensは米国 Microsoft Corporation の、米国およびその他の国における登録商標または商標です。