ログインしてください

文献・情報検索システム

日本語

ENGLISH

ヘルプ

ログインしてください

  • 詳細情報

マルチモーダルセンシング情報に基づくScene-Aware Interaction 技術

Scene-Aware Interaction Technology based on Multimodal Sensing Information

書誌事項

カテゴリイノベーションする自動車エレクトロニクス
カテゴリ(英)Look at, Innovating Automotive Electronics

翻訳

著者1) 堀 智織, 2) スホン・チェン, 3) アヌープ・チェリアン, 4) 堀 貴明, 5) ブレット・ハーシャム, 6) ティム・K・マークス, 7) ジョナトン・ルルー, 8) アラン・サリヴァン, 9) アンソニー・ヴェトロ, 10) 土屋 政人
著者(英)1) Chiori Hori, 2) Masato Tsuchiya, 3) Siheng Chen, 4) Anoop Cherian, 5) Takaaki Hori, 6) Bret Harsham, 7) Tim K. Marks, 8) Jonathan Le Roux, 9) Alan Sullivan, 10) Anthony Vetro
勤務先1) Mitsubishi Electric Research Laboratories, 2) Mitsubishi Electric Research Laboratories, 3) Mitsubishi Electric Research Laboratories, 4) Mitsubishi Electric Research Laboratories, 5) Mitsubishi Electric Research Laboratories, 6) Mitsubishi Electric Research Laboratories, 7) Mitsubishi Electric Research Laboratories, 8) Mitsubishi Electric Research Laboratories, 9) Mitsubishi Electric Research Laboratories, 10) 三菱電機
抄録我々はEnd-to-End深層学習を用いて、複数のセンサが収集した情報(マルチモーダルセンシング情報)から周囲の状況を機械が自然な言語で理解し、人とより円滑な意思疎通を実現する「Scene-Aware Interaction技術」を開発した。Scene-Aware interaction技術は、カメラで撮影した画像情報、マイクロフォンで集音した音響情報、LiDARやレーダーで取得した位置情報などのマルチモーダルセンシング情報から、何がどこでどのような状態にあるのか、誰がどこで何をしているのか、といった周囲の状況を機械が自然言語で理解し、人間との会話の文脈も考慮して応答文を生成する技術である。本Scene-Aware Interaction技術は、ロボットやモニタリングシステムといった状況理解に基づき人間とインタラクションを必要とする様々なシステムへの応用が期待できる画期的な技術である。本稿では、その応用例として車載の様々なセンサから取得された複数のセンサ情報に基づき状況を理解し経路案内を行うシステムを紹介する。
抄録(英)We have developed a novel “scene-aware interaction” technology capable of highly natural and intuitive interaction with humans using natural language. The system incorporates end-to-end deep learning to both understand scenes and interact with users about them. The technology analyzes multimodal sensing information such as images and video captured with cameras, audio information recorded with microphones, and localization information measured with LiDAR. It understands scenes at the level of “what is located where,” “who is doing what,” etc., for highly natural and intuitive interaction with humans through context-dependent generation of natural language. The interaction technology can be applied to various kinds of applications such as robots and monitoring systems that require interaction based on scene understanding. This paper introduces a car navigation system using the proposed scene-aware interaction technology in which the multimodal sensor information is obtained through car-mounted sensors.

翻訳

検索について

閉じる

検索ボックスの使い方

検索条件は最大5件まで入力可能です。検索ボックスの数は右側の「+」「−」ボタンで増減させることができます。
一つの検索ボックス内に、複数の語句をスペース(全角/半角)区切りで入力した場合、入力した語句の“すべてを含む”データが検索されます(AND検索)。
例)X(スペース)Y →「XかつY(を含む)」

「AND」「OR」プルダウンの使い方

「AND」を指定すると、前後の検索ボックスに入力された語句の“双方を含む”データが検索されます。また、「OR」を指定すると、前後の検索ボックスに入力された語句の“いずれかを含む”データが検索されます。
例)X AND Y →「XかつY(を含む)」  X OR Z →「XまたはZ(を含む)」
AND検索とOR検索が混在する場合は、OR検索が優先されます。
例)X AND Y OR Z → X AND (Y OR Z)
AND検索と複数のOR検索が混在する場合も、OR検索が優先されます。
例)W AND X OR Y OR Z → W AND (X OR Y OR Z)

検索フィルタの使い方

検索結果の件数が多すぎる場合など、さらに絞り込みしたいときに「検索フィルタ」を使います。各項目にチェックを入れると、その項目が含まれるデータのみに検索結果が絞り込まれます。
各項目後ろの「()」内の数字は、その項目が含まれるデータの件数です。

検索のコツ

著者名で検索するときは、「自動車 太郎」のように、姓名をスペースで区切って入力してください。