VAL Logo

グラフィックメディア研究室

本研究室では、機械学習やニューラル・ネットワーク等の人工知能(AI)の基盤技術を導入して、視覚的な情報コンテンツを生成/編集/解析する新たな手法を探求しています。特に、アニメーションやイラストレーション等のグラフィカルなメディア表現から、現実世界の実体や付加価値を創造するための数理モデルやアプリケーションを開拓しています。


研究テーマと代表的業績(最近のものから)


全業績リスト

解析と学習に基づくモーションデータの特徴識別と自動生成

人間の動きを3次元計測して得られるモーションキャプチャデータに対して最先端のAI・パターン認識技術を導入し,舞踏やスポーツ,および技能訓練に役立つシステムの構築や,人間動作の識別,自動生成などの技術に取り組んでいます.

スパース最適化に基づく体表面変形アニメーション(向井智彦氏[首都大学東京]との共同)

High Dynamic Range Images

核ノルム最適化手法を用いた,線形ダイナミクスに基づく体表面の変形を事例学習によってモデル獲得し,実時間で再生できる手法を開発しました.

Efficient Dynamic Skinning with Low-Rank Helper Bone Controllers, ACM Transactions on Graphics (SIGGRAPH 2016)

オプティカル・メディアへの画像処理応用

カラーLEDは照明の表現力を飛躍的に拡大させ,通信手段としての応用も期待されています.今後は,公共や生活の空間に新たな体験やコミュニケーション手段をもたらすメディアとしての価値創造が求められています.本プロジェクトでは画像データに基づく電飾イルミネーションの調光技術,移動ロボット型照明システム,およびカラー照明下のシーン解析技術などを開拓し,先進的な画像処理技術に基づくオプティカル・メディアの創成を目指しています.

スマートイルミネーション/自律型照明調光システム

画像解析・認識技術を応用して,電飾イルミネーションの表示品質を向上させる手法や,肖像画の自撮りを支援する移動ロボット型の照明システムなどを開発しています.また,省エネ性能を考慮したカラー照明の最適制御技術を開発しました.

顔画像からの照明条件の推定と照明ロボット制御への応用, 情報処理学会 CGVI 研究会【優秀研究発表賞】
WYSIWYG Light:実画像を用いた照明の最適制御,情報処理学会 UBI 研究会【優秀研究発表賞】
WISISYG Light demo

屋内照明景観の認知的な再現

カラー照明で照らされた屋内の色味を,通常のカメラで撮影した画像で再現するのは困難です.本プロジェクトでは,HDR画像を用いて色味を認知的に自然に再現する画像変換・合成技術を開発しました.

有彩色照明シーンの色情報を考慮したダイナミックレンジ圧縮, 電子情報通信学会論文誌
Restoration of color appearance by combining local adaptations for HDR images, AIC2015

カラー照明による色彩演出の色印象再現,照明学会全国大会【優秀ポスター発表者賞】

イラストとフォントのスタイル情報学

Web上に画像のデータが氾濫する現代において,イラスト素材やフォント書体のデータも共有化が進んでいます.本プロジェクトではイラストの画調や描画様式,フォントの書体等をスタイルとして捉え,その特徴を数値的および認知的に解明してメディアとしての新たな価値を創造します.
イラスト画像をファブリケーション技術に応用するプロジェクトも開始しています.

スタイルに基づくイラスト画像検索

クリップアート等のイラスト素材画像からスタイルの特徴を抜き出し,類似したスタイルの画像を検索・分類・ランキング表示する手法を開発しました.また,スタイル特徴量に基づくセグメンテーションや,色彩理論に基づく色特徴量の抽出手法などを開発しました.

教師なし距離計量学習を用いたイラスト描画スタイルの比較,電子情報通信学会論文誌
イラスト画像のスタイル識別子生成,情報処理学会論文誌【2015年度論文賞等】
An Unsupervised Approach for Comparing Styles of Illustrations 【Best Paper Award】
クリップアート画像のスタイル分類特徴量 - スタイルに基づくランキング -,VC/GCAD 合同シンポジウム【優秀研究発表賞】

ビジュアル/オプティカルコード

2次元バーコードを用いる代わりに「美的な外観」の画像や絵柄をデジタルカメラ等で撮影することにより,埋め込まれた情報を読み取る技術を開発しました.また,2次元バーコードの不可視性を高めて画像に重畳する技術や,可視光(カラーLED光源)を用いたデータ伝送技術も開発しました.

流線コード

スマートフォンに表示されたカラーコードの残像を読み取ることにより,撮影画像のブレに影響を受けない,身振り動作を交えた情報伝送システムを開発しました.

流線コード:カラーパターンの残像を用いた情報伝達, 電子情報通信学会論文誌

照明カラー変調コード

色彩光源の時空間的な変化パターンをデジタルカメラの撮影動画から認識する技術を発展させ,カラーLED光源を用いた広告システムやイルミネーションに情報を埋め込んで配信するアプリケーションを開発しました.

色調整可能な照明と物体反射光の動画撮影によるデータ送受信,電子情報通信学会論文誌
Virtual Gashapon demo

擬態化バーコード

デジタル広告システム等の大型モニターに表示された映像に動的に変化するバーコード映像を埋め込み,スマートフォンでの撮影動画から情報を読み取る対話的なメディアシステムを開発しました.

Mimetic code using successive additive color mixture, IEICE Transactions on Information and Systems

テクスチャ画像コード

IEEE CG&A

参照画像のパターンマッチによりテクスチャ画像を自動生成する技術を応用して,ドット化された情報コードをテクスチャ画像中に目立たなく埋め込む技術を開発しました.

Texture Synthesis for Mobile Data Communications, IEEE Computer Graphics and Applications

イラスト輪郭線コード

Contour Code

イラストの輪郭線の色を微小に変色する技術を用いて,情報コードの埋め込みと安定な読み取りの技術を開発しました.

図形輪郭線の明度変化を用いた情報埋込,電子情報通信学会論文誌
複数の図形輪郭線の明度変化を用いた情報埋め込み,情報科学技術フォーラム講演論文集

色復元コード

フレーム枠上のビジュアルコードから画像色空間の特徴量を読み出し,撮影画像から原画像の色を復元する技術を開発しました.

色特徴のコード化を用いたカメラ撮影画像の色復元,電子情報通信学会論文誌
Color Restoration with Visual Feature Code, , IWAIT 2011

モーションデータの知的自動生成

モーションキャプチャ・データを用いた知的生成技術として,空間統計学,機械学習,神経振動子等のモデルを導入した手法を提案しました.

空間統計学に基づく動作補間

SIGGRAPH 2005 Pacific Graphics 2007

類似した複数のデータを,空間統計学で提唱された Kriging というデータ補間手法を用いて精度良く合成する手法を開発しました.その研究成果は SIGGRAPH 2005 で論文として口頭発表しました.また,同手法をデータのテンソル積変換に応用した,高精度の圧縮手法も開発しました.
Geostatistical Motion Interpolation, ACM Transactions on Graphics (SIGGRAPH 2005)
SIGGRAPH demo movie
さらにこの手法を多重線型モデルに基づく動作生成の詳細度制御へと発展させ,実時間での高精度かつ効率的な動作補間法を開発しました.
Multilinear motion synthesis with level-of-detail controls, Pacific Graphics 2007

モーションデータの強化学習を用いた動作生成

IEICE 2004

人体構造に合致した階層的な強化学習法を導入して,モーションデータから任意の動きを合成する手法を開発しました.
動作データ学習を用いた仮想人間のキーフレームアニメーション,電子情報通信学会論文誌
モーションデータによる目的関数推定法を用いた仮想人間の動作生成,情報科学技術フォーラム【FIT 船井ベストペーパー賞】
Extensive and Efficient Search of Human Movements with Hierarchical Reinforcement Learning, Computer Animation 2002 (CA 2002)

人体骨格の隠れ構造を用いたデータ駆動型逆運動学

ITE 2005

手先や足先の終端効果器を操作して動きを生成する際に,逆運動学で計算される動きを実測データに近づけるために仮想の副次的な骨格構造を学習する手法を開発しました.

逆運動学の副次骨格を用いた動作生成機構,映像情報メディア学会誌

神経振動子に基づく自律的歩行生成

IEICE 2004

歩行動作のアニメーションにバイオメカニクスの分野で提案された神経振動子のモデルを導入し,物理的な外乱等に対する自律的な動作制御法を開発しました.

神経振動子を用いた歩行アニメーションの自動生成,電子情報通信学会論文誌
Physiological Gaits Controls with a Neural Pattern Generator, The Journal of Visualization and Computer Animation

モーションデータの編集と検索

大量に蓄えられた動作データの検索技術や目的に応じた高度な編集技術を開発することにより,素材コンテンツとしての再利用技術を開拓しました.動作データの配信システム ToMoLoW(TOyohashi MOtion Library On Web)を開発し,可視化技術を用いたデータの直観的な検索機構と共にネット上に一般公開しています.

タイムライン表示を用いた動作データの伝播的編集技術

Symposium on Computer Animation 2009

人間の動作に含まれる姿勢をタイムライン上に効率的に可視化し,類似した動きに対する伝播的な編集機能を備えた対話的なシステムを開発しました.
Pose-Timeline for Propagating Motion Edits, Symposium on Computer Animation (SCA 2009)

リミテッド・アニメーション製作におけるモーションデータの活用

Nodame

日本のアニメーション製作で導入されたコマ落としの手法によって生み出される「リミテッド・アニメーション」の作風を,モーションキャプチャされたデータを自動的にコマ抜きして再現するシステム(MoCaToon:左図)を,戦略的創造研究推進事業(CREST)で開発しました.そのシステムを使用して,アニメーション製作会社および早稲田大学と共同でTV放映作品(のだめカンタービレ)を製作しました.
キャラクタアニメーション制作の高能率化手法,映像情報メディア学会誌
「のだめカンタービレ巴里編」指揮者, CREST「銀河鉄道物語」

帰納的推論モデルに基づくモーションデータの検索

CASA2009

大量のモーションデータから人の動きの規則を自動生成し,機能的な推論計算エンジンを用いて所望のデータを検索する技術を開発しました.

Generating Concise Rules for Retrieving Human Motions from Large Datasets, Computer Animation and Social Agents (CASA2009)

Motion Map:自己組織化マップを用いた大量モーションデータの対話的検索

SCA 2004

大量のモーションデータから抽出された姿勢を自己組織化マップを用いて表示し,対話的にデータ検索するシステムを開発しました.

Motion Map: Image-based Retrieval and Segmentation of Motion Data, Symposium on Computer Animation (SCA2004)

動作・行動のシミュレーション

モーションキャプチャデータを用いて人間の動作や行動をシミュレーションして解析に役立てる技術を開発しました.

認知心理学に基づく群衆シミュレーション

SCA 2004

群知能の行動アルゴリズムとパーソナルスペースの認知モデルを用いて,密度の高い群衆の振る舞いをモーションデータの自動合成を用いてシミュレーションする技術を開発しました.

Psychological Model for Animating Crowded, Computer Animation and Virtual Worlds (Special issue CASA 2005)
心理モデルを用いた集団歩行の自動生成,映像情報メディア学会誌

運動技能の可視化解析システム

IWAIT

空手や水泳等の計測が困難なスポーツにおける動作の推定方法やテニス動作における認知的な動作解析手法等を開発しました.

Animations of Real Swimming via Motion Reconstruction, IWAIT 2011
特徴学習を用いた空手組手の動作識別, 情報科学技術フォーラム

ウェブ上での行動シミュレーション

SIGGRAPH 2003 Web Graphics

動作のシミュレーションにより工場の設備環境の設計を支援するシステムを,ウェブ・アプリケーションとしての開発が可能なミドルウエアとして,情報処理推進機構(IPA)の「未踏ソフトウェア創造事業」により開発しました.

Extensible Task Simulation with Motion Archive, Transactions on Information and Systems of IEICE
Extensible Behavior Simulation with Motion Archive, SIGGRAPH2003 Web Graphics