データベースの研究からスタート　一冊の本との出会いが転機に

学生時代は、「文字」と「数字」を扱うデータベースの研究に取り組んでいました。やがてマルチメディアという言葉に表わされるように画像がコンピュータで比較的容易に扱えるようになると、データベースでも画像が使えるようになるべきではないかと考え、次第に画像処理の研究へとシフトしていきました。
映像を扱うようになったきっかけは、一冊の本との出会いでした。当時の指導教官が「この本は面白いぞ」と手渡してくれた『映像の文法』（ダニエル・アリホン著）です。プロが映像をつくる際の演出技法をまとめたもので、緊迫感を高めたいのであれば、こういうカメラワークで、こういう編集をするといったノウハウやテクニックが示されています。当然、画像処理の研究者に向けた内容ではありませんが、私はその本を読みながら「完成した映画から画像処理によってここに書かれているような演出技法を検出できれば、そこから制作者の意図がわかるのではないか」と思いつきました。そんな着想から開発したのが、映画やドラマのダイジェスト映像の自動生成システムです。
ダイジェスト映像の自動生成技術は珍しいものではありませんが、派手なアクションシーンだけを抜き出すのではなく、プロはどういう意図をもってどういう演出をするかという観点から映像を解析し、重要度を判断してダイジェスト映像を生成する点で、これを超えるようなシステムはまだ世に出ていないと自負しています。この手法では、音声を聞かなくても映像解析だけで会話している場面だということも判断できます。
画像や映像が活用されているのは、エンターテイメント分野に限りません。最近では犯罪防止の目的で、街や建物の至るところに監視カメラが設置されています。しかしカメラの設置数は多くても、人がモニターをくまなく見て異常がないかチェックするのでは明らかに限界があります。こういった部分を画像処理技術で自動化し、突きとばす、殴るといった公共空間での特異な行動を検出する研究も行っています。
また医療分野での応用として、X線画像、顕微鏡写真などの医用画像の中から疾患の原因を見つけ出すことにも取り組んでいます。具体的には病原性寄生虫の検出や、急性骨髄性白血病の診断を支援する技術を研究しています。もちろん最終的に診断するのは医師です。その前段階として、画像処理で疾患の疑いがある人を見つけ出すことができれば、医師は確定診断に専念できるわけです。

映像や画像をつくる環境を変え、新しいコミュニケーションを支える

以上は「映像や画像から欲しい情報をより簡単に的確に取り出す」という方向性の研究テーマなのですが、「映像・画像をつくる環境を変える」というアプローチもあります。具体的には、知識や経験がないアマチュアでも、もっといい写真や映像が簡単に撮れるようなカメラシステムを提供しようという研究です。
たとえば写真の場合、アマチュアは見せたい被写体を真ん中に持ってくる、いわゆる「日の丸構図」を多用しがちですが、これでは面白味に欠けます。これに対しプロは三分割法などの基本的な構図を踏まえて撮影しています。
私たちは、市販のカメラを改造してセンサーやタッチパネルをつけ、画像処理によりその場面に適した構図を教えてくれるシステムを開発しました。コンパクトデジタルカメラにも液晶パネルに構図の基準線を表示する撮影アシスト機能はありますが、より踏み込んで、背景など他の要素も含めて今目の前にある風景の構図決定をガイドできるのが、私たちが考案したシステムの特徴です。同様に、プロの撮影技法を踏まえたビデオカメラシステムも開発しています。
今や人間のコミュニケーション手段は言葉に限りません。人々は映像や写真をインターネットにアップロードして、他者と活発にコミュニケーションしています。ただし、肝心の写真や映像が「送り手の伝えたいもの」になっているのかというと、アマチュアの場合はそうとは限りません。こうした点に焦点を当て、送り手と受け手の間で齟齬が生じないような映像コミュニケーションを実現したいというのがこの研究のねらいです。

意図した感性情報表現を助けるビデオカメラシステム

撮影場面に合わせて最適な構図を勧める機能を持ったカメラ

画像処理技術を駆使して、今ある問題を解決する

私はコンピュータシステムと人の接点となる部分に一番興味があり、今ある問題を解決するためにどんな新しい技術を駆使するかということを常に考えています。外から私たちの研究活動を見ると雑多なテーマにあれこれ手を伸ばしているように見えますが、そういう意味で目的は同じなのです。外部から「画像処理技術でこんなことできないか」と相談を持ち掛けられて始まる研究も少なくありません。また学外の医学系の研究者、あるいは海外の大学の研究者と共同で進めているものもあります。
今後力を入れていきたいのは、工業分野での展開です。工業で生産される製品や部品の品質チェックは、まだ目視に頼っている部分があります。画像処理技術を応用して良・不良を自動的に判定できれば、品質向上に役立てることができ、さらに人間は人間しかできない知的な仕事に専念できるようになります。これについてはすでに企業との共同研究がスタートしています。
その一方で、私個人としてはさらに映像表現を深掘りしたいと考えています。映像を解析し、そこに隠されているルールや法則を抽出したい。映像にどんな情報が込められているのか。見る人は知らず知らずに何を感じ取っているのか。そしてそれをどう応用できるのか。そんなことを追求していきたいですね。

国際色豊かな環境で成長を

学生の皆さんには、できるかぎり自分の力でテーマを見つけ、それを追究する意義を認識・理解し、ゴールにたどりつくまでの一連の流れを経験してほしいと思います。もちろん、それぞれの場面で指導はします。そしてぜひ国際会議で発表する機会を持ち、そこでいろんなことを吸収して欲しいと思います。旅行で訪れるのとはまた異なる、貴重な経験になるでしょう。
当研究室には留学生が多く在籍し、タイ、ベトナム、中国出身の正規学生のほか、マレーシアからインターン生も受け入れています。海外の大学の研究者との交流もあります。日本語と英語が飛び交うユニークな環境でもまれることで、大きく成長してほしいと思います。