カメラと画像ノイズ除去

空間内の各点における各方向の光線の強度分布ライトフィールドという .

通常の静止画カメラは,イメージセンサ前方から来る無数の光線が合成された際の輝度値を記録する.合成前の各方向から来る光線の輝度値を記録すれば,図 1 のように被写体を異なる視点から眺めた複数枚の画像 (多視点画像群と呼ぶ) が得られる.

他にも,深度推定,デジタルリフォーカス,全焦点画像の作成など,ライトフィールドを利用することで様々な視覚効果を実現できる.

 

ライトフィールドの取得には,カメラを複数用いる方法カメラを 1 つのみ用いる方法がある.

前者では,複数のカメラを格子状に並べてカメラアレイを構成することで,同一被写体を異なる視点から同時に撮像する.この方法は,カメラアレイが大規模となるため,製造コストや持ち運びの観点であまり実用的ではない.

一方,後者には符号化撮像を用いる方法 とマイクロレンズアレイを用いる方法の 2 種類がある.

 

符号化撮像では,主レンズ (開口面)に光線の透過率を制御するマスクを被せて被写体を撮像し,得られた複数枚の画像から多視点画像群=ライトフィールドを復元する.この方法では,符号化マスクを取り替えながら被写体を視点数以上の回数撮像する必要があるため,撮像時間全体が長くなり,
被写体も静止物体に限定されるという問題がある.

マイクロレンズアレイを利用したライトフィールドカメラには,例えば米国 Lytro 社のLytro Light Field Camera があり,図 2 に示すような光学系が用いられる.図 2 では,一般的なカメラにおけるセンサ位置 (主レンズの焦点面) にマイクロレンズアレイが,更にその後ろにイメージセンサが設置されている.結果として,イメージセンサの各素子には特定方向から到来する光線の輝度値のみが記録されるようになる.

各視点の画像は主レンズの同一箇所を通過した光線の輝度値から得られるため,単一カメラ・単一撮像でのライトフィールドの取得が可能となる.

ただし,視点数を増やすほど 1 視点あたりのイメージセンサ素子数が減る,つまり画像解像度が低下するというトレードオフの関係がある.

 

 

深度推定やデジタルリフォーカスなどを高精度に行うためには,前処理として取得したライトフィールドに含まれているノイズを除去する必要がある.
Liu らは 3 階テンソルを用いたノイズ除去手法を提案した.この手法では,マルチスペクトル画像用に開発された既存のノイズ除去手法のアイディアを,ライトフィールド用に修正して用いている.しかし,ライトフィールドが持つ特性を十分に考慮しきれておらず,特にマイクロレンズアレイを用いて撮像を行った際には端の視点でノイズ除去性能が大きく劣化してしまう.他にも,グレースケールのライトフィールドのみにしか対応していないという欠点もあった…

 

 

北原 大地, 小川 佳瑚, 金銅 美陽, 平林 晃,

4階テンソル構造を利用したライトフィールドノイズ除去,”

第33回回路とシステムワークショップ, 岐阜, Aug. 2020, pp. 41–46.

[Image Processing, Nonconvex Optimization] pdf (preprint)