研究テーマ | 北原研究室

機械学習/ディープニューラルネットワーク

畳み込みニューラルネットワーク

画像超解像とは，画素数の少ない画像 (低解像度画像) から高周波成分が復元された画素数の多い画像 (高解像度画像) を生成する技術である．

例えば，犯罪捜査においては，防犯カメラなどに写った人物や車の拡大が求められることがある．他にも，生物学分野においては，顕微鏡画像に対して超解像を行い，従来の約 10 倍の拡大率で高精細な画像を生成することに成功している．いずれの分野においても画像超解像では，単に画素数を増やすだけではなく，高周波成分が復元された鮮明な画像を生成することが求められる．

単一画像のみからの超解像は，解が一意に定まらない劣決定逆問題である．画素数を増やす簡単な方法として，最近傍補間，双線形補間，双三次補間などの代数的補間法を用いることが考えられる．これらの手法は非常に高速ではあるが，最近傍補間と双線形補間では高周波成分が全く復元されず，双三次補間でも高周波成分が十分に復元されないため，超解像結果(超解像画像と呼ぶ) が鮮明でないという問題がある．

低解像度画像から失われた高周波成分を精度よく復元するために，大量の低解像度画像と高解像度画像の組からなる学習データを利用する手法が提案されている．Yang らは，学習データを用いて辞書学習を行う超解像手法を提案した．更に，Elad により，この手法における辞書学習アルゴリズムの改良も提案されている．これらの手法では，代数的補間法に比べて鮮明な超解像画像が得られるが，辞書学習と画像生成にかかる時間がどちらも長いという欠点がある….

馬場敦之, 片岡秀公, 北原大地, 平林晃,

“直交射影層を用いた畳み込みニューラルネットワークによる画像超解像,”

電子情報通信学会信号処理研究会, 石垣, Mar. 2018, vol. 117, no. 516, pp. 347–352.

[Image Processing, Machine Learning] official access / pdf (preprint)

松浦功一郎, 平林晃, 北原大地,

“マルチトラック楽曲におけるGANを用いた大楽節の自動生成,”

日本音響学会2019年秋季研究発表会, 草津, Sep. 2019, pp. 1147–1150.

[Audio Signal Processing, Machine Learning] pdf

K. Yoshimoto, H. Kuroda, D. Kitahara, and A. Hirabayashi,

“Deep neural network modeling of distortion stomp box using spectral features,”

Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), Auckland, New Zealand, Dec. 2020, pp. 339–345.

[Audio Signal Processing, Machine Learning] official access / pdf (preprint)

音響処理(音響分離/音源信号復元)

by daichi kitahara

音響分離

音源分離とは，複数の音源信号が混合された観測信号から，混合前の各音源信号を推定する技術である．

特に，音源の混合過程に関する事前情報 (音源やマイクの位置など) がほとんど未知である場合には，ブラインド音源分離と呼ばれる．通常は音源やマイクの位置関係は未知である場合が多く，適用できない手法が多い．

音源信号の混合過程は，時間領域では畳み込み演算となり取り扱いが難しいため，周波数領域で乗算としてモデル化することが多い．過決定条件
(マイク数 ≥ 音源数) 下におけるブラインド音源分離では，周波数ビンごとに，混合系 (混合行列) の逆写像である分離系 (分離行列) を求める分離手法が数多く提案されている．これらの手法では，音源信号の生成モデルを統計的独立性と優ガウス性 (ガウス関数と比較してピークが鋭い性質) に基づいて設計した上で，最尤推定を行うことで分離行列を決定している….

北原大地, 小田亮太, 平林晃,

“混合過程推定にスパース性を利用したブラインド音源分離,”

第62回システム制御情報学会研究発表講演会, 京都, May 2018, 7 pages.

[Audio Signal Processing, Nonconvex Optimization] pdf (preprint)

小田亮太, 北原大地, 平林晃,

“インパルス応答のスパース性を利用したブラインド音源分離,”

電子情報通信学会信号処理研究会, 石垣, Mar. 2018, vol. 117, no. 516, pp. 341–346.

[Audio Signal Processing, Nonconvex Optimization] official access / pdf (preprint)

音源信号復元

信号の時間周波数解析手段として，スペクトログラムが広く用いられている．近年，音声音響信号処理を中心に，振幅スペクトログラムを加工することで所望の時間信号を生成する技術が注目されている．例えば音源分離の分野では，複数の音源が混在した混合音の振幅スペクトログラムに対して，適切な時間周波数マスクを乗じることで，特定音源のみからなる振幅スペクトログラムを推定する手法が提案されている．

推定した振幅スペクトログラムに適切な位相スペクトログラムを付与できれば，特定音源のみを含む時間信号が復元される．

近年，音声音響信号処理において，観測信号を短時間フーリエ変換して得られるスペクトログラムの振幅値を処理し，所望の音源信号を得る手法が数多く開発されている．一方，音楽等の解析に関しては，周波数成分を対数軸上でサンプリングする，定 Q 変換のスペクトログラムが有効である．

しかし，定 Q 変換は逆変換が簡単な閉形式として表現できないため，Griffin–Lim 型のアルゴリズムによって振幅スペクトログラムから音源信号を復元することが困難であった…

中津龍星, 北原大地, 平林晃,

“振幅スペクトログラムからの非Griffin–Lim型音源信号復元手法,”

第34回信号処理シンポジウム, 鳥取, Nov. 2019, pp. 162–165.

[Signal Processing Theory and Methods, Audio Signal Processing, Nonconvex Optimization] pdf (preprint)

カメラと画像ノイズ除去

by daichi kitahara

空間内の各点における各方向の光線の強度分布をライトフィールドという．

通常の静止画カメラは，イメージセンサ前方から来る無数の光線が合成された際の輝度値を記録する．合成前の各方向から来る光線の輝度値を記録すれば，図 1 のように被写体を異なる視点から眺めた複数枚の画像 (多視点画像群と呼ぶ) が得られる．

他にも，深度推定，デジタルリフォーカス，全焦点画像の作成など，ライトフィールドを利用することで様々な視覚効果を実現できる．

ライトフィールドの取得には，カメラを複数用いる方法とカメラを 1 つのみ用いる方法がある．

前者では，複数のカメラを格子状に並べてカメラアレイを構成することで，同一被写体を異なる視点から同時に撮像する．この方法は，カメラアレイが大規模となるため，製造コストや持ち運びの観点であまり実用的ではない．

一方，後者には符号化撮像を用いる方法とマイクロレンズアレイを用いる方法の 2 種類がある．

符号化撮像では，主レンズ (開口面)に光線の透過率を制御するマスクを被せて被写体を撮像し，得られた複数枚の画像から多視点画像群＝ライトフィールドを復元する．この方法では，符号化マスクを取り替えながら被写体を視点数以上の回数撮像する必要があるため，撮像時間全体が長くなり，
被写体も静止物体に限定されるという問題がある．

マイクロレンズアレイを利用したライトフィールドカメラには，例えば米国 Lytro 社のLytro Light Field Camera があり，図 2 に示すような光学系が用いられる．図 2 では，一般的なカメラにおけるセンサ位置 (主レンズの焦点面) にマイクロレンズアレイが，更にその後ろにイメージセンサが設置されている．結果として，イメージセンサの各素子には特定方向から到来する光線の輝度値のみが記録されるようになる．

各視点の画像は主レンズの同一箇所を通過した光線の輝度値から得られるため，単一カメラ・単一撮像でのライトフィールドの取得が可能となる．

ただし，視点数を増やすほど 1 視点あたりのイメージセンサ素子数が減る，つまり画像解像度が低下するというトレードオフの関係がある．

深度推定やデジタルリフォーカスなどを高精度に行うためには，前処理として取得したライトフィールドに含まれているノイズを除去する必要がある．
Liu らは 3 階テンソルを用いたノイズ除去手法を提案した．この手法では，マルチスペクトル画像用に開発された既存のノイズ除去手法のアイディアを，ライトフィールド用に修正して用いている．しかし，ライトフィールドが持つ特性を十分に考慮しきれておらず，特にマイクロレンズアレイを用いて撮像を行った際には端の視点でノイズ除去性能が大きく劣化してしまう．他にも，グレースケールのライトフィールドのみにしか対応していないという欠点もあった…

北原大地, 小川佳瑚, 金銅美陽, 平林晃,

“4階テンソル構造を利用したライトフィールドノイズ除去,”

第33回回路とシステムワークショップ, 岐阜, Aug. 2020, pp. 41–46.

[Image Processing, Nonconvex Optimization] pdf (preprint)

スプライン関数と分位点回帰(数学)

by daichi kitahara

スプライン関数とは，微分も含んだ何らかの連続性条件を満たすように設計された，滑らかな区分的多項式のことである．特に，3 次の自然スプライン関数は，ある種の曲率を最小化する最も滑らかな関数となることから，基礎から応用まで幅広い分野で使用されている．

スプライン関数は，何らかの連続性条件を満たすように設計された区分的多項式であり, 連続な区分的多項式の中で，最も単純なものは折れ線グラフとなるが，「スプライン関数」と呼ぶ際には，2 階微分までの連続性を保証した滑らかな曲線を暗に意味する場合が多い．この理由は，現在最もよく使用されている「3 次の自然スプライン関数」が有する性質にある．3 次の自然スプライン関数は，与えられたデータ点を補間する際に，「2 階導関数の L2 ノルム」という意味での曲率を，他のどんなC2 級の関数よりも小さくすることができる．

この滑らかさに関する最適性と区分的多項式というモデルの単純性及び柔軟性から，スプライン関数は補間・平滑化・回帰分析といった基本問題から，Computer-Aided Design (CAD)・Computer Graphics (CG) といった応用に至るまで幅広い分野で使われている．

北原大地,

“区分的多項式とスプライン関数の基礎—折れ線グラフを曲線にしてみよう—,”

日本音響学会誌, vol. 78, no. 10, pp. 570–577, Oct. 2022.

[Signal Processing Theory and Methods, Spline Smoothing] official access / pdf (preprint)

北原大地,

“スプライン関数の基礎と分位点回帰への応用,”

電子情報通信学会信号処理研究会, Online, Aug. 2020, vol. 120, no. 142, pp. 37–42. (招待講演)

[Signal Processing Theory and Methods, Data Analysis, Spline Smoothing, Convex Optimization] official access / pdf (preprint)

気象レーダー/高精度ビームフォーミング

by daichi kitahara

気象レーダー

局所的集中豪雨の発生頻度は最近 20 年で有意に増加傾向にあり，被害も甚大なものとなっている．
この深刻な気象現象の原因は積乱雲であり，高さが10 キロメートルを超えることもある．一方で，発生から消滅までは10分から30分程度と，短時間で状態が大きく移り変わる現象である．

従来のドップラー気象レーダでは，特定の約 10 から 20 の仰角方向にのみペンシルビームを送信し，対象仰角の気象状態を観測する．全方位を観測するためには，アンテナの向きを変えながら観測仰角数と同じ回数アンテナを回転させる必要があり，5 分から 10 分程度の時間がかかってしまう ．

したがって，局所的集中豪雨を観測するには，時間・空間分解能が不十分であった．

そのため, 時間・空間分解能向上のためにフェーズドアレイ技術とビームフォーミング技術を併用する気象レーダ (Phased Array Weather Radar: PAWR) が開発された．

フェーズドアレイ技術によりアンテナの向きを変えることなく瞬時にビームの送信方向を変えることができ，上空の散乱信号をまとめて一度に受信する．そして，受信した混合信号からビームフォーミング技術により各仰角の散乱信号を抽出する．これによりアンテナを 1 回転させるだけで全天の観測が可能となり，観測時間が 10 秒から 30 秒程度と大幅に短縮された．

北原大地, 森川侑奈, 平林晃, 吉川栄一, 菊池博史, 牛尾知雄,

“フェーズドアレイレーダにおける隣接仰角間の類似性を利用した気象パラメータ推定,”

第32回回路とシステムワークショップ, 東京, Aug. 2019, pp. 129–134.

[Radar Signal Processing, Nonconvex Optimization] pdf (preprint)

D. Kitahara, H. Kuroda, A. Hirabayashi, E. Yoshikawa, H. Kikuchi, and T. Ushio,

“Nonlinear beamforming based on group-sparsities of periodograms for phased array weather radar,”

IEEE Transactions on Geoscience and Remote Sensing, vol. 60, 19 pages, Mar. 2022.

[Signal Processing Theory and Methods, Radar Signal Processing, Convex Optimization] official access / pdf (preprint)

滝本健人, 北原大地, 平林晃, 牛尾知雄,

“フェーズドアレイ気象レーダのための時空間的特徴を利用した高精度ビームフォーミング,”

2020年電子情報通信学会総合大会, 東広島, Mar. 2020, p. 73.

[Radar Signal Processing, Convex Optimization] pdf (preprint)

MRI画像圧縮センシング

by daichi kitahara

MRI

磁気共鳴画像法 (Magnetic Resonance Imaging: MRI)は強力な磁力を利用して生体の内部構造を画像化する装置である．

コンピュータ断層撮影法 (Computed Tomography: CT) と比較して，X 線で被曝しないという利点がある一方で，検査にかかる時間が長いという欠点がある．

臨床現場における MRI 検査では，放射線科医が適切な診断を下すのに十分な情報を得るために，一度の検査で繰り返し時間 (TR) とエコー時間 (TE) の設定を変えて複数種類の MR 画像を取得している．取得頻度が高い画像として，解剖学的構造の描出に長けた T1 強調画像と，病変の描出に長けた T2 強調画像があり,どちらも撮像には 2 分から 3 分程度の時間を必要とする．

CT は数十秒で撮像を終えることから，患者の負担を考慮して，MRI の撮像時間を短縮することが求められている．
MRI では，観測データを時間軸上で順次取得するため，取得データ数を減らすことで撮像時間を短縮できる．削減された観測データに対して通常の画像再構成手法である逆フーリエ変換を適用すると，アーチファクトを含んだ不鮮明な画像が再構成されてしまう．削減されたデータからも鮮明な画像を再構成するために，圧縮センシング(Compressed Sensing: CS) 理論が利用されている.

※圧縮センシング とは，未知の対象信号が適切な表現空間においてスパースになることを利用して，少数の観測信号から対象信号を高精度に復元する技術である.

エッジ情報とLiGMEモデルを用いたマルチコントラスト圧縮センシングMRI

MRI は検査に時間がかかるため，取得データ数を減らして撮像時間を短縮した上で，なるべく高精度な画像再構成を目指す，圧縮センシング MRI が研究されている．

臨床現場では一度の検査で複数種類の MR 画像を撮像するが，Ehrhardt らは 1 種類の MR 画像のみ全データを取得してそのエッジ情報を活用する，マルチコントラスト圧縮センシング MRI を提案した．他の種類の画像は，共通のエッジ情報に基づき少数の観測データから高精度に再構成
される．

Ehrhardt らの手法を近年提案されたLiGME モデルに変更することを提案することで，エッジ情報を考慮した全変動がグループℓ0 擬ノルムに近づくため，大きなエッジを復元しやすくなる．実データを用いた実験で，提案法の有効性を示す

北原大地, 加藤里佳子, 黒田大貴, 平林晃,

“エッジ情報とLiGMEモデルを用いたマルチコントラスト圧縮センシングMRI,”

第35回信号処理シンポジウム, 高知, Nov. 2020, pp. 95–100.

[Medical Image Processing, Convex Optimization] pdf (preprint)

柴田基, 北原大地, 平林晃,

“レベル集合制約を用いた圧縮センシングMRI,”

第8回横幹連合コンファレンス, 京都, Dec. 2017, 6 pages.

[Medical Image Processing, Convex Optimization] official access / pdf (preprint)

学生向けQ&A

by daichi kitahara

情報理工学の魅力・面白さとは、どのような点にあると思われますか？

情報理工学部の魅力は何と言っても、自身のアイディアをプログラムによって具現化する能力を修得できる点です。つまり、1台のパソコンのみで、便利なソフトウェアを開発したり、世界中の誰も考えたことのない事象について検証したりできるようになるということです。そのため、情報理工学部では、「学生がお菓子を食べながらくつろいでいるその横で、パソコンが発熱しながら世界初のプログラムをまさに実行している」というシュールな光景がたびたび見受けられます。

卒業後、情報理工学部で学んだことはどのように役立つでしょうか？

急速に情報化が進んでいる現代社会において、情報理工学部で学んだ知識を全く必要としない業界を挙げることは極めて困難です。程度の差こそあれ、情報通信技術が活躍している領域がどんな業界においてもあると思います。逆に言えば、情報理工学部で教わる知識や技術を自分のものにすることが出来れば、あるゆる業界において活躍できる可能性を持つことになります。

代表的な研究・活動内容、現在の研究テーマについて、教えてください。

一般に、「n個の未知数」（原信号）に対して「n個以上の観測値」が得られれば、未知数と観測値に関する連立方程式から原信号を推定することができます。しかし実際には、「n個未満の観測値」しか得られない状況も数多く存在し、この時に原信号を推定する問題（「劣決定逆問題」と言います）を如何にして解くかが理学・工学上の重要な研究課題となっています。劣決定逆問題に対しても良好な推定結果を得るために、私は観測値に関する連立方程式だけでなく、原信号に関する先験的性質も考慮した「最適化基準」を新たに設計し、それを最もよく満たす信号を原信号の推定値とするアプローチをとっています。

？

これから入学する学生に、どんなことを期待されますか？どう成長してもらいたいですか？

昨今はAI（人工知能）ブームもあり情報系の人材に対する需要が高まっているので、情報理工学部の学生は引く手あまただと思います。しかしながら、ブームはいつか終焉を迎えるものですから、これから入学する学生には「時代の流行り廃りに翻弄されない、いつの時代にも通用する確かな能力」を何か1つでも培って欲しいと思います。

主に研究で使用するソフトウェア/プログラミング言語は何ですか

アメリカ合衆国のMathWorks社が開発している数値解析ソフトウェアでありプログラミング言語のMATLABを主として利用します。