他人の化粧を自分に転写できるバーチャルメイク技術「PSGAN」　動画にも対応：Innovative Tech

[山下裕毅，ITmedia]

　北京航空航天大学、中国科学院、シンガポール国立大学、シンガポールYITU Technologyによる研究チームが開発した 「PSGAN」は、画像に写る人の顔の化粧を別の画像内の顔へ転写する、深層学習を用いた手法だ。表情やポーズがそれぞれ違っても化粧だけを転写できる。

　これまでもメイクアップを異なる画像で転写する研究は行われており成果も出ていたが、ポーズや表情の違いが大きい画像間では依然として困難で、顔の向きが常に変化する動画への転移はさらに難しかった。さらに化粧の濃淡を制御できるようなカスタマイズはできず、転移する部分は指定できないなど、応用範囲は限られていた。

　これらの問題を解決するために、研究チームは今回の手法でMakeup Distill Network（MDNet）とAttentive Makeup Morphing（AMM）モジュール、Makeup Apply Network（MANet）から構成する学習ベースの新しい手法を提案した。

　まずMDNetを利用して、参照画像からメイクアップスタイルを切り離し、メイクアップマトリクスを作成する。表情やポーズに大きな不一致がある可能性を考慮してそのままでは使わず、AMMモジュールを用いて元画像と参照画像のピクセル間の対応関係を構築し、元画像に適応したメイクアップマトリクスにモーフィングする。最後に適応したメイクアップマトリクスを元画像へ転写する。

　これにより学習したモデルは、表情やポーズが違う画像間でもメイクアップの転移を安定して行い、部分的なメイクアップの転写や、濃淡の調整も可能にする。

　これまでのデータセットでは正面顔のみで構成されたものしかないため、さまざまなポーズや表情、複雑な背景を持つ顔画像を含むMakeup-Wildデータセットを独自に作成し、評価を行っている。

　出力結果を類似研究と定性的に比較した結果、正面顔の場合には明確な違いが分からないものの、ポーズが違う画像間だと精度の向上がみられた。

　また静止画像だけでなく、動画にも適応した実験も行い、良好な結果を達成したという（動画での転写例）。