Google Cloud Platform

Perfume とライゾマティクスの新たな試みを支える Google の機械学習

Google Cloud デベロッパーアドボケイト 佐藤一憲

3 月 20、21 日に NHK ホールで開催された Perfume のライブ ステージ「Reframe」。このステージは、NHK が東京オリンピック・パラリンピックに向けて文化面においても機運を高めていくイベント「This is NIPPON プレミアムシアター」の一環として開催したもので、NHK と Perfume がこれまで生み出してきたパフォーマンスの最新テクノロジーによる「再構築」をテーマに、インタラクション デザインを担当したライゾマティクスによるドローンや AR 技術をふんだんに投入した演出が話題となりました。

Reframedhoy.PNG
Perfume ライブ ステージ「Reframe」とライゾマティクス チーム
NHK Perfume x TECHNOLOGY Web サイトより)

今回のイベントでのライゾマティクスによる新しい試みのひとつが、Google の機械学習技術を応用したステージ演出です。同社を率いる真鍋大度氏は次のように説明します。「Perfume のミュージックビデオや歌詞データと機械学習技術を用いた演出を以前より考えていましたが、今回『Perfume を再構築する』ということがメインのテーマになりテーマと技術が合致したのでチャレンジしてみました。Google は継続的に『機械学習とアート』に関わるプロジェクトを手がけているので、我々がやっていることとも親和性が高いのではと考えていました」(真鍋氏)

ミュージックビデオのシーンを Cloud Vision API で類似検索

その試みのひとつが、Google の画像認識サービス Cloud Vision API によるミュージックビデオ シーンの類似検索です。ライブ ステージ開催に先立って、NHK Perfume x TECHNOLOGY Web サイト上で「Reframe Your Photo」と題し写真を一般から公募。アップロードされた約 23,000 枚の写真をリアルタイムに画像解析し、Perfume のミュージックビデオの類似したフレームを検索するインタラクティブ コンテンツとして公開されたほか、ライブ当日はステージ上の演出素材としても効果的に活用されました。

0sfFS_GsW2qW_X82y872mMLk0Gy56NffMoEaj40qYALLBLBSNyg2A_olShEEhGhgeIhgArZgbXtBDK7s3VeJ41IBlgohLkdwRpLO1yTm4w-BGgGahXFszOqAIAFXx5WdyIsFOeGrwlbs.PNG
shU0f-muZNLr1W0aPdd_IrSn2B3bDW2zTvOJW25CUIazI7hapeFGqebMtPtddXllG0oHSxeT5j8XaWha82KK9ENCChumB84_SlRNP9p7D06rE9Fx84urpBvyeiG4sytiUIy_MW_i5uls.PNG
一般公募で寄せられた写真を Cloud Vision API で解析、
ミュージックビデオのシーンを検索
NHK Perfume x TECHNOLOGY Web サイトより)
dBwk5B4gdwzHKUK0EfiQboBhXpV2NsDK9yUYqZ4DWrC7W3KdkbupDaDzaGPqSrriKN6PKilBTusEl6Q6wwzj6HHLB_tlnUiNI1ZVG8CvqEf0o7ZUYn_cQhc3rgxnj2e5a5fGPAP1bytd.PNG
Cloud Vision API で解析した写真をステージ演出で使用
NHK Perfume x TECHNOLOGY YouTube 動画より)

このコンテンツの実装には、Vision API が利用されています。開発を担当したライゾマティクスのエンジニア浅井 裕太氏は、次のように説明します。「『Reframe Your Photo』では、アップロードされた写真に対して Vision API によるラベルと色属性の検出を行い、ミュージック ビデオのフレームと照合して近いものをリアルタイム検索するシステムを構築しました。またセーフサーチ検出(不適切画像の検出)も合わせて利用しています」(浅井氏)

また Vision API を選んだ理由について、浅井氏はこう説明します。「選定にあたっては他社のサービスとも比較検討を行なったのですが、導入の容易さ、精度の高さから Vision API を選択しました。不適切画像を的確に除外できたほか、スケーラビリティが高いためサイト公開時の負荷集中も難なくさばくことができました」(浅井氏)

TensorFlow による画像特徴抽出でコラージュを構成

サイト上で公開されたもうひとつのコンテンツが「Reframe Visualization」です。これは Perfume のこれまでのミュージックビデオを構成する膨大な数のフレームを切り出し、機械学習を用いてコラージュ画像を自動生成するというもの。ここでは、Google の機械学習ライブラリ TensorFlow が活用されています。

myb6X7U7mlygjqeZ6LMiW80Bl2IPUxWbJjgUgIoBdqFMWSsI_IFNqAHUm6soTvhxRMldHqz7MXyL1yeTAU8SbRqumc9iFdpJE_qeqqxDiLSzYXOZtNjXerbcTKdV9pTuYTlGBxDYbd2h.PNG
CekqZVkecn_Bs6qaaC5DLhWF4cdpMRmpwkO1-ukZpqAXYtyvkw5nl665dDTpHjDY7BvBUHLgaJVc3h10goo30nYPWQmQI2XHqt32C4mDZSJ_rKGjtklxN_c0yE7fCFv0OTYOFRBRsqk4.PNG
TensorFlow による特徴ベクトル抽出が応用された「Reframe Visualization」
NHK Perfume x TECHNOLOGY Web サイトより)

このコンテンツで用いられた手法について、浅井氏は次のように説明します。「Perfume のすべてのミュージックビデオをフレーム画像として用意し、TensorFlow でディープラーニングによる画像認識を適用しました。その時に認識結果として得られる 2048 次元の特徴ベクトルを抽出し、t-SNE により 2 次元空間に次元削減しています。この手法により、画像に含まれる色や形、パターン等の『画像の特徴の近さ』が、2 次元空間上の距離の近さにマッピングされ、コラージュが生成されます」(浅井氏)

これは文字通り、 Perfume がこれまで生み出してきたパフォーマンスの「再構築」に機械学習技術が効果的に活用されているコンテンツと言えます。

ライゾマティクスが Google の機械学習に期待すること

真鍋氏によると、今回のイベントでは「まだまだやり足りなかったこと」があるといいます。

_bjaA6mn4SdfKQcJqWC8EIIgO8oW5-ev9AQ4PEYjlZF_4l0Iz_S6FdXnGC2FnFUJqxtfK8vMcRybpDx9itAdjVtkuRAcuV_dIaCWDH9Ankg-NBjxtxbExdBgnVAvo59I5Ro2frLy5qy6.PNG
ScR-KCaxrtF9TA1d0nR_cD9W6NaNHNB2VJjs-s8Gh2PnWSAin9JCeeqC8hufduxTNoUN3l4vkE01I2iLH2scqcNCv_7iWYC6HSli6niXK7Ns8elxDv7u8oj4Rrrqfj0QXLfCL4NU51oq.PNG
ライブステージのリハーサルに参加するライゾマティクス真鍋氏

「ひとつ間に合わなかったのが、Cloud AutoML Vision による高精度のカスタム画像認識の応用です。次の機会にはぜひチャレンジしてみたい。その他にも、学習結果だけでなく学習過程自体の面白さをうまく使ったり、最近発表された姿勢推定などの新技術の応用も探っていきたいと思います。今回は Google からの的確なアドバイスによってプロジェクトをスムーズに進めることができましたので、今後もライゾマティクスの新たな試みを支えていただけると嬉しいです」(真鍋氏)