miyu hosoi

“SONIC PENDULUM” by Yuri Suzuki

ミラノデザインウィーク(2017年4月4日〜9日)期間中、Audi City LabにてQosmoとYuri Suzukiさんのコラボレーションワーク ”SONIC PENDULUM”が展示された。生成されるサウンドにVoiceで参加。

会場はミラノの歴史ある修道院。設置された30個の振り子型スピーカーからは、会場の環境音のピッチを解析しAIが生成したエンドレスなメロディーが流れる。スピーカーから流れる音はそれぞれ異なり、振り子の動きも相まって鑑賞する場所によって聴こえ方が異なるサウンドインスタレーション。

今回はニューラルネットワークの一種 ”Autoencoder” (入力したデータをより少ない次元で表現した上で、入力に近いデータを出力するように学習を進めるモデル)をサウンド生成システムに採用し、会場に設置したマイクで拾った音(振り子から出ている音と、例えば観客の足音や話し声などの環境音)の音程を解析。解析結果をフィードバックされたハーモニーとして再びAutoencoderに入力し、また新たなハーモニーが生成される。この流れを続けることで、エンドレスに揺らぎと平衡状態のバランスが保たれたサウンドが生成される。

加えて会場の状況によって音に揺らぎを持たせるため、「鑑賞者の数」をトリガーに 前述した出力されるメロディに変化を与えている。設置したwebカメラの画像から鑑賞者の数のカウントするためには ”畳み込みニューラルネットワーク – Convolutional Neural Network (CNN)” を用いて、鑑賞者が増えれば増えるほど、入力されたメロディーからずれた(ゆらぎの大きい)メロディーが出力される。

photo by Audi©

Next Post

Previous Post

© 2019 miyu hosoi