인터랙티브 사운드 & 퍼포먼스 작업
제스처로 소리를 제어하는 작업
Background
녹음된 소리는 정해진 대로 재생됩니다. 연주자나 관객이 움직일 때 소리도 같이 바뀌게 하려면 움직임을 입력으로 받아야 하고 그러려면 코드를 써야 했습니다. 음악 전공에서 컴퓨터공학으로 넘어간 계기가 이 작업이었습니다.
Contributions
움직임을 소리의 입력으로
MediaPipe로 제스처를 인식해 Max/MSP로 넘기고 실시간으로 사운드를 제어했습니다. 무엇을 인식할지보다 어떤 움직임이 어떤 소리 변화로 느껴져야 하는지를 정하는 데 시간이 더 들었습니다.
공간 안에서 위치를 갖는 소리
Unity로 공간 음향을 연동해 소리가 화면이 아니라 공간에서 나는 것으로 들리게 하고, TouchDesigner를 함께 써서 시각과 소리를 같은 값으로 움직였습니다.