우리의 뇌파나 심장소리가 음악으로 연주되면 어떨까? 날씨나 지구에서 일어나는 일들이 소리로 표현하면 어떤 소리가 될까? 과학계에서는 정보 데이터의 흐름을 한눈에 파악하는 것이 중요하다. 과거 변동의 흐름들을 통해 앞으로 일어날 변화의 가능성들을 예측할 수 있을 뿐만 아니라 다양한 방향성을 제시하여 보다 효과적인 방안을 구축할 수 있기 때문이다. 하지만, 종종 데이터 수치를 복잡한 표와 도식을 통해 보여주면 그 정보는 딱딱하고 복합적인 형태로 접하게 되어 그 흐름을 한눈에 보기 힘든 경우가 있다. 그런 과학계에서는 새로운 방식의 데이터 프리젠테이션 방식을 시도하고 있다. 이는 소니피케이션(Sonification)이라 하는 방식이다. (한국말로 번역하자면 ‘청각화’라고 할 수 있겠지만 미묘한 의미의 혼동을 막기 위해 여기서는 그냥 영어 본 발음대로 적도록 한다.)

글, 사진 | 한윤정 LA 통신원

에디터 | 이은정(ejlee@jungle.co.kr)

소니피케이션(Sonification)이란 정보 데이터를 소리로 바꾸어서 보여주는 방식이다. 시각에 의존하는 방식이 아닌, 청각을 이용하여 데이터의 흐름을 새로운 감각의 경험으로 전이함으로써 과학적이고 임상적인 정보를 유동적으로 활용하고 있다.

소니피케이션(Sonification)은 사실 꽤 오랫동안 과학계에서 연구되고 사용되어 왔다. 하지만, 요 근래 이 방식은 비단 과학계뿐만 아니라 예술가들과 디자이너들의 새로운 연구과제로 떠오르고 있다. 데이터가 주는 다양성과 예측 불가능한 특성이 예술적 형태로 재 탄생되면서 우리가 생각지 못한 아름다운 결과를 불러일으키는 모습은 꽤나 매력적이기 때문이다. 사실 요 몇 년간 데이터 시각화(Data Visualization)가 많은 미디어 아티스트들과 디자이너, 프로그래머들에 의해 많이 시도되어 오면서 데이터로 그려지는 아름다운 그림들은 열광적인 반응을 얻은 바가 있다.  이제 소니피케이션(Sonification)은 실험 음향학자, 음악가, 과학자들뿐만 아니라 예술가와 디자이너들에 의해 예술적이고 창의적인 방향으로 사용되고 있다. 본 기사에서는 소니피케이션(Sonification)을 이용한 다양한 아트 작품들을 소개하고 그 나아갈 방향에 논의해보려 한다.

앨빈 루시어(Alvin Lucier) – ‘Music for solo performer (1965)’

소니피케이션(Sonification)을 최초로 시도했던 음악가가 있다. 그의 이름은 앨빈 루시어(Alvin Lucier)이다. 그는 최초로 뇌파의 변화를 소리로 변환하여 퍼포먼스를 한 사람이다. 그의 퍼포먼스 ‘Music for solo performer (1965)’를 보면, 자신의 뇌파를 입력값으로 사용하여 드럼비트와 울림소리로 그 뇌파의 움직임을 소리로 표현한다. 우리 귀에는 잘 들리지 않은 매우 낮은 프리퀀시(frequency)로 연주되지만 비선형적인 울림소리가 확장되어서 미세하게 들을 수 있는 수준이고, 녹음하여 기록할 수 있는 정도이다. 하지만 드럼을 나지막하게 울리는 소리와 퍼포먼스 모습이 꽤나 심오하고 섬세하다.

 

Alvin Lucier의 ‘Music for solo performer’ 퍼포먼스 영상

 

마리코 모리(Mariko Mori) – ‘Wave UFO (1999-2003)’

 

일본 아티스트인 마리코 모리(Mariko Mori)는 작품 ‘Wave UFO’에서 UFO처럼 생긴 공간 속에 누워있는 관람객들의 뇌파를 소리로 변환한다. 한 번에 세 명의 관람객들이 공간 속에 들어갈 수 있고 그들은 누워서 자신들의 뇌파소리를 들으며 천장에 나타나는 이미지 프로젝션을 바라보며 가상공간에서의 공감각적 경험을 가진다. 몽환적이고 신비로운 공간 속에서 관람객들은 자신의 뇌파가 형성하는 음악적 소리에 귀 기울이고 우주와 자신 속으로 빠져든다. 무의식적으로 변화하는 자신의 뇌의 움직임이 음악적 소리로 연주된다는 현상이 관람객에게는 꽤나 생소하고 신기한 경험이었을 것이다. 우주와 소리로 교감하는 관람객의 모습을 감상하도록 하자.

2005년 베니스 비엔날레에 소개된 Mariko Mori의 ‘Wave UFO’

 

안드레아 폴리(Andrea Polli) – ‘Sonic Antarctica(2008)’

 

작품 홈페이지 바로가기

   

사운드 아티스트인 안드레아 폴리는 자연환경에서 얻는 데이터를 소리로 변환하고 녹음하여 표현하는 것에 관심이 많다. 특히, 작품 ‘Sonic Antarctica’에서 작가는 2007-2008년 동안 북극의 기후와 날씨 데이터를 조사하여 소리로 변환하여 기록하였다. 특히, 북극에서 불어오는 폭풍과 날씨 변화를 이해하기 위한 시스템을 개발하기 위해 기후 과학자들과 협업을 하여 ‘소리 기록’을 발표하였다. 작가는 북극 곳곳에 설치해놓은 기상 관측소에서 받는 데이터의 전자 신호음과 녹음한 소리, 그리고 그 위에 기상 관계자와의 인터뷰 녹음 기록물을 덧붙여 음반을 제작하였다. 사실 이 작품은 소니피케이션(Sonification)이라 하기에는 녹음된 사운드와 인터뷰 기록에 가깝지만, 작가는 북극이라는 매우 독특한 자연환경에서 끊임없이 바뀌는 날씨 변화를 소리로 표현하고 기록하고자 하였고, 그녀의 음반을 들으면 지구 속에서 일어나는 조용하지만 웅장한 소리들을 한껏 느낄 수 있다. 참고로 작품 홈페이지에 가면 전체 음반을 들을 순 없지만 몇 곡은 무료로 제공되고 있으니 한번 지구의 소리를 들어보도록 하자.

미카 프랭크(Micah Frank) – ‘Tectonic Project’

 

아티스트 홈페이지 바로가기

 

뉴욕 중심으로 활동하는 음악 아티스트이자 프로그래머인 미카 프랭크(Micah Frank)는 뉴욕의 날씨, 옐로캡이라 불리는 뉴욕의 택시의 움직임, 그리고 최근 일본에서 일어난 대지진을 소리로 표현한 소니피케이션 작품으로 각광받고 있다. 특히, 최근의 일본 지진활동의 청각화 작업은 미국 지질학 연구소(U.S. Geological Survey (USGS))의 데이터를 받아와 사용한 것으로 만들어졌다. 지진이 일어난 위치, 강도, 지구 내부의 깊이 등을 바탕으로 한 변수를 통해 실시간으로 소리는 합성되었다. 그의 지진 소리를 들어보면 조용하게 덮쳐오는 해안가의 파도 소리에서부터 시작되어, 유리가 깨지는 듯한 불협화음으로 연결된다. 그리고 곧 엄청난 리듬감 있는 진동으로 이어지면서 마무리 된다. 한편의 서사시 같다. 작가는 결과물은 비록 프로그래밍된 소리이지만 이것은 마치 ‘대자연의 울음소리’와 흡사하다고 표현한다. 정말 지구가 뒤틀리고 고통스러워하면 이런 소리를 낼까?

 

작가의 홈페이지를 방문하면 그가 표현한 지구의 소리를 들어볼 수 있다.

 

PBS에 소개된 미카 프랭크의 작품설명, 사운드, 영상

Tectonic: Earthquakes Generate Music in Realtime from Micah Frank on Vimeo.

Micah Frank

인간의 뇌파, 지구의 유동적인 변화, 날씨의 흐름… 이러한 무의식적, 우연적인 흐름에서 얻어지는 정보가 소리로 변환된다면 그 결과물은 무엇이라 부를 수 있을까? 우연의 효과에 기댄 음악 작곡물? 과학적 데이터에 기반한 단순한 청각화 연구결과물? 아니면 새로운 형태의 청각적 경험을 제공하는 소리화합물? 현재로선 그 어떤 것이라 정확히 정의를 내리긴 힘들 것 같다.

여기서 소개된 작품들은 모두 소리라는 매체와 새로운 과학현상적 정보를 결합한 것에서 비롯되어 창조되었다. 소리를 내기 위해 기존의 악기나 연주를 위한 장비를 사용한 것이 아닌, 전혀 관련이 없는 분야의 정보를 연결 지어 변화하는 데이터에서 오는 예기치 못한 결과물을 창조하고, 그 결과물을 분석하고 다음 현상을 예측하는 것이다.

결국 어쩌면 음악 작곡이나 예술적 결과물은 우리의 무의식에서 비롯되는 것이기 때문에, 이런 우연적인 결과물도 그러한 예술적 창조물과 같은 맥락을 함께 한다고 볼 수 있다. 자연에서 비롯되는 규칙적인 배열과 변수의 영향에 의해 만들어지는 소리의 흐름은, 마치 예술가가 자연에서 영감을 얻어 그려내는 풍경화나 조각과 같은 느낌을 풍길 수 있기 때문이다. 어떻게 보면 인간의 영감에 기대하기 보다, 직접적으로 정확하게 그 영감을 과학적인 방식으로 표현하는 것에 큰 장점이 있겠다. 하지만, 단순한 데이터의 소리 변환은 그것의 단순한 표현방식과 예술적 한계에 부딪혀 발전에 제한이 있을 수 있다.

그렇기 때문에, 현재로서 이러한 소니피케이션을 이용한 작업물이 예술 작품이다 아니다 하는 논의는 중요치 않다. 보다 열려있는 사고방식으로 미디어 아트에서 새로운 장을 열어주는 하나의 새로운 방향이라고 생각할 수 있겠다. 앞으로 다양한 소니피케이션 작업들을 통해 인간의 청각적 경험을 풍부하게 만들어주기를 기대한다.