메뉴바로가기본문바로가기

동아사이언스

[주말N수학] 예술가가 알고리즘을 공부하는 이유

통합검색

[주말N수학] 예술가가 알고리즘을 공부하는 이유

2020.08.29 14:00
팀랩의 작품 ‘경계 없는 세상’의 일부. 숲, 산, 계곡에서 도착한 물이 폭포가 돼 관객이 모인 바위 위로 떨어진다. 물의 움직임은 수학적으로 계산돼 있고, 스크린에 손을 대면 물줄기의 흐름이 바뀐다. teamLab Borderless, Tokyo ⓒ teamLab  제공
팀랩의 작품 ‘경계 없는 세상’의 일부. 숲, 산, 계곡에서 도착한 물이 폭포가 돼 관객이 모인 바위 위로 떨어진다. 물의 움직임은 수학적으로 계산돼 있고, 스크린에 손을 대면 물줄기의 흐름이 바뀐다. teamLab Borderless, Tokyo 제공

일본 도쿄의 인공섬 오다이바에는 ‘빛의 놀이터’라 불리는 독특한 미술관이 있다. 그림이나 조각 대신 꽃, 파도, 나비 등 자연을 표현한 영상이 공간을 가득 메우고 때때로 홀로그램이 나타난다. 화려한 영상에 푹 빠져 손을 뻗으면 꽃에 앉아있던 나비가 날아가 버리고 물길 한가운데 서 있으면 물이 관객을 비껴간다. 심지어 스크린에 그린 물고기가 살아나서 화면 속을 헤엄치기도 한다. 공간이 예술 작품인 이곳은 예술가, 수학자, 컴퓨터 애니메이터 등으로 구성된 다국적 예술가 집단 ‘팀랩’이 만든 미디어아트 뮤지엄이다.

 

화가가 멋진 그림을 그리기 위해 새로운 재료와 화풍을 연구한다면 뉴미디어아트 예술가에게 미술 도구는 ‘알고리즘’이다. 뉴미디어아트 예술가는 기계학습 같은 새로운 알고리즘 기법을 익힌다. 어떤 작품을 만들기에 프로그래머도 아닌 예술가가 알고리즘을 배우는 걸까.

 

알고리즘을 활용한 예술, 뉴미디어아트


팀랩이 만든 예술 작품을 흔히 ‘뉴미디어아트’라고 한다. 컴퓨터, 텔레비전, 음악, 비디오 등의 디지털 미디어를 활용해 만든 예술 작품인 ‘미디어아트’ 중에서도 컴퓨터를 주로 활용해 만든 작품을 뜻한다. 뉴미디어아트의 특징은 터치스크린, 증강현실 같은 디지털 기술을 활용해 작품을 만들고 알고리즘을 이용해 관객이 작품과 상호작용할 수 있도록 하는 것이다. 알고리즘이란 어떤 값을 입력했을 때 원하는 결과가 나오도록 만든 규칙의 집합이다. 


예를 들어 관객의 행동이나 표정을 인식해 스크린 속 영상이 바뀌는 작품을 만들고 싶다면 관객의 행동이나 표정이 입력값이고 화면에 표시되는 영상은 결괏값이다. 이 결괏값이 원하는 대로 나오도록 알고리즘을 만들어야 한다. 예술가가 작품을 통해 나타내고 싶은 메시지는 예술가가 정한 알고리즘의 계산 절차에 따라 바뀌는 것이다. 


팀랩은 이메일 인터뷰에서 “알고리즘과 영상, 홀로그램 같은 미디어 기술은 예술 작품을 만드는 중요한 도구”라며 “과거 그림과 조각으로만 표현하는 방식에서 벗어나 폭넓은 표현을 가능하게 한다”고 말했다.

 

새로운 표현은 새로운 알고리즘에서

 

양 작가는 2014년 발표한 ‘뛰는 여인들’을 만들 때 한 물체가 다른 물체의 움직임을 참고해 움직이는 ‘광학 흐름 알고리듬’을 직접 개발해 활용했다. 광학 흐름 알고리듬은 실제 촬영한 발의 움직임을 벡터장으로 만들고, 잘게 쪼갠 발의 조각들이 이 벡터장에 맞춰 움직이게 한다. 벡터장은 공간에 있는 점들의 움직임을 방향과 크기를 가진 벡터로 나타낸 것이다. 양민하 제공
양민하 작가는 2014년 발표한 ‘뛰는 여인들’을 만들 때 한 물체가 다른 물체의 움직임을 참고해 움직이는 ‘광학 흐름 알고리즘’을 직접 개발해 활용했다. 광학 흐름 알고리즘은 실제 촬영한 발의 움직임을 벡터장으로 만들고, 잘게 쪼갠 발의 조각들이 이 벡터장에 맞춰 움직이게 한다. 벡터장은 공간에 있는 점들의 움직임을 방향과 크기를 가진 벡터로 나타낸 것이다. 양민하 제공

뉴미디어아트 예술가는 작품을 구상하는 것부터 만드는 것까지 일반적인 화가와 작업 방식이 다르다. 가장 먼저 관객에게 전달하고 싶은 메시지를 떠올리는 건 같지만, 작품에 필요한 설치물을 만들 때는 건축가처럼 설계도를 그려야 하고 이후에는 프로그래머처럼 알고리즘을 만들어야 한다. 


2014년 올해의 예술가상을 받은 국내 뉴미디어아트 예술가인 양민하 작가는 설치물 제작부터 전기회로 설계, 알고리즘 코딩까지 작품에 필요한 모든 요소를 직접 만든다. 양 작가의 대표 작품인 ‘묵상’은 화면에 놓인 3개의 소리 장치로부터 소리의 파동이 빛으로 표현돼 나오고 소리 장치 가운데 달린 센서가 관객의 동작을 인식해 그 움직임에 맞춰 빛이 왜곡되도록 만들었다. 


파장을 표현한 빛이 자연스럽게 왜곡될 수 있도록 양 작가는 ‘펄린 노이즈 알고리즘’을 활용했다. 펄린 노이즈 알고리즘은 1980년대 켄 펄린 미국 뉴욕대학교 컴퓨터공학과 교수가 지형이나 눈 같은 자연 현상을 현실감 넘치게 표현하기 위해 개발한 알고리즘이다.

 

예를 들어 산맥에 있는 산의 높이는 무작위하면서도 특정 구간 안의 값을 가져야 한다. 말도 안 되게 들쭉날쭉하면 각각이 산처럼 보이지 않기 때문이다. 이를 구현하기 위해 수의 크기 차이가 들쭉날쭉한 일반 난수가 아닌 수의 크기 차이가 작은 난수를 만드는데 이때 미적분학 같은 고급 수학 이론이 쓰인다.


최근에는 많은 알고리즘이 무료로 인터넷에 공개돼 있어 쉽게 활용할 수 있지만 작품에 딱 맞는 알고리즘은 대부분 새로 개발해야 한다. 필요하면 알고리즘을 만들기 위해 새로운 코딩 언어도 배워야 한다. 


양 작가는 “새로운 기법은 곧 새로운 표현 방식”이라며 “뉴미디어아트의 특성상 매년 새로운 언어나 알고리즘 기법을 익혀야 한다”고 말했다. 

 

알고리듬이 발전하면 예술도 발전한다

 

2009년 프랑스 엥겔레뱅에서 열린 미디어아트 비엔날레 출품작 ‘묵상’. 알고리듬을 이용해 소리를 동그란 파형으로 나타낸 뒤 관객의 움직임에 맞춰 파형이 왜곡되도록 만들었다. 양민하 제공
2009년 프랑스 엥겔레뱅에서 열린 미디어아트 비엔날레 출품작 ‘묵상’. 알고리즘을 이용해 소리를 동그란 파형으로 나타낸 뒤 관객의 움직임에 맞춰 파형이 왜곡되도록 만들었다. 양민하 제공

최근에는 인공신경망, 지도 학습 등 기계학습을 활용한 알고리즘이 속속 등장하면서 뉴미디어아트에도 새로운 작품들이 등장하고 있다.


예를 들어 여러 이미지를 학습해 새로 입력한 이미지를 정확하게 분류하는 기계학습 알고리즘을 이용해 서울 하늘에서 얼굴 형상의 구름을 찾아 실시간으로 보여주는가 하면, 꽃 사진을 늘리거나 뒤틀고 조각낸 뒤 인공지능이 꽃이라고 인식한 사진으로 ‘어디까지 꽃이라고 할 수 있을까’라는 주제로 전시를 열기도 한다. 또 시간의 흐름에 따라 변화하는 데이터를 분석해 그 특징을 찾는 순환 신경망(RNN)을 이용해 새로운 형태의 음악을 만든다.


알고리즘뿐 아니라 수학, 공학 분야의 최신 기술들은 뉴미디어아트와 서로 함께 발전하는 관계다. 예술과 수학, 과학, 공학과의 융합을 선도하는 미국 매사추세츠공과대학교(MIT)의 연구소 ‘미디어랩’은 새로운 기술을 개발하면 그 기술로 예술 작품을 만든다. 예술가가 참신한 발상으로 기술을 활용하는 점을 이용해 생각하지 못했던 오류를 발견할 수 있기 때문이다.


이처럼 뉴미디어아트는 나날이 진화하고 있다. 팀랩은 “우리가 창의적인 작품을 만들 수 있는 비결은 경계 없이 지식을 공유하기 때문”이라며 “점점 발전하는 알고리즘과 미디어 기술로 관객들이 전에 없던 경험을 할 수 있는 작품을 만들려고 노력한다”고 밝혔다.

 

● 양민하 작가 "나노공학 발전으로 미시세계 예술도 등장할 것" 

 

 

Q. 뉴미디어아트에 빠진 이유가 뭔가. 


"어린 시절 만화가가 꿈이었다. 하지만 부모님이 만화보다 미술을 공부하기를 바라셔서 고3 때부터 미술을 시작했고 디자인을 전공했다. 대학교 2학년 때 MIT 미디어랩이 만든 작품을 보고 컴퓨터 알고리듬을 이용해 예술 작품을 만든다는 것을 알게 됐다. 처음부터 끝까지 혼자 하는 성격이라 코딩과 수학을 익히면 작품을 혼자 만들 수 있어서 매력을 느꼈다."

 

Q. 수학도 많이 활용하나.


"알고리즘을 만들 때 ‘행렬’과 ‘삼각함수’ 개념을 정말 많이 쓴다. 움직임은 대부분 방향과 크기를 함께 나타내는 수학 개념인 ‘벡터’로 나타내니까 벡터를 연산하는 ‘내적’이나 ‘외적’ 같은 개념도 알아야 한다. 기계학습은 무료로 공개된 코드를 활용하면 되지만 깊게 이해하고 응용하려면 미적분도 익혀야 한다."

 

Q. 알고리즘을 만드는 게 어렵지 않나.


"고3 때까지 이과여서 알고리즘이나 수학에 익숙한 건 맞지만 그렇다고 쉽진 않다. 최근에는 기계학습을 공부하고 있는데 공부할 게 많아서 좀 무서울 정도다."

 

Q. 과학 기술이 앞으로 예술에 어떤 영향을 줄까.


"인공지능과 빅데이터 등이 예술에 끼친 영향은 상상하기 어려울 정도다. 앞으로 다가올 인공지능 시대에는 인공지능이 작품을 보고 특징을 쉽게 파악할테니 작가 고유의 표현 방식도 사라질지 모른다. 하지만 컴퓨터가 뉴미디어아트를 발전시켰듯 새로운 기술은 곧 예술의 새로운 재료가 될 거고 나노 공학이 발전하면 ‘미시 세계의 예술’ 같은 새 분야가 등장할 수도 있을 거다."

 

※관련기사

수학동아 8월호,  예술가가 알고리듬을 공부하는 이유

관련 태그 뉴스

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

댓글 0

3 + 10 = 새로고침
###
    과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기