https://www.youtube.com/embed/E3Yo7PULlPs

영화 역사에 길이 남을 상징적인 오프닝 장면 중 하나를 떠올려 봅시다. 바로 오리지널 ‘스타워즈 에피소드 4’의 첫 장면입니다. 이 장면은 그야말로 에픽이었고, 영화 제작 시대의 새로운 지평을 열며 정의를 다시 썼습니다. 게다가 완벽하게 디자인되었죠. 이 장면 뒤에는 여러분이 아실 수도, 모르실 수도 있는 특수 카메라 장비, 바로 다익스트라플렉스(Dykstraflex)가 있었습니다. 이 컴퓨터 제어 모션 컨트롤 카메라는 혁신적이었습니다. 무대 간 이동이 가능했고, 역사상 처음으로 모델과 미니어처에 다이내믹한 카메라 움직임을 가능하게 했습니다. 이 또한 당시 영화 제작 시대를 재정의했습니다.

기술 변화의 새로운 시대와 VFX 아티스트의 고민

오늘날 우리는 새로운 기술 시대로 진입하고 있습니다. 하지만 과거처럼 영화의 스펙터클한 오프닝 장면으로 기술을 접하는 대신, 언론 기사를 통해 이를 접하고 있습니다. 35년 이상 시각 효과 아티스트로 일해 온 저에게는 이러한 헤드라인들이 다소 실망스럽습니다. “AI가 온다. 우리의 일자리를 위협한다. 도구도 꽤 좋아지고 있다”는 식의 이야기들이 주를 이룹니다.

TED 컨퍼런스에서 찍혔다는 이 사진들을 보십시오. 물론 이 컨퍼런스는 실제로 열리지 않았습니다. 단순히 텍스트 프롬프트로 이미지를 생성하는 시스템으로 만들어진 사진입니다. 그림자, 조명, 심지어 손가락이 다섯 개라는 사실까지, 얼마나 많은 디테일을 정확하게 구현하는지 보십시오. 손은 마치 중요한 점을 강조하는 것처럼 미묘하게 모션 블러 처리되어 있습니다. 정말 많은 디테일을 잡아내고 있습니다.

하지만 저는 영화 작업을 하니, 당분간은 안전할 거라 생각했죠. 시간이 좀 걸릴 테니까요… 하지만 여러분도 아시다시피, 구글, 메타, 오픈AI 등 모두 정교한 비디오 생성 시스템을 선보이고 있습니다. 이는 우리가 현재 영화에서 3~5초짜리 장면 하나를 만들기 위해 여러 명의 아티스트가 몇 주 동안 프레임별로 작업하는 것과 같은 일을 할 수 있는 것처럼 보입니다. 이는 매우 위협적일 수 있습니다. 물론 AI의 미래에 대해 약간의 우려를 하는 것은 우리뿐만이 아닙니다.

ILM의 DNA: 아티스트 주도 혁신

하지만 우리는 이런 상황을 겪어본 적이 있습니다. 저는 이것이 기술과 예술의 흥미로운 ‘충돌’이라고 생각합니다. 조지 루카스가 50년 전 자신의 영화 속 시각적 스토리텔링 문제를 해결하기 위해 설립한 시각 효과 회사, ILM(Industrial Light & Magic)을 떠올려 봅니다. 그는 그곳에서 아티스트와 엔지니어를 나란히 앉혀 협력하게 함으로써 미래를 혁신하고 창조했습니다. 이것이 바로 ‘아티스트 주도 혁신’입니다. 저는 이것에 대해 열정적입니다.

오늘 우리는 ILM의 50년 역사를 되돌아보고, 그 기간 동안 영화계의 판도를 바꾼 몇 가지 사례를 살펴보겠습니다. 그리고 이를 통해 보편적인 주제들을 도출해내려 합니다. 마지막으로, 아티스트가 최신 생성형 AI 도구를 사용하여 만든 단편 영화를 처음으로 공개하며 우리가 나아가고 있는 궤적과 나아가야 할 궤적을 보여드리겠습니다.

쥬라기 공원과 인디아나 존스: 기술 융합의 사례

시계를 쥬라기 시대로 되돌려봅시다. 아니, 진짜 쥬라기 시대가 아니라 저의 쥬라기 시대, 1993년 ‘쥬라기 공원’의 시대로 말입니다. 이 영화에서는 가능한 한 많은 실물 크기 공룡을 세트장에 사용하려 했습니다. 이 영화는 정말 놀라웠고, 시각 효과 작업 방식을 재정의했습니다. 하지만 처음부터 계획된 것은 아니었습니다. T-렉스처럼 실물 크기 공룡이 달리는 장면처럼 실제로는 불가능한 장면에는 스톱모션 애니메이션을 사용하려 했습니다.

하지만 어느 날, 제작자인 캐슬린 케네디가 ILM 복도를 지나다가 모니터에서 반복되는 테스트 영상을 발견하면서 모든 것이 바뀌었습니다. 아티스트들은 그녀가 보기를 바라며 모니터를 설치해 두었습니다. 초기 CG(컴퓨터 그래픽) 기술이었습니다. 이 영상은 가능성이 충분해 보여 피부와 조명을 더한 테스트를 의뢰했습니다. 시각 효과 슈퍼바이저 데니스 미렌과 유명 스톱모션 애니메이터 필 티펫은 이 테스트 영상을 스필버그와 캐슬린 케네디에게 보여주었습니다. 스크리닝 룸에서 몇 번 반복해 본 후 불이 켜지자, 그들은 영화 역사가 바뀌었음을 직감했습니다.

스필버그는 티펫을 바라보며 그의 표정을 살폈습니다. “기분이 어때, 필?” 필은 대답했습니다. “멸종되는 기분이야.” 스필버그는 그의 대사를 닥터 그랜트에게 주어 영화에 넣었습니다. 오늘날 많은 아티스트들이 비슷한 멸종의 위협을 느끼고 있습니다. 하지만 좋은 소식은 이것이 쥬라기 공원에서 실제로 일어난 일이 아니라는 것입니다. 혁신은 오래된 기술과 새로운 기술이 융합될 때 번성합니다. 쥬라기 공원은 컴퓨터 그래픽 분야에서 완전히 새로운 지평을 열었지만, 많은 기술은 이전과 동일했습니다. 애니메이터들은 자신들의 동작을 비디오로 찍어 참고했고, 놀라운 스토리보드를 그렸습니다. ILM 엔지니어들은 심지어 ‘공룡 입력 장치(Dinosaur Input Device)’라는 것을 만들었습니다. 스톱모션 인형에 인코더를 달아 데이터를 컴퓨터로 전송하여 스톱모션 애니메이터가 프레임별 애니메이션 작업을 하면, 이를 컴퓨터가 기록하고, 이 애니메이션 데이터를 ILM 아티스트들에게 보내 피부를 입히고 조명을 더하며 렌더링하여 최종 장면을 만들었습니다. 1993년 당시 가장 오래된 애니메이션 기법인 스톱모션과 최신 컴퓨터 그래픽 기술이 문자 그대로 결합된 것입니다.

이것은 최근 AI 기술에서도 마찬가지입니다. ‘인디아나 존스: 운명의 다이얼’의 오프닝 장면을 보십시오. 해리슨 포드가 상징적인 인디아나 존스 역할을 연기하고 있지만, 훨씬 젊어 보입니다. 우리 아티스트들은 해리슨 포드의 과거 연기 데이터를 그의 허가를 받아 생성형 AI 모델에 학습시켰습니다. 또한, 그의 연기를 완벽하게 재현한 전체 CG 버전도 만들었습니다. 왜 두 가지 방식으로 작업했을까요? AI 시스템은 배우의 모습과 표정을 잡아내는 데 매우 뛰어났습니다. 현장에서 해리슨 포드가 부담 없이 연기한 모든 디테일을 캐릭터의 정확한 나이와 모습에 맞춰 추출할 수 있었습니다. 하지만 디테일과 제어 면에서는 아직 부족했습니다. 이때 CG 모델이 구세주 역할을 했고, 우리 아티스트들은 이 두 가지를 결합하여 영화의 오프닝 20분을 만들었습니다. 해리슨 포드 본인이 “나와 똑같다”고 말할 정도라면, 이 분야에서 최고 수준의 작업 중 하나라고 할 수 있습니다. 이는 경험 많은 아티스트가 최신 기술까지 주도적으로 이끄는, 오래된 것과 새로운 것의 융합입니다.

기술과 창의성의 협력: 가상 제작

이는 기술이 창의성과 어떻게 손을 잡고 함께 일할 수 있는지를 보여줍니다. 저는 우리가 창조적인 존재로 설계되었다고 믿습니다. 그것이 우리에게 가장 중요한 것 중 하나입니다. 그렇기에 우리는 기술과 창의성이 함께 일하는 것을 볼 때 기뻐하고 사랑합니다. 오리지널 스타워즈의 모션 컨트롤이나 쥬라기 공원의 CG 공룡에서 우리는 이것을 보았습니다. 기술과 창의성이 함께 작업하는 이런 모습을 우리는 사랑합니다.

시간을 2020년으로 돌려봅시다. 최신 실시간 가상 제작 기술을 볼 수 있습니다. 이것 또한 영화 제작자에 의해 주도된 창의적인 혁신이었습니다. 이 경우, 존 파브로였습니다. 그는 디즈니플러스 스타워즈 시리즈를 만들겠다는 비전을 가지고 있었습니다. 역사상 처음으로 TV에서 스타워즈 시리즈를 만드는 것이었습니다. ‘만달로리안’이라는 이 거대한 쇼는 일반적인 영화 제작 일정이 허락되지 않았기에 매우 빠르게 촬영해야 했습니다. 전 세계 이국적인 장소를 찾아 배우들을 이동시키는 대신, 맨해튼 비치의 단일 스튜디오로 장소를 가져왔습니다. 이곳에 LED 월을 설치하여 가상 제작 배경으로 활용했고, 배우, 제작진, 모든 부서가 가상 세계에 몰입하여 작업할 수 있었습니다. 심지어 우리 세계가 아닌 다른 세계의 장소들도 포함했습니다.

흥미롭게도 쥬라기 공원을 제작했던 바로 그 프로듀서인 캐슬린 케네디가 지금은 루카스필름을 운영하고 있으며, 이 아이디어가 성공할지 아무도 확신하기 전에 초기에 이를 지지했던 사람 중 한 명이었습니다. 이 기술은 수년에 걸쳐 영화 제작자들과 손을 잡고 발전해 왔습니다. ‘로그 원’ 촬영 당시 슈퍼바이저였던 존 눌의 아이폰 영상에서, 우리는 처음으로 세트장에서 LED 조명을 사용하여 역동적인 조명을 만드는 것을 볼 수 있습니다. 몇 년 후, 저는 ‘한 솔로: 스타워즈 스토리’의 슈퍼바이저를 맡았고, 이전의 작업을 발전시켜 카메라를 직접 비출 수 있을 만큼 고품질의 콘텐츠를 만들 수 있을지 고민했습니다. 그리고 처음으로 이런 장면들을 만들기 시작했습니다. 밀레니엄 팔콘 조종석에서 하이퍼스페이스로 진입하는 장면입니다. 저의 친구인 촬영 감독 브래드포드 영이 이 장면을 만들었습니다. 우리는 이전에 하이퍼스페이스 장면을 수없이 찍었지만, 그는 그 순간 들어오는 빛을 보고 이것이 영화 속 희망의 순간임을 깨달았습니다. 그가 한 솔로에게 카메라를 돌리자, 한의 눈에 하이퍼스페이스의 반사가 비치는 것을 볼 수 있었습니다. 기술과 예술의 아름다운 협업으로, 스토리텔링을 향상시키고 아티스트에게 새로운 도구를 제공하는 작업입니다. 이것이 우리가 사랑하는 것입니다.

현재와 미래: 아티스트의 도구로서의 AI

이것이 우리를 만달로리안으로 이끌었습니다. 항상 그렇듯, 모든 것은 대본에서 시작되며, 우리 아티스트들은 이를 분석합니다. 다양한 요소들이 어떻게 추가되는지 설명해 드리겠습니다. 화면에 보이는 것은 후반 작업에서 추가된 CG 함선입니다. 하지만 배경의 나머지는 LED 월에 라이브로 구현되어, 모든 부서가 함께 작업하여 장면에 생명력을 불어넣고 촬영을 진행했습니다. 혹시 배경에 보이는 워커들을 눈치채셨나요? 놀랍게도 필 티펫의 스튜디오에서 스톱모션으로 애니메이션되었습니다! 네, 수년이 지나도 멸종되지 않은 바로 그 필 티펫 말입니다. 이것은 가장 오래된 기술인 스톱모션과 최신 실시간 컴퓨터 그래픽 기술의 조합으로, 모든 배우와 제작진 앞에서 스크린에 환상을 구현한 것입니다.

마술 트릭은 보여주지 않는 것이 정석이지만, 저는 모든 트릭을 보여드렸습니다. 이제 이 프레임에서 세트가 끝나는 곳과 LED 월이 시작되는 곳을 구분할 수 있을 것입니다. 아티스트들은 이 둘 사이를 완벽하게 블렌딩하기 위해 열심히 노력합니다. 그리고 이제는 영화 제작자에게 창의적으로 적합하다면 전 세계 어디든 이런 LED 스테이지를 설치할 수 있게 되었습니다.

이것이 오래된 것과 새로운 것을 융합하는 방법이며, 기술과 창의성이 손을 잡고 우리가 사랑하는 것들을 만들어내는 방식입니다. 마지막으로, 그리고 아마도 가장 중요하게, 아티스트 주도 혁신에 대한 우리의 주제입니다. 재능 있는 아티스트의 손에 최신 AI 도구를 쥐여주면 어떤 일이 일어날까요? 현재 이 도구들이 얼마나 발전했는지, 그리고 아티스트의 상상력에 어떤 영향을 미치는지 알아보기 위해, 아티스트 한 명이 만든 새로운 단편 영화를 처음으로 공개합니다. 이것은 최종 제품이 아닌 테스트 작품입니다. 랜디스 필즈라는 이름의 한 아티스트가 2주 만에 만들었으며, 프로브 드로이드가 새로운 스타워즈 행성으로 보내졌을 때 무엇을 볼지, 그리고 만약 이런 종류의 쇼를 만든다면 어떤 느낌일지 탐험하기 위한 것입니다.

최신 도구를 활용하는 아티스트의 표현을 보는 것은 매우 즐겁습니다. 이것은 초기 작업 단계이며, 스타워즈의 최종 캐릭터 디자인이나 쇼를 위한 완성된 제품이 아닙니다. 우리는 여러 가지 이유로 팀이 필요합니다. 루카스필름과 ILM에서는 한두 사람이 어두운 방에서 혼자 영화를 만들게 될 날이 임박했다고 생각하지 않습니다. 우리 영화에 참여하는 아티스트와 기술자들의 다양한 기술 세트는 엄청난 이점입니다. 그들은 우리 프로젝트에 엄청난 창의성을 가져다줍니다. 이것이 우리가 자본화하고자 하는 것입니다. 여기서 보시는 것은 움직이는 무드보드라고 생각할 수 있습니다. 다음 단계를 결정할 때, 이런 도구를 사용하여 쇼의 초기 인상을 얻는 것이 얼마나 강력할까요?

이러한 도구들이 계속 진화하고 강력해짐에 따라 일자리에 대해 생각하는 것은 당연합니다. 모델과 미니어처, 모션 컨트롤 시대에는 이 복잡한 장비를 만들고 조작할 줄 아는 사람이 전 세계에 수십 명밖에 없었습니다. 오늘날에는 최신 CG, 컴퓨터 그래픽, 시각 효과 기술을 아는 아티스트가 전 세계에 수십만 명에 이릅니다. 이러한 기술을 가진 재능 있는 사람들에게는 엄청난 기회가 있습니다. 그리고 우리의 도구가 계속 발전함에 따라, 우리 프로젝트에 참여하는 인재를 성장시키고 개발하는 책임을 우리는 진지하게 받아들입니다. 이것이 지난 50년간 우리가 해온 방식이며, 오리지널 스타워즈 시리즈에 참여했던 일부 아티스트들은 오늘날에도 ILM에서 함께 일하고 있습니다.

이것이 바로 수십 년간 우리의 제작 과정에서 볼 수 있었던 아티스트 주도 혁신입니다. 랜디스 필즈의 최근 테스트 영상 ‘필드 가이드’에서도 이를 볼 수 있습니다. 기술 회사들은 그들 스스로 전체 그림을 가지고 있지 않습니다. 그들은 다양한 기회를 탐색하고 있습니다. 우리는 영화 제작자의 관점과 스토리텔러의 관점에서 이를 생각합니다. 우리는 아티스트에게 더 초점을 맞춘 도구가 필요합니다. 텍스트 프롬프트만으로는 좋은 영화를 만들기 어렵습니다. 이러한 종류의 도구를 아티스트에게 제공할 수 있는 미래를 생각하면 흥분됩니다. 그리고 이러한 도구가 너무 강력해짐에 따라, 우리는 이를 신중하게 사용해야 합니다. 인디아나 존스 예시에서 보셨듯이, 해리슨 포드가 자신의 모습 사용을 허가하고 우리가 학습 데이터에 대한 완전한 접근 권한과 권리를 가졌던 것처럼, 인재의 완전한 허가를 받아야 합니다.

이것이 루카스필름과 ILM이 집중하고 있는 부분입니다. 이러한 놀라운 혁신에 의존하여 차세대 창의적 도구를 개발하고, 전 세계 스크린을 밝힐 다음 게임 체인저, 다음 스타 디스트로이어 순간을 상상하는 것입니다. 이는 1977년 우리 모두에게 영감을 주었던 오리지널보다 훨씬 더 상상력이 풍부하고 창의적일 것입니다. 감사합니다.