YOUTUBE URL: https://youtu.be/MOF2_nH9H6g

Kling 2.0 등장! AI 영상 생성 왕좌는 누구에게? Google Veo, Runway 전격 비교 및 최신 AI 영화 기술 동향

인공지능(AI) 영상 생성 기술이 무서운 속도로 발전하며 소셜 미디어를 강타하고 있습니다. 특히 최근 공개된 Kling 2.0은 업계에 큰 파장을 일으키고 있죠. 그렇다면 Kling 2.0은 기존의 강력한 경쟁자들, 예를 들어 Google Gemini 플랫폼에서 직접 비디오 클립 생성을 지원하는 Veo(V2)나 다른 AI 영상 도구들과 비교했을 때 어떤 위치를 차지할까요? 또한, 영상 합성에 혁명을 가져올지도 모르는 새로운 VFX 도구는 어떤 모습일까요? 이번 주 AI 영화 뉴스에서 이 모든 것을 자세히 살펴보겠습니다.

Kling 2.0: AI 영상 생성의 새로운 강자?

이번 주 가장 주목해야 할 소식은 단연 Kling 2.0의 출시입니다. Kling은 이전부터 우리가 주목하던 AI 영상 생성 도구 중 하나였지만, 이번 업데이트를 통해 업계 최고 수준으로 발돋움했습니다.

주요 개선 사항

Kling 측 발표에 따르면, 2.0 버전은 다음과 같은 점에서 크게 향상되었습니다:

• 향상된 프롬프트 이해도: 사용자의 지시를 더 정확하게 반영합니다.
• 개선된 움직임 표현: 더 자연스럽고 역동적인 움직임을 구현합니다.
• 더 넓은 동작 범위: 캐릭터나 객체의 움직임 범위가 확대되었습니다.
• 전반적인 품질 향상: 생성되는 영상의 시각적 품질이 눈에 띄게 좋아졌습니다.

새로운 ‘멀티 엘리먼트’ 기능

Kling 2.0에는 영상에서 특정 요소를 추가하거나 제거할 수 있는 ‘멀티 엘리먼트(Multi-Elements)’ 기능이 새롭게 추가되었습니다. 이는 영상 편집 및 합성에 있어 매우 유용한 기능으로 잠시 후에 직접 사용법을 살펴보겠습니다.

사용자들의 놀라운 창작물

새로운 AI 영상 도구가 출시될 때마다 X(구 트위터)와 같은 플랫폼에서는 즉시 이를 활용한 영화 예고편 스타일의 영상들이 등장하곤 합니다. Kling 2.0 역시 예외는 아니었습니다.

• Deborah(@deborah_bfm)는 Kling 2.0을 사용하여 매드맥스 스타일의 예고편을 제작했습니다. 영상 속 역동적인 물리 효과, 장면 간의 연속성, 미세 입자 표현 등은 이전 모델보다 훨씬 진보된 모습을 보여줍니다.
• PJ Ace(@PJ_Ace)는 무려 1,200달러 상당의 크레딧을 소모하여 역사 속 인물들이 이야기를 전하기 위해 모이는 몽타주 영상을 만들었습니다. 카메라 움직임과 역동성이 매우 사실적으로 표현되었으며, PJ의 뛰어난 큐레이션 능력이 돋보입니다.
• AI Freak Tools(@AI_Freak_Tools)는 Kling 이전 버전(1.6)과 2.0 버전을 비교했습니다. 동일하게 ‘분노’를 프롬프트로 입력했을 때, 1.6 버전의 캐릭터는 슬퍼 보였지만, 2.0 버전의 캐릭터는 확실히 분노한 표정과 역동적인 연기를 보여주었습니다.
• Stevie Mack(@stevie_mack)는 고블린들이 브레이크 댄스를 추는 영상을 공개했습니다. 물리 효과가 100% 완벽하진 않지만, 배경의 고블린들이 박수를 치며 호응하고, 발길질에 흙먼지가 날리는 등 다른 AI 영상 생성 도구보다 훨씬 역동적인 장면을 연출했습니다. 이는 Kling이 단순히 프롬프트를 따르는 것을 넘어, 생성해야 할 장면에 대해 ‘생각’하고 있음을 보여줍니다.

Kling 2.0 직접 사용해보기 (이미지-비디오 변환)

이 놀라운 결과물들을 보고 직접 Kling 2.0을 사용해보고 싶어졌습니다. Kling 웹사이트에 접속하여 상단의 ‘Kling 2.0’ 박스에서 ‘Experience’ 버튼을 클릭하면 시작할 수 있습니다. 이미지를 드래그 앤 드롭하여 애니메이션을 적용할 수 있습니다.

첫 번째 테스트로, 불타는 자동차 이미지를 업로드했습니다. Kling 내부에서는 영상 길이를 5초 또는 10초로 설정하고, 출력 개수를 1개에서 4개까지 선택할 수 있습니다. 여기서는 1개의 10초짜리 영상으로 스트레스 테스트를 진행했습니다. 프롬프트는 “불타는 자동차의 와이드 샷, 자동차가 완전히 폭발한다”로 설정했습니다.

생성에는 약 15분이 소요되었습니다. 다른 도구와 비교할 때 이 점을 염두에 두어야 합니다. 결과물을 보면, 자동차가 불타고 레이더스 스타일로 녹아내리는 모습이 보입니다. 연기, 불꽃, 스파크, 녹아내리는 금속 등 역동적인 요소가 풍부합니다. 가장 사실적인 결과물이라고 하긴 어렵지만, 물리적 표현에 있어서는 Kling이 가장 과감한 시도를 하고 있다는 인상을 받았습니다.

Kling 2.0 vs. 경쟁 도구: 정면 대결

Kling 2.0의 성능을 제대로 평가하기 위해, 주요 경쟁자인 Runway 및 Google Veo와 동일한 프롬프트 및 이미지로 비교 테스트를 진행했습니다.

테스트 1: 폭발하는 자동차

• Kling 2.0: 위에서 본 것처럼 역동적이지만 다소 비현실적으로 녹아내림.
• Runway: 문짝이 떨어져 나가 산산조각 나는 등, 그다지 좋은 결과는 아니었습니다.
• Google Veo: 자동차가 실제로 폭발하지는 않았지만, Kling보다는 더 사실적인 느낌을 주었습니다. 불꽃 크기의 비율 문제가 약간 있었지만, 이 특정 장면에서는 Veo가 더 나은 결과를 보였습니다.

테스트 2: 멀티 엘리먼트 기능 (바이킹 추가)

Kling 2.0의 새로운 ‘엘리먼트’ 기능을 테스트해 보았습니다. 이 기능은 비디오와 이미지를 가져와 특정 에셋을 비디오 내에 합성하는 기능입니다. 이전에도 유사한 기능이 있었지만, 이번 버전은 더욱 개선된 것으로 보입니다.

‘추가(Add)’ 기능을 사용하여 앞서 만든 불타는 자동차 영상에 절벽에 서 있는 바이킹 이미지를 합성해 보았습니다. 피사체를 명확히 정의하기 위해 이미지를 크롭하고, 프롬프트는 “이미지의 캐릭터를 비디오에 자연스럽게 추가하라”고 입력했습니다.

몇 분 후 생성된 결과물은 캐릭터 합성은 꽤 잘 해냈지만, 완벽하다고 보기는 어려웠습니다. 분명히 해당 캐릭터가 장면에 존재하지만, 전반적인 조명 사실성 측면에서는 개선의 여지가 있었습니다. 예를 들어, 자동차를 향한 부분에는 주황색 불빛이 약간 반사되지만, 캐릭터 자체의 조명은 마치 대낮 햇볕 아래 서 있는 것처럼 보여 밤 장면이라는 설정과 맞지 않았습니다. 하지만 드래그 앤 드롭만으로 서로 다른 요소를 결합하여 이런 장면을 만들 수 있다는 점은 매우 인상적입니다.

테스트 3: 커피 마시는 여성

프롬프트: “카메라가 천천히 줌인하며 여성이 커피를 마신다.”

• Kling 2.0 (약 15분 소요): 줌인하며 커피를 마시는 프롬프트를 잘 따랐고, 커피를 마시는 모습 자체는 꽤 좋아 보입니다. 전반적인 사실성도 나쁘지 않아 AI로 만들었다는 느낌이 크게 들지 않습니다. 하지만 영상이 슬로우 모션으로 재생되는 경향이 있습니다. 실제 속도로 진행되어야 하는 영화 작업에는 까다로울 수 있습니다.
• Runway: 배경 요소들이 이상한 속도로 움직이고, 커피잔에서 나오는 증기의 양이 너무 많아 여성이 입을 데었을까 걱정될 정도였습니다.
• Google Veo: 배경 캐릭터들의 연속성은 다소 부족했지만(기둥 뒤에서 사라짐), 여성이 커피를 마시고 내려놓으며 주위를 둘러보는 핵심적인 움직임은 세 도구 중 가장 사실적으로 보였습니다.

테스트 4: 말하는 애니메이션 소녀

배경에 애니메이션 몬스터들이 있는 소녀가 말하고 주위를 둘러보는 장면을 생성했습니다.

• Kling 2.0: 얼굴 표정이 생생하고 머리카락의 무게감이 느껴지며, 배경 캐릭터들도 살아있는 것처럼 보입니다. 꽤 좋은 결과입니다.
• Runway: 얼굴이 왜인지 기괴하게 변형되어 그다지 좋은 결과는 아니었습니다.
• Google Veo: 주위를 둘러보고 다른 캐릭터들과 대화하는 모습이 자연스러웠습니다. 이 생성에서는 Google Veo가 약간 더 나은 결과를 보였지만, Kling과의 차이는 매우 근소했습니다.

테스트 5: 비눗방울 부는 소년

• Kling 2.0: 제가 본 AI 영상 중 가장 사실적인 결과물 중 하나였습니다. 환상적인 작업입니다.
• Runway: 크기를 제대로 이해하지 못했는지 비눗방울이 너무 작게 만들어졌습니다.
• Google Veo: 콘텐츠 필터 문제로 이 클립을 생성할 수 없었습니다. 따라서 이 테스트에서는 Kling이 부전승했습니다.

테스트 6: SF 영화 속 여성 클로즈업

• Kling 2.0: 무슨 일이 일어났는지 알 수 없을 정도로, 완전히 새로운 장면(SF 세계에서 뛰어다니는 여성)을 생성했습니다. 멋진 장면이긴 하지만 제가 원했던 것과는 전혀 달랐습니다.
• Runway: 여성이 주위를 둘러보는 모습은 꽤 좋아 보였지만, 시간이 지남에 따라 다소 플라스틱처럼 변하고 눈의 물리적 움직임이 완전히 사실적이지는 않았습니다. 괜찮은 결과지만 최고는 아닙니다.
• Google Veo: 기본적으로 사실적인 장면처럼 보였습니다.

테스트 7: 행군하는 군대 (스트레스 테스트)

수많은 깃발과 움직임이 있는, 멀리 행군하는 군대 이미지를 사용했습니다. 이는 전통적으로 AI 영상 도구가 생성하기 매우 어려운 장면입니다.

• Kling 2.0: 군대와 깃발의 물리적 움직임은 좋아 보입니다. 하지만 깃발이 무작위로 사라지거나 왼쪽의 말 담요가 연기로 변하는 등 부수적인 움직임에서 이상한 왜곡이 발생하여 몰입을 방해합니다. 아마도 ‘연기 없음’을 네거티브 프롬프트로 사용하면 훨씬 더 나은 결과를 얻을 수 있을 것입니다.
• Runway: 실제로는 꽤 좋은 결과입니다. 매우 균일한 모습을 보여주는데, 만약 그런 스타일을 원한다면 좋은 생성 결과일 수 있습니다. 깃발의 물리적 움직임은 좋지만, 다른 캐릭터들 간의 변화가 거의 없어 다소 단조롭게 느껴집니다.
• Google Veo: 캐릭터들이 움직이기 시작하면 가장 사실적인 클립처럼 보입니다. 하지만 움직이기 시작하기까지 전체 시간의 절반 이상이 걸렸습니다. 따라서 Veo에서는 프롬프트를 다시 입력해야 할 가능성이 높습니다. 하지만 말꼬리의 움직임이나 바람에 흩날리는 깃발의 표현 방식 면에서는 이 장면에서 최고의 결과를 보여주었습니다.

AI 영화 제작자를 위한 최고의 AI 영상 도구는?

그렇다면 Curious Refuge에서는 AI 영화 제작자에게 어떤 AI 영상 도구를 추천할까요? 이 답변을 드리기 전에, 저희는 도구 리뷰나 추천을 위해 어떤 회사로부터도 협찬금을 받은 적이 없음을 분명히 밝힙니다. 저희의 솔직한 의견입니다.

전반적으로 최고의 AI 영상 생성 도구를 꼽자면, Google Veo와 Kling 2.0이 매우 근소한 차이를 보입니다. 하지만 Kling 2.0이 약간의 우위를 가진다고 생각합니다. 주된 이유는 Kling 플랫폼에는 Veo에서는 제공되지 않는 다양한 부가 기능(예: 엘리먼트 기능, 여러 프레임 키프레임 설정 기능)이 있기 때문입니다. 이러한 기능들은 Kling 2.0을 매우 강력한 도구로 만들어줍니다.

Google Veo는 근소한 차이로 2위이며, 솔직히 어떤 장면은 Kling을 사용하고 다른 장면은 Veo를 사용하는 것이 더 나을 수 있습니다. 이는 제작 과정의 일부입니다.

3위는 Runway를 꼽겠습니다. Runway는 다양한 도구 세트, 4K 업스케일링 기능, 그리고 영화 제작자에게 매우 유용한 무제한 요금제를 제공합니다. 다만, Runway 사용 시 카메라의 전반적인 물리 효과나 움직임은 다른 두 도구만큼 뛰어나지는 않습니다.

기타 주목할 만한 AI 영상 및 VFX 뉴스

Leonardo Motion 2.0 출시

Leonardo AI 팀에서도 최신 AI 영상 생성 도구인 Motion 2.0을 출시했습니다. Leonardo 웹사이트의 ‘Video’ 탭에서 사용할 수 있습니다. 왼쪽 사이드바에서 분위기, 조명, 샷 타입, 색상 테마, 화면 비율 등 다양한 프리셋을 선택할 수 있다는 점이 흥미롭습니다.

이미지-비디오 변환 기능을 사용하여 계곡을 내려다보는 바이킹 이미지를 애니메이션화 해보았습니다. 프롬프트는 “산 정상에 서 있는 바이킹의 와이드 샷, 카메라가 천천히 멀어진다”로 설정했습니다. 결과물은 움직임이 다소 제한적이었고 영상이 약간 과도하게 선명하게 처리된 느낌이었습니다. 현재는 480p 해상도만 지원하며, 720p 버전은 아직 출시되지 않았습니다.

Runway와 비교했을 때, 동일한 프롬프트로 생성한 Runway 영상이 프롬프트 준수, 사실적인 시차 효과(parallaxing) 측면에서 더 나은 결과를 보였습니다. 하지만 수중 문어 이미지 테스트에서는 Leonardo가 잠든 것처럼 보이는 Runway 결과물보다 더 나은 성능을 보였습니다. 애니메이션 고양이 테스트에서는 두 도구 모두 ‘눈을 깜빡인다’는 프롬프트를 제대로 따르지 못했지만, Runway가 전반적으로 더 사실적인 결과물을 만들었습니다.

Google Veo, 이제 Gemini에서 직접 사용 가능

Google은 자사의 비디오 생성 도구인 Veo(V2)를 이제 Gemini 내에서 직접 사용할 수 있다고 발표했습니다. Google Advanced 구독자는 Gemini 채팅창에 프롬프트를 입력하여 바로 비디오를 생성할 수 있습니다. Google One AI Premium 구독자는 이미지 업로드 후 비디오 생성도 가능합니다. 기본적으로 5초가 아닌 8초 길이의 비디오 클립을 제공한다는 점도 흥미롭습니다. 이 발표는 Google DeepMind CEO가 최근 언급한 ‘옴니 모델(omni models)’ 전략과 일맥상통합니다. Google은 단일 프롬프트 창 내에서 여러 작업을 수행할 수 있는 마스터 도구를 구상하고 있는 것으로 보입니다.

Bele: AI 컴포지팅의 혁신?

지난주, 영상 합성(compositing) 업계에 큰 변화를 가져올 잠재력을 지닌 흥미로운 도구 ‘Bele’을 발견했습니다. (유명 NFT 아티스트 Beeple과는 다른 도구입니다.) Bele은 비디오 에셋을 업로드하여 배경 환경에 맞춰 조명을 재설정하고 합성할 수 있게 해주는 도구입니다.

웹사이트에는 평범한 사무실에 앉아 있는 남성 영상 फुटेज를 Bele로 처리하는 예시가 있습니다. 이 도구는 기본적인 합성 워크플로우에 필요한 로토스코핑 및 모든 패스(passes)를 자동으로 생성합니다. 최종적으로 이 남성이 자동차 안에 앉아 있는 영상 클립이 생성되었는데, 꽤 괜찮은 결과물을 보여주었습니다. 물론 Nuke와 같은 하이엔드 소프트웨어 워크플로우와 비교하면 가장 사실적인 합성 파이프라인이라고 할 수는 없지만, 이 클립을 만든 사람은 한 달 전까지만 해도 합성을 전혀 해본 적 없는 사람이었다는 점이 중요합니다. 이러한 도구가 발전함에 따라 일반 크리에이터에게 합성 작업이 점점 더 쉬워질 것으로 예상됩니다.

Bele 데모를 살펴보면, 웹사이트에 로그인하여 새 프로젝트를 만들고 샘플 영상을 선택하면 즉시 조명이 변경되어 꽤 괜찮은 모습으로 바뀝니다. 완전히 사실적이진 않지만 꽤 잘 해냅니다. VFX 패스도 모두 제공되어 다른 애플리케이션에서 수정할 수도 있습니다. HDRI 섹션에서 360도 배경 이미지를 선택하여 환경을 변경할 수 있으며(예: 사진 스튜디오), 환경을 회전시키면 도구가 지능적으로 조명이 어디에 있어야 하는지 파악하려고 시도합니다. 석양 프리셋을 선택하고 피사체를 회전시키면, 피사체가 더 실루엣처럼 보여야 하고 카메라의 다이나믹 레인지가 부족할 것이라는 점을 이해하여 지능적으로 처리합니다.

이런 도구는 차세대 가상 프로덕션(virtual production)에 기여할 가능성이 높습니다. 값비싼 사운드 스테이지를 빌리는 대신, 이런 후처리 도구를 사용하여 캐릭터의 조명을 재설정하고 장면에 합성할 수 있게 될 것입니다.

AI를 활용한 3D 모델 지능적 분해

표면적으로는 그다지 흥미롭게 들리지 않을 수 있지만, 영화 제작뿐만 아니라 게임 분야에도 큰 영향을 미칠 수 있는 연구 논문을 발견했습니다. 이 연구는 AI를 활용하여 3D 모델을 지능적으로 분해하는 기술에 관한 것입니다.

이 도구를 사용하면, 원래는 하나의 모델이었던 마차 3D 모델을 업로드했을 때, 3D 처리 과정을 거쳐 개별 에셋으로 분해합니다. 주목할 점은, 이 과정에서 생성형 AI를 사용하여 에셋 사이의 세부 정보를 채워 넣는다는 것입니다. 예를 들어, 고인돌 가족 플린스톤의 자동차(원래는 단일 3D 에셋)를 이 AI 소프트웨어로 처리하면, 지능적으로 여러 부품으로 분해됩니다. 특히 차축(axle)과 같이 원래는 다른 부품에 가려져 내부 디테일이 없었을 부분도, 분리되면서 AI가 그 간극을 채워 넣어 완전한 독립형 에셋으로 만듭니다.

이 기술은 3D 영화 제작 과정뿐만 아니라 비디오 게임에도 큰 영향을 미칠 것입니다. 물리적 환경과 동적으로 상호작용하여 파괴 효과부터 에셋 생성까지 모든 것을 가능하게 함으로써, 3D 게임에서 더욱 역동적이고 통합적인 경험을 제공할 것입니다.

Sonic: 오디오 기반의 사실적인 AI 얼굴 애니메이션

중국 연구팀이 오디오를 업로드하여 캐릭터의 얼굴을 애니메이션화하는 새로운 도구의 코드를 공개했습니다. 이런 기능 자체는 새롭지 않지만, 이 도구(Sonic)가 특별한 이유는 생성물의 전반적인 사실성과 최대 10분 길이의 긴 영상 클립을 생성할 수 있다는 점입니다.

백서 페이지에는 알버트 아인슈타인이나 9분 길이의 노래를 부르는 사람의 예시가 있습니다. 결과물을 보면 얼굴 애니메이션뿐만 아니라 머리카락과 캐릭터 몸 전체의 물리적 특성까지 이해하고 표현한다는 점이 인상적입니다. 다른 유사 AI 영상 도구와의 비교 영상에서도 Sonic(가장 오른쪽)의 역동적인 성능을 확인할 수 있습니다. 이 코드는 백서 웹사이트에서 직접 다운로드하여 사용해 볼 수 있습니다.

다가오는 AI 영화 행사들

전 세계적으로 다양한 AI 영화 관련 행사들이 열리고 있습니다. 주목할 만한 몇 가지 행사를 소개합니다:

• Gen Jam (로스앤젤레스): 4월 23일, Machine Cinema 주최
• Curious Refuge 파리 밋업: 5월 7일
• 칸 국제 영화제 (Cannes Next): 5월 15일, Curious Refuge 팀 일부 참석 예정
• Reply AI 영화제: 출품작 접수 중. 최종 후보자는 베니스 국제 영화제에 초청됩니다. 여러분의 AI 단편 영화를 출품해 보세요!

이번 주 AI 영화 뉴스를 시청해주셔서 감사합니다. AI 영상 생성 기술의 발전은 정말 놀랍습니다. Kling 2.0, Google Veo, Runway 등 다양한 도구들을 직접 경험해보시길 바랍니다. 앞으로 또 어떤 혁신적인 기술이 등장할지 기대하며, 다음 소식으로 찾아뵙겠습니다.