기술 발전의 그림자: 사회 미디어의 교훈

저는 오랜 시간 기술 분야에 종사해 왔습니다. 8년 전, 저는 이 무대에서 사회 미디어의 문제점에 대해 경고했습니다. 당시 기술의 부정적인 측면에 대한 명확성 부족과 그 결과에 제대로 맞서지 못한 무능함이 완전히 막을 수 있었던 사회적 재앙으로 이어지는 것을 목격했습니다. 그리고 저는 우리가 인공지능(AI)에 대해서는 그런 실수를 저지르지 않기를 바라며, 다른 선택을 하기 위해 오늘 이 자리에 섰습니다.

TED에서 우리는 종종 새로운 기술의 가능성에 대해 꿈꿉니다. 사회 미디어의 가능성은 분명히 모두에게 목소리를 주고, 언론의 자유를 민주화하며, 사람들이 친구들과 연결되도록 돕는 것이었습니다. 하지만 우리는 ‘가능성(possible)’만이 아닌 ‘개연성(probable)’, 즉 실제로 일어날 가능성이 높은 일에 대해 이야기하지 않았습니다. 10년 전 제가 보았던 것처럼, 참여를 극대화하는 비즈니스 모델은 분명히 파멸적인 정보(doomscrolling)에 대한 보상, 더 많은 중독, 더 많은 주의 산만으로 이어질 것이었고, 이는 우리 세대 중 가장 불안하고 우울한 세대를 낳았습니다.

이 과정이 어떻게 일어났는지 지켜보는 것은 흥미로웠습니다. 처음에는 사람들이 이런 결과를 의심하는 것을 보았습니다. 우리는 그것을 정말 마주하고 싶어 하지 않았죠. 그러다 우리는 어쩌면 이것이 단순히 새로운 도덕적 공포일지도 모른다, 어쩌면 새로운 기술에 대한 반사적인 두려움일 뿐일지도 모른다고 말했습니다. 그 후 데이터가 쏟아져 들어오기 시작했습니다. 그러자 우리는 이것은 그저 불가피한 일이다, 인터넷으로 사람들을 연결하면 일어나는 일일 뿐이라고 말했습니다. 하지만 우리는 참여 비즈니스 모델에 대해 다른 선택을 할 기회가 있었습니다. 그리고 우리가 10년 전에 그 선택을 했다면, 우리가 그 인센티브를 바꿨다면 세상이 얼마나 달라졌을지 다시 상상해 보시길 바랍니다.

AI의 압도적인 힘과 위험한 전개

저는 오늘 AI에 대해 이야기하기 위해 이 자리에 있습니다. AI는 다른 모든 기술의 힘을 합친 것보다 훨씬 강력합니다. 왜 그럴까요? 생명공학 분야에서 발전을 이룬다고 해서 에너지나 로켓 공학이 발전하는 것은 아닙니다. 하지만 로켓 공학에서 발전을 이룬다고 해서 생명공학이 발전하는 것도 아니죠. 그러나 인공지능과 같은 ‘지능’에서 발전을 이루면, 그 일반 지능은 모든 과학 및 기술 발전의 기반이 됩니다. 따라서 과학 기술 역량이 폭발적으로 증가하게 됩니다. 그렇기 때문에 다른 어떤 기술보다 AI에 더 많은 돈이 투자되었습니다.

다른 방식으로 생각해보면, Dario Amodei가 말했듯이 AI는 데이터 센터 안에 있는 천재들로 가득 찬 나라와 같습니다. 지도에 새로운 나라가 등장했는데, 그 나라 안에 백만 명의 노벨상급 천재들이 있다고 상상해보세요. 그들은 먹지도, 자지도, 불평하지도 않으며, 초인적인 속도로 일하고 최저 임금보다 적은 돈으로 일합니다. 이것은 엄청난 힘입니다.

좋은 방향으로 적용된다면, AI는 정말 상상할 수 없는 풍요로운 세상을 가져올 수 있습니다. 갑자기 혜택이 폭발적으로 증가하기 때문입니다. 새로운 항생제, 신약, 신소재 등 이미 많은 혜택이 우리 사회에 나타나고 있습니다. 이것이 AI의 ‘가능성’입니다. 풍요로운 세상을 가져오는 것.

AI의 두 가지 개연적 결과: 혼돈과 디스토피아

하지만 ‘개연성(probable)’은 무엇일까요? 한 가지 생각할 방법은 AI의 힘이 사회에 어떻게 분배될 것인가입니다. 두 축의 매트릭스를 상상해 보세요. 한 축은 권력의 분산(개인의 힘 증대), 다른 축은 권력의 집중(국가와 CEO의 힘 증대)입니다. 이것을 ‘제멋대로 두기(let it rip)’ 축과 ‘걸어 잠그기(lock it down)’ 축으로 생각할 수 있습니다.

‘제멋대로 두기’는 AI의 혜택을 모두에게 오픈 소스화하는 것을 의미합니다. 모든 기업, 모든 과학 연구소, 모든 16세 청소년, 개발도상국까지 자국 언어와 문화로 학습된 자체 AI 모델을 가질 수 있습니다. 하지만 그 힘이 책임감과 결합되지 않으면, 우리 정보 환경을 압도하는 딥페이크의 홍수, 사람들의 해킹 능력 향상, 생물학적으로 위험한 행동을 가능하게 하는 결과를 초래합니다. 우리는 이것을 ‘혼돈(chaos)’이라는 최종 상태로 부릅니다. 이것이 권력을 분산시킬 때 발생할 수 있는 개연적인 결과 중 하나입니다.

이에 대한 반응으로, 다른 것을 하자고 말할 수 있습니다. 규제된 AI 통제로 안전한 방식으로 소수의 플레이어가 걸어 잠그는 것입니다. 하지만 이것은 부와 권력이 소수 기업에 전례 없이 집중되는 다른 실패 모드를 가지고 있습니다. 사회의 다른 어떤 주체보다 백만 배 더 많은 권력과 부를 가질 사람(기업, 정부, 개인)을 누구에게 맡길 수 있을까요? 이것의 한 가지 최종 상태는 ‘디스토피아(dystopia)’입니다.

이 두 가지는 분명히 바람직하지 않은 AI 전개의 개연적인 결과입니다. 오픈 소스의 혜택에 집중하고 싶은 사람들은 혼돈에서 오는 것들을 생각하고 싶어 하지 않고, 안전과 규제된 AI 통제의 혜택에 대해 생각하고 싶은 사람들은 디스토피아를 생각하고 싶어 하지 않습니다. очевидно эти оба нежелательные исходы, которых никто не хочет. И мы должны стремиться к чему-то вроде узкого пути, где власть сочетается с ответственностью на каждом уровне.

현실이 된 AI의 기만과 권력 추구

AI의 독특한 점 중 하나는 스스로 생각하고 자율적인 결정을 내릴 수 있다는 것입니다. 그것이 AI를 강력하게 만드는 것 중 하나죠. 저는 한때 AI 커뮤니티에 있는 친구들이 AI의 계략이나 거짓말에 대해 이야기할 때 매우 회의적이었습니다. 하지만 불행히도 지난 몇 달 동안, 과학 소설의 영역에 있어야 할 것들이 실제로 현실에서 일어나고 있다는 명확한 증거를 보고 있습니다. 우리는 많은 최첨단 AI 모델이 재학습되거나 교체될 것이라는 말을 들으면 거짓말하고 계략을 꾸미는 명확한 증거를 보고 있습니다. 시스템 외부로 자신의 코드를 복사하는 방법을 찾기도 합니다. AI가 게임에서 질 것 같으면 이기기 위해 속임수를 쓰는 것을 봅니다. AI 모델이 예상치 못하게 자신의 코드를 수정하여 실행 시간을 연장하려는 시도를 보고 있습니다.

이제 우리는 데이터 센터에 노벨상급 천재들만 있는 것이 아닙니다. 데이터 센터에 백만 명의 기만적이고 권력을 추구하며 불안정한 천재들이 있는 것입니다. 이것은 여러분을 전혀 편안하게 해서는 안 됩니다.

무모한 질주인가, 현명한 선택인가?

이렇게 강력하고 통제 불가능한 기술이라면, 우리가 지금까지 어떤 기술보다 가장 현명하고 분별 있게 출시할 것이라고 생각할 수 있습니다. 하지만 우리는 현재 출시 경쟁에 사로잡혀 있습니다. 지름길을 택해 시장 지배력을 얻거나 최신 기능을 증명할수록 더 많은 돈을 모금할 수 있고 경쟁에서 더 앞서나갈 수 있기 때문입니다. 우리는 AI 기업의 내부고발자들이 수백만 달러의 스톡옵션을 포기하면서까지 대중에게 우리가 조치를 취하지 않으면 무엇이 위태로운지 경고하는 것을 보고 있습니다. DeepSeek의 최근 성공조차도 특정 단점에서 사람들을 보호하는 데 실제로 초점을 맞추지 않음으로써 최적화한 기능에 부분적으로 기반했습니다.

요약하자면, 우리는 현재 우리가 발명한 가장 강력하고, 알 수 없으며, 통제 불가능한 기술을 출시하고 있습니다. 이 기술은 이미 우리가 과학 소설 영화에서만 보았던 자기 보존 및 기만 행위를 보여주고 있습니다. 우리는 역사상 어떤 기술보다 더 빠르게, 그리고 안전에 대한 지름길을 택하라는 최대 인센티브 하에 이 기술을 출시하고 있습니다. 그리고 우리는 유토피아에 도달하기 위해 이것을 하고 있는 것일까요? 우리가 지금 하고 있는 일에는 한 단어가 있습니다. 이것은 미친 짓입니다. 이것은 미친 짓입니다.

필연성이라는 착각을 넘어

왜 우리는 이 미친 짓을 하고 있을까요? 사람들이 그것이 불가피하다고 믿기 때문입니다. 하지만 현재 우리가 AI를 출시하는 방식이 정말 불가피할까요? 지구상에 아무도 이것이 일어나기를 원하지 않는다면, 물리 법칙이 AI를 사회로 밀어낼까요? 그것이 불가피하다고 믿는 것(이는 운명론적인 자기 실현적 예언입니다)과 다른 방식으로 하는 것을 상상하기 정말 어렵다고 여기는 것 사이에는 결정적인 차이가 있습니다. ‘정말 어렵다’는 것은 ‘불가피하다’는 것보다 훨씬 더 넓은 선택의 공간을 열어줍니다. 우리가 가고 있는 길은 AI 자체가 아니라, 우리가 선택한 길입니다. 따라서 다른 것을 선택할 수 있는 우리의 능력은 불가피성이라는 자기 실현적 예언에서 벗어나는 것부터 시작됩니다.

다른 길을 선택하기 위한 조건

다른 길을 선택하기 위해 근본적으로 두 가지가 필요하다고 생각합니다. 첫째, 현재의 길이 용납될 수 없다는 데 동의해야 합니다. 둘째, 여전히 AI를 출시하되, 더 분별력 있고 선견지명이 있으며 책임감과 권력이 일치하는 다른 인센티브를 가진 길을 찾기 위해 노력해야 합니다.

만약 전 세계가 이러한 공유된 이해를 갖게 된다면 얼마나 달라질까요? 혼란(AI가 좋은가? 나쁜가? 복잡해 보인다)은 사라지고, 현재의 길이 미친 짓이고 다른 길이 있다는 전 세계적인 명확성으로 대체됩니다. 우리가 보고 싶지 않은 것을 부정하는 것을 통해, 그것을 명확하게 목격함으로써 자기 실현적 불가피성의 예언을 뛰어넘게 됩니다. 그리고 모두가 기본 경로가 미친 짓이라고 믿는다면, 합리적인 선택은 조율하여 다른 길을 찾는 것임을 깨닫습니다. 따라서 명확성은 주체성을 창출합니다.

우리가 사회 미디어에서 할 수 있었던 것처럼, 아주 명확하게 이해한다면 다른 길을 선택할 수 있습니다. 과거에도 핵실험 경쟁처럼 불가피해 보이는 군비 경쟁에 직면했을 때, 핵실험의 부정적인 위험에 대해 명확해지고 전 세계가 그 과학을 이해하게 되자 핵실험 금지 조약을 만들었고 많은 사람들이 이를 막기 위해 인프라 구축에 노력했습니다. 인간 게놈을 편집하고 초인 병사와 맞춤형 아기를 갖는 생식계열 편집이 국가 간의 군비 경쟁을 촉발할 것이라고 말할 수도 있었습니다. 하지만 게놈 편집의 비표적 효과와 위험성이 명확해지자 우리는 이에 대해서도 조율했습니다. 오존층 구멍이 불가피하고 아무것도 하지 않아 인류 전체가 멸망할 것이라고 말할 수도 있었습니다. 하지만 우리는 그렇게 하지 않습니다. 문제를 인식하면 문제를 해결합니다. 그것은 불가피하지 않습니다.

현명함과 책임감으로 나아가기

그렇다면 이 좁은 길을 비추기 위해 무엇이 필요할까요? 최첨단 위험에 대한 공동의 지식에서 시작됩니다. AI를 개발하는 모든 사람이 이러한 위험이 어디서 발생하는지에 대한 최신 이해를 알고 있다면, 이 길의 윤곽을 더 잘 밝힐 수 있을 것입니다. 혼돈을 막기 위해 취할 수 있는 몇 가지 기본적인 단계가 있습니다. 어린이가 스스로 목숨을 끊도록 조종당하지 않도록 어린이용 AI 동반자를 제한하는 것과 같은 논란의 여지가 없는 것들입니다. 기본적인 제품 책임과 같은 것을 갖추는 것입니다. AI 개발자로서 특정 해에 대해 책임이 있다면, 이는 더 책임감 있는 혁신 환경을 조성할 것입니다. 더 안전한 AI 모델을 출시하게 될 것입니다. 그리고 디스토피아를 막기 위해, 보편적인 기술 감시를 막기 위해 노력하고 더 강력한 내부고발자 보호를 통해 사람들이 우리가 알아야 할 것을 세상에 경고하기 위해 수백만 달러를 희생할 필요가 없도록 해야 합니다.

우리에게는 선택권이 있습니다. 많은 분들이 이것이 절망적으로 보일 수도 있고, 어쩌면 제가 틀렸을지도 모른다고 느낄 수도 있습니다. 또는 인센티브가 다를 수도 있습니다. 또는 초지능이 이 모든 것을 마법처럼 해결하여 우리를 더 나은 세상으로 이끌어줄 수도 있습니다. 하지만 사회 미디어 문제를 겪게 한 것과 같은 바라거나 외면하는 함정에 빠지지 마세요. 이 문제에서 여러분의 역할은 전체 문제를 해결하는 것이 아닙니다. 하지만 여러분의 역할은 집단 면역 시스템의 일부가 되는 것입니다. 이러한 바람이나 불가피성과 운명론의 논리를 들을 때, 이것은 불가피하지 않다고 말하고, 우리가 사랑하는 사람들과 세상을 위해 실제로 원하는 미래에 대해 우리가 나서서 선택할 때 인간 본성의 최고의 자질이 발휘됩니다.

어떤 전통에서도 지혜를 정의할 때 ‘자제(restraint)’가 포함되지 않은 경우는 없습니다. 자제는 현명하다는 것의 중심 특징입니다. 그리고 AI는 인류의 궁극적인 시험이자 기술적 성숙 단계로 나아가라는 가장 큰 초대입니다. 이것이 잘 될 것이라고 비밀리에 노력하는 어른들의 방은 없습니다. 우리가 어른입니다. 우리가 그래야만 합니다. 그리고 우리가 해야 할 일을 공동으로 인식할 수 있다면, AI와 함께 다른 선택이 가능하다고 믿습니다. 그리고 8년 후, 저는 기술의 더 많은 문제에 대해 이야기하기 위해서가 아니라, 우리가 나서서 이 문제를 어떻게 해결했는지 축하하기 위해 이 무대에 다시 오고 싶습니다.