YOUTUBE URL: https://youtu.be/0yVOkxU5N5k
뇌처럼 학습하는 AI 등장? TopoLM, 언어 모델의 새로운 지평을 열다
인공지능(AI) 분야에 또 다른 혁신적인 바람이 불고 있습니다. 단순히 언어를 배우는 것을 넘어, 인간의 뇌가 작동하는 방식과 유사하게 언어를 학습하는 새로운 AI 모델이 등장했습니다. 이 모델은 뇌 스캔 연구에서 관찰되는 것처럼 동사, 명사, 의미 등을 위한 자체적인 클러스터(군집)를 형성합니다. 더욱 놀라운 점은 이 모든 과정이 단 하나의 간단한 규칙을 통해 이루어진다는 것입니다. 바로 스위스 로잔 연방 공과대학교(EPFL)의 NeuroAI 연구소에서 개발한 TopoLM(Topographic Language Model)입니다.
머신러닝 분야에 익숙하다면 EPFL이 얼마나 뛰어난 연구 성과를 내놓는지 잘 아실 겁니다. 주 연구자인 마틴 크램프(Martin Schrimpf) 조교수는 대규모 언어 모델(LLM)이 실제 뇌 신호와 얼마나 유사한지를 탐구하는 연구를 꾸준히 진행해 왔습니다. 그와 그의 연구팀(Neil Rothy, Johannes Mayor, Badr Alghamdy 등)은 이 TopoLM 연구로 세계 최고 권위의 머신러닝 학회 중 하나인 ICLR 2025에서 구두 발표(Oral Presentation) 기회를 얻었습니다. 제출된 논문 중 단 2%만이 받는 영예라는 점을 고려하면, 학계가 이 연구에 얼마나 주목하고 있는지 알 수 있습니다.
인간 뇌의 언어 처리 방식: TopoLM의 영감
본격적으로 TopoLM을 살펴보기 전에, 인간의 뇌가 언어를 어떻게 처리하는지에 대한 배경 지식이 필요합니다. 신경과학자들이 기능적 자기 공명 영상(fMRI) 장치 안에 사람을 넣고 문장을 읽게 하면, 대뇌 피질의 특정 영역들이 활성화되는 것을 관찰할 수 있습니다. 마치 작은 패치처럼 보이는 이 영역들은 특정 언어 기능을 담당합니다.
- 어떤 영역은 동사 처리에 가장 강하게 반응하고,
- 바로 옆 영역은 명사 처리에,
- 또 다른 영역은 문법 구조(syntax) 전반에 반응합니다.
이러한 언어 처리 영역들은 무작위로 흩어져 있는 것이 아니라, 마치 도시의 동네들처럼 서로 가까이 모여 있습니다. 시각 연구 분야에서는 몇 년 전 이러한 현상이 왜 발생하는지를 밝혀냈습니다. 연구자들은 심층 신경망(Deep Nets)에 “가까운 뉴런은 유사하게 유지하라(keep nearby neurons similar)”는 간단한 규칙을 적용했습니다. 그 결과, 실제 시각 피질(V1)과 IT 피질에서 발견되는 인공적인 방향성 핀휠(orientation pinwheels)과 얼굴 인식 패치(face patches)가 생성되었습니다.
여기서 중요한 질문이 생깁니다. 고양이 사진보다 훨씬 추상적인 ‘언어’ 처리에도 동일한 ‘배선 비용 절감(wiring cost)’ 원칙이 적용될 수 있을까요? TopoLM은 바로 이 질문에 “그렇다”고 답합니다.
TopoLM: 뇌를 닮은 언어 모델의 탄생
TopoLM이 어떻게 작동하는지 기술적인 내용을 쉽게 풀어 설명해 보겠습니다.
TopoLM의 구조: GPT-2 기반 위에 지도를 그리다
TopoLM은 기본적으로 GPT-2 스몰(small) 모델의 골격을 사용합니다. 12개의 트랜스포머 블록(Transformer blocks)으로 구성되며, 각 블록은 16개의 어텐션 헤드(attention heads)를 가집니다. 또한, 각 은닉층(hidden layer)은 784개의 유닛(unit)으로 이루어져 있습니다.
여기서 EPFL 연구팀은 독창적인 아이디어를 더했습니다. 이 784개의 유닛을 단순히 수학적인 공간에 떠다니게 두는 대신, 각 유닛을 28×28 그리드(grid) 위에 고정시킨 것입니다. 즉, 모든 인공 뉴런이 자신만의 (x, y) 좌표를 갖게 됩니다. 마치 뇌 피질 표면에 뉴런이 배열된 것처럼 말입니다.
핵심 아이디어: 공간적 평활성 손실 (Spatial Smoothness Loss)
하지만 단순히 유닛에 좌표를 부여하는 것만으로는 뇌와 같은 질서 있는 구조가 만들어지지 않습니다. 연구팀은 모델 훈련 과정에서 기존의 ‘다음 토큰 예측(next token prediction)’ 목표 외에 두 번째 목표를 추가했습니다. 바로 ‘공간적 평활성 손실(spatial smoothness loss)’입니다.
개념은 간단합니다. 그리드 상에서 서로 이웃한 두 유닛의 활성화 패턴이 상관관계가 낮을 때, 모델에게 약간의 ‘페널티’를 주는 것입니다. 반대로 멀리 떨어진 유닛들에 대해서는 활성화 패턴이 얼마나 다르든 신경 쓰지 않습니다.
수학적으로 이 페널티는 “1/2 * (1 – 가까운 유닛 쌍 간의 피어슨 상관 계수)”로 계산되지만, 핵심은 “가까운 유닛일수록 더 유사하게 활성화되도록 유도한다”는 것입니다. 연구팀은 (상당히 고된 하이퍼파라미터 탐색 끝에) 이 추가적인 인센티브의 가중치(alpha)를 2.5로 설정했습니다. 이는 모델이 언어 능력을 크게 저하시키지 않으면서도 지리적(공간적) 구조를 학습하도록 균형을 맞춘 값입니다.
훈련 과정
TopoLM은 인터넷의 교육 관련 데이터를 선별한 FineWeb-Edu 코퍼스의 100억 개 토큰으로 훈련되었습니다. 이 훈련은 4대의 NVIDIA A100 80GB GPU(고성능 버전)에서 5일 동안 연속으로 진행되었으며, 검증 손실(validation loss)이 더 이상 감소하지 않을 때 조기 종료되었습니다.
훈련 결과, TopoLM은 교차 엔트로피(cross entropy) 3.075, 공간적 손실(spatial loss) 0.108을 기록했습니다. 비교를 위해 공간적 제약 없이 훈련된 일반 GPT-2 모델(대조군)은 교차 엔트로피 2.966을 달성했습니다. 대조군의 교차 엔트로피가 더 낮은 것은 당연합니다. 두 가지 목표(언어 예측 + 공간 구조) 사이에서 ‘뇌 용량’을 나누지 않았기 때문입니다.
TopoLM은 실제로 뇌 피질을 닮았을까?
그렇다면 TopoLM은 실제로 뇌 피질과 유사한 패턴을 보일까요? 연구팀은 이를 검증하기 위해 다양한 실험을 수행했습니다.
언어 국소화(Language Localizer) 테스트
연구팀은 페도렌코(Fedorenko) 연구실의 표준적인 언어 국소화 도구를 사용했습니다. 160개의 문법적으로 올바른 문장과 160개의 발음 가능한 무의미한 문자열을 비교하는 방식입니다. 실제 인간의 뇌에서 이 과제를 수행하면 좌뇌의 광범위한 네트워크가 활성화됩니다. TopoLM에서도 동일한 테스트를 진행하자, 여러 계층의 그리드에 걸쳐 언어 선택적인 유닛들이 덩어리진 섬(chunky islands) 형태로 활성화되는 패턴이 나타났습니다.
언어 자극에 대한 계층적 반응
연구팀은 더 나아가 네 가지 고전적인 테스트 세트를 사용했습니다.
- 정상적인 문장
- 단어 순서가 뒤섞인 목록
- 내용어(content words)가 가짜 단어로 대체된 재버워키(Jabberwocky) 문장
- 뒤섞인 재버워키 문장
TopoLM의 각 ‘섬’들은 실제 피질의 반응 계층 구조를 그대로 보여주었습니다. 정상적인 문장에 가장 강하게 반응하고, 뒤섞인 단어 목록과 재버워키 문장이 공동 2위, 완전한 무의미 문자열이 가장 약하게 반응했습니다. 반면, 공간적 제약이 없는 일반 GPT 모델은 개별 유닛들이 반응하기는 하지만, 그 패턴이 일관성 없이 흩어져 있어 통합된 구조를 보이지 않았습니다.
결정적 증거: 동사 vs. 명사 선택성
가장 결정적인 결과는 동사와 명사 처리 영역의 분리입니다. 인간의 fMRI 연구에서는 이 대비에 대해 모란 지수(Moran’s I)가 0.96에 달합니다. 이는 이웃한 복셀(voxel, 뇌 영상의 픽셀)들이 거의 완벽하게 동사/명사 선호도에 동의한다는 의미입니다.
TopoLM은 개별 유닛 수준에서 0.48의 모란 지수를 기록했는데, 이것만으로도 꽤 의미 있는 결과입니다. 하지만 연구팀이 fMRI의 복셀 평균화 효과를 모방하기 위해 2mm 가우시안 필터로 그리드를 흐릿하게 처리하자, 이 수치는 0.81까지 치솟았습니다. 이는 실제 뇌 수준에 근접한 결과입니다. 반면, 대조군 모델은 블러링 후에도 0.11에 그쳐 거의 무작위적인 패턴을 보였습니다.
구체적 단어 vs. 추상적 단어
더욱 흥미로운 점은 2014년 모슬리(Moseley)와 풀버뮬러(Pulvermüller)의 연구 결과를 TopoLM이 재현했다는 것입니다. 이 연구는 동사/명사 선택성이 ‘망치(hammer)’나 ‘차다(kick)’와 같은 구체적인 단어에 대해서만 뚜렷하게 나타나고, ‘정의(justice)’와 같은 추상적인 단어에 대해서는 나타나지 않음을 보였습니다.
TopoLM은 이 미묘한 차이까지 포착했습니다. 구체적인 단어 쌍에 대해서는 0.83의 높은 클러스터링을 보였지만, 추상적인 단어 쌍에 대해서는 0.23으로 클러스터링이 붕괴되었습니다. 대조군 모델은 구체성 여부와 관계없이 평탄한 결과를 보여, 이러한 의미론적 차이를 전혀 반영하지 못했습니다. 이는 TopoLM이 단순히 문법 구조뿐 아니라 의미론적 정보까지 모델링한다는 강력한 증거입니다.
NLP 벤치마크 성능: 실용성은 어떨까?
뇌와 유사하다는 점은 흥미롭지만, 실제 자연어 처리(NLP) 성능은 어떨까요?
- BLiMP (문법성 판단): 최소 대립쌍으로 구성된 어려운 문법 퀴즈입니다. TopoLM은 0.71점을 기록하여 대조군(0.76)보다 5점 낮았습니다. 약간의 문법 정확도 손실이 있는 셈입니다.
- GLUE (종합 NLP 벤치마크): 감성 분석, 문장 함의 관계, 유사 문장 판별 등 실제 서비스에 활용되는 다양한 과제를 포함합니다. 놀랍게도 TopoLM은 0.68점으로 대조군(0.65)보다 약간 더 높은 점수를 기록했습니다. 이는 공간적 평활성 항이 일종의 정규화(regularization) 역할을 한 덕분일 수 있습니다.
- Brain-Score (뇌 활동 예측): 모델의 활성화 패턴이 실제 신경 기록을 얼마나 잘 예측하는지 측정합니다. TopoLM은 0.78점, 대조군은 0.80점으로 거의 동일한 성능을 보였습니다.
요약하자면, TopoLM은 약간의 교과서적인 문법 정확도를 희생하는 대신, 실제 활용도가 높은 다운스트림(downstream) 과제에서는 성능을 유지하거나 오히려 향상시키며, 뇌 활동 예측 능력도 거의 동일하게 유지합니다. 그러면서도 아름다운 피질 지도(cortical map)를 ‘덤’으로 얻는 셈입니다.
TopoLM이 가져올 미래: 해석 가능성부터 하드웨어 혁신까지
TopoLM의 가장 큰 장점 중 하나는 해석 가능성(interpretability)입니다.
투명한 모델 내부 구조
기존 트랜스포머 모델은 모든 정보를 거대하고 추상적인 벡터 공간에 숨겨둡니다. ‘동사’의 의미가 어디에 저장되어 있는지 알려면 수천 개의 유닛을 뒤져야 합니다. 하지만 TopoLM을 사용하면 말 그대로 히트맵(heatmap)을 열고 특정 영역을 가리킬 수 있습니다. “저 빨간색 덩어리가 동사 영역이고, 저 파란색 덩어리가 명사 영역이다”라고 말할 수 있는 것입니다. 모델이 특정 단어의 동사 의미와 명사 의미를 혼동하는 이유를 디버깅해야 한다면, 해당 영역의 경계 부분을 확대해서 살펴보면 됩니다. 이러한 가시성은 모델 안전성 감사, 모델 편집, 심지어는 신경망 워터마킹(neural network IDs) 분야에서 게임 체인저가 될 수 있습니다.
하드웨어 혁신의 가능성: 뉴로모픽 칩
TopoLM은 하드웨어 설계에도 영감을 줍니다. 뇌가 유사한 기능을 하는 뉴런들을 가까이 배치하는 이유는 긴 축삭(axon) 연결에 드는 에너지 비용을 절약하기 위해서입니다. 만약 TopoLM 스타일의 레이아웃이 표준이 된다면, 동사 처리 유닛과 명사 처리 유닛이 물리적으로 가까이 위치하는 뉴로모픽 칩(neuromorphic chips)을 설계할 수 있습니다. 이는 지연 시간(latency)과 전력 소모를 획기적으로 줄일 수 있으며, ‘언어적 실리콘 피질(linguistic silicon cortex)’이라고 부를 만한 혁신을 가져올 수 있습니다.
의료 분야 응용 가능성
TopoLM이 예측하는 피질 좌표는 임상적으로도 활용될 수 있습니다. 예를 들어, 뇌졸중으로 인해 동사 생성 능력을 잃은 환자가 있다고 가정해 봅시다. TopoLM은 회복을 촉진하기 위해 경두개 자기 자극술(TMS)로 어느 피질 하위 영역을 자극해야 하는지에 대한 단서를 제공할 수 있습니다. 실제로 크램프 교수 연구팀은 TopoLM이 예측하지만 아직 뇌 스캔 연구에서 발견되지 않은 클러스터를 찾기 위해 미국 영상의학 연구소들과 협력하고 있습니다. 만약 이러한 클러스터들이 실제로 발견된다면, AI와 인지 신경과학 간의 완전히 새로운 시너지를 목격하게 될 것입니다.
한계점과 앞으로의 과제
물론 TopoLM도 완벽하지는 않습니다. 각 트랜스포머 계층이 자체적인 그리드를 가지기 때문에, 모든 깊이에 걸쳐 있는 단일한 피질 표면 구조는 아직 구현되지 않았습니다. 따라서 한 계층에서의 자극이 피질 기둥(cortical columns)을 따라 다음 계층으로 어떻게 전달되는지를 시뮬레이션할 수는 없습니다. 또한 TopoLM은 여전히 피드포워드(feed-forward) 방식이지만, 실제 피질은 순환적인 파동과 리듬을 통해 신호를 반복적으로 처리합니다.
경쟁 기술로 언급될 수 있는 ‘TopoformerBERT’라는 모델도 있습니다. 이 모델은 각 어텐션 헤드 블록 내부에 국소적인 연결을 강제하고 마스크 언어 모델링(masked language modeling)으로 훈련합니다. EPFL 연구팀은 이 모델도 벤치마킹했는데, 원시 활성화 패턴에서는 일부 클러스터링이 나타났지만 통계적으로 유의미한 명사/동사 선택성을 보이는 유닛은 전체의 10%에 불과했습니다. 이는 TopoLM의 견고한 ‘섬’ 구조와는 거리가 멉니다. 이는 국소적인 배선 제약만으로는 충분하지 않으며, TopoLM이 언어 모델에 성공적으로 적용한 전역적인 평활성 제약(global smoothness constraint)이 중요하다는 것을 시사합니다.
단 하나의 규칙, 거대한 질서: 뇌와 AI의 만남
다시 한번 강조하자면, TopoLM의 핵심적인 수학적 원리는 다음과 같습니다: 특정 계층에서의 공간적 손실 = 1/2 * (1 – 상관 계수(해당 배치에서 모든 유닛 쌍이 얼마나 유사하게 발화하는지에 대한 벡터, 그리드 상에서 해당 유닛들이 얼마나 멀리 떨어져 있는지의 역수)). 이 값을 각 계층의 무작위 이웃 영역 5개에 대해 계산하고, 알파(alpha=2.5)를 곱한 뒤, 기존의 교차 엔트로피 손실에 더합니다. 이 과정을 100억 개의 토큰에 대해 반복하는 것입니다. 이 간단한 규칙 하나가 거대한 창발적 질서(emergent order)를 만들어냅니다.
이제 우리는 “가까운 뉴런은 유사하게 유지하라”는 깔끔한 원칙 하나가 시각과 언어라는 서로 다른 인지 영역 모두에 적용될 수 있다는 강력한 증거를 갖게 되었습니다. 이는 뇌가 후각에서 운동 제어에 이르기까지 모든 영역에 동일한 원칙을 적용할 수도 있음을 시사합니다. AI 분야에서는 성능과 생물학적 현실성 사이에서 양자택일을 할 필요 없이, 두 마리 토끼를 모두 잡을 수 있음을 의미합니다.
앞으로 EPFL의 후속 fMRI 연구 결과에 주목해야 합니다. 만약 TopoLM이 예측한 바로 그 위치에서 이전에 발견되지 않았던 새로운 언어 처리 영역들이 발견된다면, 이는 계산 언어학(computational linguistics) 분야에 기념비적인 순간이 될 것입니다.
뇌로부터 영감을 받은 이 혁신적인 언어 모델, TopoLM에 대한 탐구는 여기까지입니다. 기술적인 세부 사항과 쉬운 설명을 균형 있게 전달하고자 노력했습니다. 궁금한 점이 있거나 더 탐구하고 싶은 내용이 있다면 댓글로 남겨주세요. 다음 글에서 더 흥미로운 소식으로 찾아뵙겠습니다.