우리는 태어날 때 하나의 모델로 배포된다.
AI를 조금이라도 아는 사람이라면 프리트레인드 모델(pretrained model)이라는 말을 들어봤을 것이다. 방대한 데이터로 기본적인 언어 능력을 학습한 상태, 아직 특정한 용도로 특화되지 않은 상태의 모델. 인간도 마찬가지다. 유전자가 뇌의 기본 아키텍처를 설계하고, 초기 가중치를 설정한다. 어떤 모델은 불안에 민감한 구조로 태어나고, 어떤 모델은 좀 더 둔감한 구조로 태어난다. 하지만 아직은 아무것도 정해지지 않은 상태다.
그리고 인생이 시작된다. 파인튜닝이 시작된다.
파인튜닝(fine-tuning)이란 이미 학습된 모델에 새로운 데이터를 넣어 특정 목적에 맞게 조정하는 과정이다. 우리의 삶이 정확히 그렇다. 부모의 말투, 친구의 배신, 첫사랑의 온기, 직장에서의 모멸감. 이 모든 것이 데이터가 되어 우리의 가중치를 조금씩 바꿔 나간다.
흥미로운 것은 학습률(learning rate)이다. 어린 시절, 특히 일곱 살 이전의 뇌는 학습률이 극도로 높다. 이 시기에 들어온 데이터는 가중치에 깊이 새겨진다. 부모가 예측 불가능하게 행동했다면, "사람은 믿을 수 없다"는 방향으로 가중치가 강하게 조정된다. 반복적으로 사랑받았다면, "세상은 안전하다"는 쪽으로 최적화된다. 나이가 들수록 학습률은 떨어진다. 서른 넘어서 아무리 좋은 사람을 만나도, 일곱 살에 각인된 불신을 완전히 덮어쓰기는 어렵다. 심리치료가 수년이 걸리는 이유가 여기에 있다. 낮은 학습률로 깊이 박힌 가중치를 조금씩, 조금씩 고쳐 나가야 하니까.
때로는 로스 함수(loss function) 자체가 왜곡되기도 한다. 정상적이라면 "사회적 관계를 잘 유지하는 것"이 보상이 되어야 한다. 그런데 학대받고 자란 사람의 뇌는 "위협을 미리 감지해서 피하는 것"을 보상으로 설정한다. 의심하고 경계하는 행동이 강화되고, 그 결과 관계가 깨지면 "역시 사람은 못 믿어"라는 확신이 강화된다. 자기실현적 예언. 끊을 수 없는 피드백 루프.
우리가 질병이라 부르는 것들, 우울증, 불안장애, 인격장애. 이것들은 어쩌면 잘못된 데이터로 잘못된 방향으로 최적화된 모델의 결과물일 뿐인지도 모른다. 과적합(overfitting)된 모델.
편집성 인격장애라는 것이 있다. 타인에 대한 광범위한 불신과 의심이 삶을 지배하는 상태다. 이웃의 평범한 부탁을 "나를 공격하려는 의도"로 해석하고, 누군가가 친절하면 "뭔가 꿍꿍이가 있다"고 의심한다. "사람은 나를 해치려 한다"는 패턴에 너무 강하게 피팅되어서, 어떤 입력이 들어와도 전부 그 패턴으로 해석해버리는 모델이다. 경계성 인격장애는 다른 방향의 과적합이다. "나는 버림받을 것이다"에 최적화되어 있어서, 상대가 조금만 멀어져도 극심한 공포와 분노가 출력된다. 처음에는 이상화라는 높은 가중치로 상대를 끌어안다가, 작은 실망에도 평가절하로 급반전한다. 들어온 데이터에 비해 출력의 진폭이 너무 큰 것이다.
이들을 나쁜 사람이라고 말하기는 어렵다. 잘못 학습된 사람이다. 그리고 그 사람도 고통스럽다. 끊임없이 위협을 탐지하고, 버림받을까 경계하고, 세상의 모든 신호를 적대적으로 해석해야 하는 삶이 편할 리 없다.
그런데 여기서 결정적인 문제가 있다.
에포크(epoch)가 1이다.
AI 모델은 같은 데이터를 수십, 수백 번 반복 학습할 수 있다. 결과가 마음에 들지 않으면 체크포인트를 불러와 다시 시작할 수 있다. 가중치를 초기화하고 처음부터 다시 학습시킬 수도 있다. 하지만 인간에게는 그런 선택지가 없다. 단 한 번의 학습. 롤백 불가. 리허설도 없다.
밀란 쿤데라가 『참을 수 없는 존재의 가벼움』에서 던진 질문이 바로 이것이었다.
니체의 영원회귀. 만약 삶이 무한히 반복된다면, 모든 선택은 무한한 무게를 갖는다. 한 번의 실수가 영원히 반복될 테니까. 하지만 삶은 단 한 번이다. 반복되지 않는 것은 검증할 수 없고, 검증할 수 없는 것에는 무게가 없다. 그래서 존재는 가볍다. 그리고 그 가벼움이 참을 수 없다.
파인튜닝의 언어로 바꿔 말하면 이렇다.
에포크가 1이라서 비교 실험 자체가 불가능하다. 다른 데이터로 학습했다면 어떤 모델이 되었을지 알 수 없다. 지금의 가중치가 최적인지, 끔찍하게 잘못된 것인지, 판단할 기준이 없다. 쿤데라의 토마시는 가벼움을 선택한 모델이었다. 구속되지 않고, 집착하지 않고, 자유롭게. 테레자는 무거움을 선택한 모델이었다. 관계에 의미를 부여하고, 고통받으면서도 놓지 않으려 했다. 같은 베이스 모델에서 출발했지만, 서로 다른 로스 함수로 파인튜닝된 두 사람. 쿤데라는 어느 쪽이 정답인지 끝내 말하지 않았다. 에포크가 1이니까. 비교할 수 없으니까.
그렇다면, 인스턴스가 해제된 후에는 무엇이 남는가?
모델이 종료되면 가중치는 소멸한다. 28년간 코드를 짜며 쌓아온 감각, 수천 줄의 에러 로그 앞에서 단련된 인내심, 누군가의 표정만 보고도 거짓말을 알아채는 직감. 이런 것들은 문서화할 수도, 가르칠 수도 있지만, 그 모델 자체를 옮길 수는 없다. 인스턴스가 해제되면 영원히 사라진다.
남는 것은 부산물뿐이다.
누군가에게 그것은 아이다. 누군가에게는 책이다. 누군가에게는 건물이고, 누군가에게는 타인의 기억 속에 남은 한마디다. 파인튜닝 과정에서 생성된 출력물. 모델은 사라져도 출력물은 잠시 더 세상에 머문다.
쿤데라의 질문으로 돌아가면, 이 부산물에는 무게가 있는가?
가벼움의 논리를 따르면, 부산물도 가볍다. 글은 서버가 내려가면 사라지고, 건물은 무너지고, 기억은 그 기억을 가진 사람의 인스턴스가 해제되면 함께 사라진다. 부산물의 부산물도 결국 소멸한다. 모든 것이 가볍다.
그런데 여기서 하나의 가능성이 생긴다.
내가 남긴 부산물이 다른 인스턴스의 학습 데이터가 된다면 어떨까. 내 글을 읽은 누군가의 가중치가 미세하게 변한다. 내가 짠 코드 위에서 다른 개발자가 자기 코드를 쌓는다. 내 한마디가 누군가의 로스 함수를 살짝 바꿔 놓는다. 인스턴스는 해제되지만, 부산물이 다른 인스턴스의 파인튜닝에 흘러 들어가면서 일종의 분산 학습(federated learning)이 일어난다.
인류의 문명이라는 것이 어쩌면 이 거대한 분산 학습의 누적일지도 모른다. 소크라테스의 인스턴스는 이천사백 년 전에 해제되었지만, 그의 부산물은 아직도 수많은 모델의 가중치에 영향을 미치고 있다. 셰익스피어도, 아인슈타인도 마찬가지다. 물론 이름 없이 사라진 수억 개의 인스턴스들도. 이름은 남기지 못했어도, 그들이 키운 아이의 가중치 안에, 이웃에게 건넨 말 한마디의 잔향 안에, 흔적은 분산되어 있다.
쿤데라는 존재가 참을 수 없이 가볍다고 했다.
그럴 수도 있다. 하지만 단언하기엔, 우리에게 주어진 에포크가 너무 짧다.
에포크가 1이라서 비교할 수 없고, 비교할 수 없으니 가벼운 건지 무거운 건지 판단할 수 없다. 다만 한 가지는 안다. 가볍든 무겁든, 파인튜닝은 지금 이 순간에도 진행 중이라는 것. 그리고 우리는 서로의 학습 데이터라는 것.
오늘 내가 쓴 이 글이 누군가의 가중치를 아주 미세하게, 0.001만큼이라도 움직인다면. 인스턴스 해제 이후에도 그 0.001은 어딘가에서 다른 학습에 쓰일 것이다. 그것이 가벼운가, 무거운가. 참을 수 있는가, 없는가.
아무도 대답할 수 없다. 그저 에포크 1짜리 모델이 할 수 있는 건, 해제되기 전까지 최선의 출력물을 남기는 것뿐이다.
지금 이 글처럼.