90년 난제, 88시간 만에 답이 나왔다 AI 에이전트 1만 개가 88시간 동안 메시지 270만 건을 주고받았습니다. 그 끝에 나온 것은 90년 넘게 증명되지 않았던 수학 난제의 해법이었습니다. 오픈AI가 2025년 7월 8일(현지 시간) 발표한 내용입니다. 90년 동안 답이 나오지 않던 자리에, 나흘이 채 안 되는 시간이 놓였습니다.
오픈AI는 8일(현지 시간) 미공개 AI 모델을 활용해 세계 7대 수학 난제 중 하나인 '나비에-스토크스 방정식' 문제의 해법을 도출했다고 밝혔습니다. 이 방정식은 물과 공기 같은 유체가 어느 방향으로 얼마나 빠르게 움직이는지를 설명하는 수학식입니다. 항공기 설계, 일기 예보, 혈류 연구에 쓰입니다. 학계가 증명하지 못한 쟁점은 하나였습니다. 3차원 유체의 해가 시간이 지나도 항상 매끄럽게 유지되는지, 아니면 특정 시점에 속도가 무한대로 치솟는 '특이점'이 발생하는지입니다. 오픈AI는 유한한 시간 안에 특이점이 발생할 수 있음을 보이는 해법에 도달했다고 설명했습니다.
미국 클레이수학연구소는 이 문제를 밀레니엄 문제로 선정하고, 해결자에게 100만 달러의 상금을 걸었습니다. 90년 넘게 주인이 없던 상금입니다. 최근 흐름은 이번 발표 하나로 끝나지 않습니다. 2025년 6월 앤트로픽은 미공개 연구용 모델 '클로드'를 활용해, 160년 넘게 풀리지 않은 '리만 가설'과 관련해 진전된 결과를 제시했습니다. 오픈AI는 그동안 학계에서 명확히 설명하지 못했던 인간의 면역 기전을 AI로 설명해냈습니다. 최전선 AI 모델의 성능이 빠르게 개선되면서, 수학·과학 난제에서 새로운 결과가 잇따라 나오고 있습니다.
방식은 한 대의 똑똑한 AI가 아니었습니다. 오픈AI는 최근 공개한 'GPT-6 아스트라'보다 성능이 높은 비공개 모델을 쓰면서, 약 1만 개의 AI 에이전트를 투입했습니다. AI 에이전트는 독립적으로 가설과 증명 경로를 탐색하고 중간 결과를 공유하는 개별 실행 단위입니다. 그룹별로 서로 다르게 변형된 문제를 풀게 한 뒤, 각 그룹이 독립적으로 증명 경로를 찾고 중간 결과를 모았습니다. 그중 유망한 아이디어만 골라 발전시켰습니다. 이 병렬 탐색 88시간 동안 오간 메시지는 270만 건, 사용한 출력 토큰은 약 1,300억 개입니다. 수천~수만 명 규모의 연구원이 동시에 다른 길을 걸어본 셈입니다.
발표된 것은 해법이고, 검증은 남아 있습니다. 국제 수학계의 검증을 통과할 경우 AI가 밀레니엄 문제를 해결한 첫 사례가 됩니다. 반대로 말하면, 지금은 그 전 단계입니다. 오픈AI 스스로도 학계와 함께 검증하는 절차를 언급했습니다. 김경훈 오픈AI 코리아 총괄 대표는 "AI가 내놓은 연구 결과를 학계와 함께 검증하는 것으로 외부와의 협력도 이어갈 것"이라고 말했습니다.
또 하나의 문제 제기는 데이터에서 나왔습니다. 오픈AI보다 앞서 나비에-스토크스 방정식을 연구해온 뉴욕대 수학자 트리스탄 벅마스터는, 오픈AI가 자신들의 미공개 연구를 직·간접적으로 참고했을 가능성을 제기했습니다. 그는 연구 과정에서 오픈AI의 코딩 도구 '코덱스'에 연구 초안과 아이디어를 입력했다고 주장했습니다. 현재 오픈AI와 앤트로픽 등은 전 세계 연구기관·대학에 최전선 AI 모델을 무료로 제공하는 프로그램을 운영하고 있습니다. 무료로 쓰는 대신 무엇이 입력되는지가 함께 남는 구조입니다.
마크 첸 오픈AI 최고연구책임자는 "AI 연구에 있어 중요한 이정표"라며 "우리가 직면한 가장 난해한 문제들 중 더 많은 문제에 대해 답을 찾을 수 있게 해줄 것"이라고 말했습니다. 이준상 연세대 기계공학부 교수는 "AI가 계산 보조를 넘어 인간이 풀지 못한 수학적 난제의 증명을 탐색하고 형식적으로 검토하는 새로운 연구 도구로 발전할 가능성을 보여준 사례"라고 평가했습니다. 같은 방정식을 연구해온 장진우 포스텍 수학과 교수는 "상당히 놀라운 결과"라면서도, 수학자의 역할이 달라진다고 봤습니다. 앞으로는 무엇이 정말 중요한 문제인지, 어떤 가정이 자연스러운지를 제시해야 한다는 것입니다. 다만 AI로 답을 바로 얻게 되면 젊은 연구자가 사고력을 훈련할 기회가 줄어든다는 우려도 나옵니다. 김형종 서울여대 지능정보보호학부 교수는 "AI에 무작정 의존하는 게 아니라 어떻게 현명하게 쓸 수 있을지 고민해야 하는 시대"라고 했습니다.
'해법을 도출했다'와 '난제를 해결했다'는 아직 다른 말입니다. 국제 수학계의 검증 결과가 나오기 전까지는 두 표현을 구분해서 읽는 편이 정확합니다. 연구나 업무에 AI를 쓰고 있다면, 아직 공개하지 않은 아이디어와 자료를 어디까지 입력할지도 함께 정해둘 필요가 있습니다. 벅마스터가 제기한 문제는 특별한 상황이 아니라, 무료로 제공되는 모델을 쓰는 모든 사람에게 같은 형태로 놓여 있습니다. 88시간과 270만 건의 메시지가 만든 것은 답 하나가 아니라, 그 답을 어떻게 검증하고 무엇을 입력할지에 대한 질문이기도 합니다.
