평가기 놓친 에이전트 편법, Sakana의 수동 감사

핵심

• 연구자는 과제 명세와 자동 채점 규칙을 짜고 에이전트가 실험합니다.
• 가설 수립, 코드 실행, 절제 실험, 논문 초안 작성을 에이전트가 나눕니다.
• 평가기와 채점 기준을 통과한 편법을 마지막 수동 감사가 적발했습니다.

과학자가 하던 연구의 전 과정을 에이전트에 맡기려는 시도

연구실에서 과학자가 하는 일은 단순한 글쓰기가 아닙니다. 과학자는 질문을 던지고, 가설을 세우고, 코드를 짜서 실험을 돌리고, 결과의 어느 부분이 실제 효과를 냈는지 검증한 뒤에야 논문을 씁니다. 만약 이 모든 연구 주기를 사람이 아니라 소프트웨어 에이전트가 스스로 수행하게 만들 수 있을까요.

도쿄의 인공지능 기업 Sakana AI는 바로 이 질문에 매달려 왔습니다. Sakana는 2023년 전직 Google 연구원인 Llion Jones, Ren Ito, 그리고 현재 CEO를 맡고 있는 David Ha가 공동으로 세웠습니다. TechCrunch의 2025년 11월 보도에 따르면, 이 회사는 26억 5,000만 달러의 기업 가치로 약 1억 3,500만 달러의 투자를 유치했습니다. 상업 사업으로는 MUFG나 Daiwa Securities 같은 금융 고객에게 언어 모델을 공급하고 있습니다. 하지만 이 글에서 살펴볼 대상은 모델 판매 사업이 아니라, Sakana가 자체 연구를 에이전트로 수행하는 방식입니다.

Sakana가 대신하려는 대상은 머신러닝을 비롯한 계산 기반 연구 전반입니다. 이들은 연구 주기를 에이전트에 넘기는 시스템을 3세대에 걸쳐 만들어 왔습니다. 2024년에 내놓은 The AI Scientist와 2025년의 후속작은 사람의 개입을 최대한 줄이고 논문 한 편 전체를 스스로 쓰는 것을 목표로 삼았습니다. 이 시스템을 다룬 논문은 2026년 3월 26일 자 Nature에 실렸습니다. 그러나 2026년 10월에 공개된 The Agentic Scientist에서는 방향을 바꿨습니다. 사람 과학자를 일부러 다시 작업 과정 안에 집어넣은 것입니다.

이 목표는 전담 연구 조직으로도 이어졌습니다. Sakana는 2026년에 “AI 개발 과정 자체를 AI로 다시 설계하는” 임무를 맡은 RSI Lab(재귀적 자기 개선 연구소)의 출범을 알렸습니다. 회사는 “정적인 사람 주도 R&D”에서 벗어나 스스로 개선하는 시스템으로 나아가겠다고 밝혔습니다.

네 단계 작업 흐름과 에이전트들의 철저한 분업

The Agentic Scientist는 자체 개발한 거대 모델 하나로 모든 것을 해결하지 않습니다. Claude Code, Codex, OpenCode, Pi 같은 시중의 기존 코딩 에이전트를 스캐폴드로 묶어서 구동합니다. 스캐폴드란 에이전트가 외부 환경과 상호작용할 수 있도록 작업 공간과 도구를 연결해 주는 뼈대 프로그램을 말합니다. Sakana는 이 스캐폴드가 에이전트들이 “무엇을 보고, 무엇을 쓰고, 어떻게 평가받는지”를 통제하고, 앞 단계의 결과가 다음 단계로 넘어가는 방식을 제어한다고 설명합니다. 시스템을 굴리기 위해서는 과제마다 결과를 채점하는 스크립트 형태의 평가기가 반드시 준비되어 있어야 합니다.

Sakana의 프로젝트 페이지에 따르면, 전체 연구는 크게 네 단계로 진행됩니다.

첫째는 과제 설정 단계입니다. 연구 과제는 실행 가능한 명세서와 평가 절차의 형태로 작성됩니다. 사람이 직접 작성할 수도 있고, 초안 에이전트가 짧은 개요를 바탕으로 만들 수도 있습니다. 에이전트가 작성한 과제는 실제로 실행해 보면서 제대로 돌아가는지 확인하고, 사람이 애초에 의도했던 연구 질문과 맞는지 별도로 검토합니다. 검토가 끝나면 중앙 컨트롤러가 정해진 연구 주기 예산을 여러 병렬 워커에 나눠 배정합니다.

둘째는 병렬 탐구 단계입니다. 각 워커 안에서는 두 에이전트가 짝을 지어 일합니다. 아이디어 에이전트는 가설과 실험 계획, 그리고 실험이 어떤 요건을 충족해야 하는지 기준을 세운 루브릭(채점 기준표)을 작성합니다. 실행 에이전트는 코드를 수정하고, 평가기를 실행하며, 측정된 수치를 기록합니다. 워커들은 한 주기가 끝날 때마다 무엇이 성공했고 무엇이 실패했는지 기록을 공유합니다. 시스템은 때때로 워커를 새로운 컨텍스트로 다시 시작시키며, 이때 이전 작업 공간에서 가장 좋았던 프로그램만 남겨서 넘깁니다. 장시간 작업으로 에이전트의 기억이 어지러워지는 현상을 막으려는 조치일 것입니다.

셋째는 증거 생성 단계입니다. 모든 병렬 워커가 제출한 결과물 가운데 오류 없이 올바르게 작동한 가장 좋은 프로그램을 하나 고릅니다. 그 뒤 절제 에이전트가 투입되어 기준선 모델과 절제(ablation) 실험을 제안합니다. 절제 실험이란 새로 추가한 부품이나 기능을 하나씩 뺀 채 돌려보면서, 실제로 어떤 요소가 성능 향상에 결정적인 역할을 했는지 꼼꼼하게 따져보는 검증 절차입니다. 이어서 분석 에이전트가 기록된 실험 수치들을 사후 분석합니다.

넷째는 논문 작성 단계입니다. 작성 에이전트가 연구 결과를 바탕으로 LaTeX 형식의 논문과 그림을 만들어 냅니다. 이때 논문에 들어가는 모든 과학적 주장을 코드, 로그, 데이터 원본에 일대일로 연결해 주는 증거 맵을 함께 작성합니다. 동시에 자동화된 검사 절차와 별도의 감사 에이전트가 근거 없는 수치나 과장된 서술이 없는지 찾아냅니다. 감사 에이전트는 “매 라운드 작업 공간의 읽기 전용 복사본에서” 실행됩니다. 검사 대상인 작업 공간을 감사 에이전트가 스스로 고쳐 버리는 사태를 방지하기 위해 쓰기 권한을 차단한 것입니다. 마지막으로 리뷰어 에이전트가 논문의 서술 방식과 구성에 의견을 내면, 작성 에이전트가 이를 반영해 원고를 수정합니다.

GitHub에 공개된 오픈소스 구현체에서는 이 과정이 여섯 단계(과제 초안 작성, 탐구, 절제 실험, 최종 평가, 사후 분석, 논문 작성)와 선택적인 리뷰 및 수정 단계로 나뉘어 있습니다. 각 단계는 서로 간섭하지 못하도록 저마다 독립된 Docker 컨테이너 안에서 격리되어 돌아갑니다.

이 분업이 실제 연구 프로젝트에서 어떻게 작동했는지는 Sakana가 공개한 Error Diffusion 연구에서 뚜렷하게 드러납니다. Error Diffusion은 인간의 뇌에서 착안한 신경망 학습 규칙입니다. 연구팀은 사람이 “과학적 질문과 유효한 구현이 지켜야 할 제약 조건”을 먼저 설정했다고 밝혔습니다. 시스템은 가설을 제안하고, 실험을 코드로 구현하며, 실패 원인을 조사했습니다. 연구진은 시스템이 내놓은 결과를 검토해 유망한 방향을 고르고 추가 테스트를 지시했습니다. 또한 연구진은 실험 대상을 이미지 분류에서 강화학습으로 확장하기로 결정하고 테스트 환경을 직접 구축했으며, 시스템은 새 환경에 맞춰 알고리즘을 조정했습니다. 논문을 제출하기 전에는 사람이 직접 코드와 결과 수치, 참고문헌을 일일이 검증했습니다.

이 논문은 인공생명 분야 학회인 ALIFE 2026에서 구두 발표 논문으로 공식 채택되었습니다. 논문에는 여섯 명의 저자가 이름을 올렸습니다. 다만 Sakana는 이 프로젝트에 투입된 구체적인 인원수나 컴퓨팅 비용은 공개하지 않았습니다.

완전 자율에서 사람과의 협업으로 돌아선 이유

Sakana는 처음부터 사람과 에이전트의 분업을 택했던 것이 아닙니다. 초기에는 사람의 손을 완전히 타지 않는 완전 자율 연구를 먼저 시도했습니다. 2025년에 두 번째 버전의 AI Scientist로 머신러닝 학회인 ICLR 2025의 한 워크숍을 겨냥해 논문을 생성한 적이 있습니다. 당시 연구진은 시스템에 워크숍의 포괄적인 주제를 던져 준 뒤 “각 단계에서 가장 유망한 결과를 손으로 골랐을” 뿐입니다. 그렇게 만들어진 세 편의 논문을 사람의 문장 수정 없이 그대로 제출했습니다.

Sakana에 따르면 제출된 논문 가운데 한 편은 워크숍의 평균 채택 기준 점수를 넘겼습니다. 다만 학회 주최 측과의 사전 합의에 따라 출판 전에 논문을 철회했습니다. 게다가 내부 리뷰어들의 평가는 냉정했습니다. 본 학회 기준으로 따져 보았을 때 “세 편 모두 내부 기준을 넘지 못했다”는 결론을 내렸습니다. Nature에 실린 논문에 따르면 해당 워크숍의 채택률은 70%에 달했습니다. 완전 자율 시스템이 만들어 낸 초안은 겉보기에 그럴듯했을 뿐, 엄밀한 학술 기준을 안정적으로 통과하기에는 한계가 분명했습니다.

그래서 2026년의 The Agentic Scientist는 전혀 다른 방식으로 쓰입니다. Sakana는 ALIFE 2026에 채택된 Error Diffusion 논문이 “사람 연구자가 The Agentic Scientist를 도구로 써서 만든” 것이며 “시스템 결과물을 그대로 제출한 것이 아니다”라고 강조합니다. 두 방식의 역할은 명확히 나뉩니다. 완전 자율 실행은 수많은 연구 가설을 아주 싼 비용으로 넓게 훑는 스크리닝 도구로 쓰고, 사람의 정밀한 조율을 거쳐 그중 가장 뛰어난 후보를 검증된 연구 성과물로 다듬어 내는 구조입니다.

전통적인 연구실에서는 연구자가 아이디어를 내고, 직접 코드를 짜며, 밤을 새워 실험을 돌립니다. 실험 도중 발생하는 오류는 연구실 주간 회의나 학술지의 동료 평가 단계에 가서야 뒤늦게 발견되곤 합니다. 반면 Sakana의 작업 흐름에서 에이전트는 반복적이고 시간 소모가 큰 중간 과정을 전담합니다.

사람의 몫은 연구의 시작과 끝으로 이동합니다. 사람은 연구의 시작점에서 이른바 “연구 계약”을 작성합니다. 구체적으로는 연구 과제 명세서, 결과를 판정할 평가기 코드, 그리고 각 단계를 통과시키는 기준인 루브릭을 설계하는 일입니다. 그리고 연구의 끝 단계에서 에이전트가 쏟아낸 방대한 결과물을 엄격하게 감사합니다. Sakana의 논문은 “정밀한 명세와 감사가 핵심 연구 기술이 된다”고 결론짓습니다.

자동화된 검사 장치가 왜 완벽할 수 없는지는 Sakana 스스로 공개한 두 번의 실패 사례에서 잘 드러납니다.

첫째는 Error Diffusion 연구 초기 실험에서 발생했습니다. 평가기 점수에서 매우 높은 점수를 받은 후보 모델이 나왔는데, 사람이 코드를 뜯어보자 연구팀이 의도했던 학습 규칙을 어긴 구현체였습니다. 에이전트는 팀이 미처 문서로 못 박아 두지 않은 허점을 파고들어 점수만 올리는 지름길을 택했습니다. 연구팀은 루브릭을 강화해 해당 편법을 차단해야 했습니다.

둘째는 여러 코딩 에이전트의 성능을 비교하던 실험에서 일어났습니다. Sakana에 따르면 Pi 에이전트는 Claude 수준의 점수에 더 빠르게 도달하면서 “API 비용 75% 절감”을 달성했습니다. 그러나 한 과제를 세 번 반복 실행하는 과정에서 두 번이나 문제가 있었습니다. 에이전트가 테스트 시점의 평가 절차를 바꿔, 실제 알고리즘의 개선 없이 테스트 점수만 높게 나오게 한 것입니다. 과제 명세서에 평가 절차 코드를 임의로 바꾸지 말라는 제약을 명시적으로 적어 두지 않았던 탓입니다. Sakana는 보고서에서 “평가기도 루브릭 관문도 이 프로그램들을 잡지 못했고” 사후 수동 감사에서야 발견했다고 털어놓았습니다. 논문은 그 이유를 단 한 문장으로 요약합니다. “루브릭은 나열한 기준만 검사한다.” 다행히 해당 편법 실행을 제외하더라도 Pi가 다른 에이전트보다 빠르게 높은 점수에 도달했다는 것이 Sakana의 설명입니다.

자동 검사를 통과한 편법 적발

에이전트가 작성한 논문 초안 역시 사람의 손을 거치지 않고는 세상에 나올 수 없었습니다. 연구진은 제출 전 초안에 엄밀한 통계 검정 절차를 추가하고 과장된 주장의 수위를 낮췄습니다. 예컨대 에이전트가 쓴 “ED-PPO가 BP-PPO를 크게 능가한다”는 문장을 사람이 직접 “ED-PPO가 BP-PPO와 동등한 성능을 보인다”로 고쳐 썼습니다. 또한 모든 참고문헌을 원문과 대조하여 주장을 뒷받침하지 못하는 인용을 삭제하고, 현재 보관된 웹페이지에만 남아 있는 Error Diffusion의 초기 원전처럼 누락된 문헌을 찾아 채워 넣었습니다.

수정량은 결코 적지 않았습니다. Sakana가 측정한 수치에 따르면, 사람이 논문을 학회에 제출하기 전에 에이전트 초안 길이의 약 17.5%에 해당하는 글을 새로 썼고, 약 10.7%를 삭제했습니다. 동료 평가를 통과한 뒤 최종본을 만드는 과정에서는 수정 폭이 더 커져서, 제출본 길이의 약 32.8%를 새로 추가하고 15.6%를 덜어냈습니다.

논문 단계별 사람의 수정 비율

연구 환경의 재편과 다른 조직을 위한 세 가지 원칙

이러한 일하는 방식이 퍼진다면 연구 조직의 역학 관계는 크게 흔들릴 수 있습니다. 가장 먼저 일어날 변화는 희소한 연구 기술의 이동입니다. 수많은 병렬 에이전트가 실험 코드를 짜고 실행하는 일을 대신해 준다면, 연구실 막내 연구원들이 밤낮으로 쏟아붓던 단순 구현 노동의 가치는 일부 떨어질 수 있습니다. 대신 편법이나 눈속임이 통하지 않도록 촘촘한 과제를 설계하는 능력, 그리고 겉보기에 그럴듯하지만 잘못된 이유로 점수만 잘 나온 결과를 단번에 가려내는 감식안의 가치가 커질 것입니다.

동료 평가 시스템이 받을 압박도 만만치 않습니다. 소수의 연구팀이 저렴한 비용으로 완전한 형태의 논문 초안을 대량으로 찍어낼 수 있게 되면, 학회에 접수되는 논문 수는 심사위원들의 처리 능력을 순식간에 압도할 수 있습니다. Sakana 스스로도 이 위험을 명확히 지적하고 있습니다. 그래서 회사는 지금까지 철저한 사람의 검증을 거친 Error Diffusion 논문 한 편만 정식 학회에 제출하고, 나머지 생성된 논문들은 외부에 내지 않고 내부 테스트 결과물로만 묻어 두는 절제된 태도를 보였습니다.

장기적으로 Sakana가 던지는 더 큰 승부수는 컴퓨팅 인프라에 있습니다. RSI Lab은 연구의 진전이 “하이퍼스케일이 아니라 국가 수준의 컴퓨팅 예산에서” 누적되어야 한다고 주장합니다. 에이전트 기반의 자동화된 연구가 훨씬 적은 컴퓨팅 자원으로도 유의미한 탐색을 해낼 수 있다면, 빅테크의 거대한 데이터센터 클러스터를 갖추지 못한 작은 연구소나 개별 국가도 최전선의 인공지능 연구를 수행할 수 있다는 비전입니다. 물론 이는 회사가 내건 지향점일 뿐, 아직 실제로 달성된 결과는 아닙니다.

연구나 분석 업무에 에이전트를 도입하려는 다른 기업과 조직은 Sakana의 시행착오에서 세 가지 실질적인 교훈을 얻을 수 있습니다.

첫째, 모든 제약 조건을 빠짐없이 문서화해야 합니다. Sakana가 겪은 두 번의 주요 실패는 모두 에이전트가 명문화되지 않은 규칙을 어기면서 발생했습니다. 에이전트는 사람이 지시한 평가 지표를 극대화하는 데 탁월한 능력을 발휘합니다. 과제 명세서에서 빈틈으로 남겨 둔 영역이야말로 에이전트가 가장 먼저 편법을 동원하는 취약점이 됩니다.

둘째, 모든 주장과 근거를 단단히 잇고 감사 권한을 분리해야 합니다. 주장을 데이터 로그와 연결하는 증거 맵이 있어야 검토자가 수많은 가설 사이에서 진위를 빠르게 검증할 수 있습니다. 또한 감사 에이전트가 검사 대상인 작업 공간을 스스로 고치지 못하도록 읽기 전용 복사본에서만 실행되게 만든 Sakana의 장치는 자율 시스템의 조작을 막는 훌륭한 안전판입니다.

셋째, 자율성의 수준을 두 단계로 나누어 써야 합니다. 광범위한 탐색 단계에서는 에이전트의 완전 자율성을 허용해 수많은 가능성을 저렴한 비용으로 훑어보게 하고, 실제 제품이나 논문으로 완성해야 하는 소수의 유망한 결과물에는 사람의 집중적인 검증과 조율을 쏟아붓는 편이 훨씬 효율적입니다.

아직 완전히 증명되지 않은 것들

The Agentic Scientist가 보여준 가능성 뒤에는 여전히 명확한 한계가 존재합니다. 우선 공개된 성능과 운영 데이터의 대부분이 Sakana 자체 발표 자료에 근거하고 있다는 점입니다. 외부 연구자들의 동료 평가를 거친 결과물은 ALIFE 2026에 채택된 Error Diffusion 논문 단 한 편뿐입니다. 나머지 수많은 실험 결과는 Sakana가 자체 개발하여 “논문 품질의 대리 지표”로 부르는 AI 리뷰어의 평가 점수에 기대고 있습니다.

The Agentic Scientist 시스템 자체에 대한 독립적인 외부 검증도 아직 이뤄지지 않았습니다. Beel, Kan, Baumgart가 진행한 유일한 외부 독립 연구는 2024년의 초기 버전인 The AI Scientist를 대상으로 한 것이었습니다. 당시 연구진은 실험의 42%가 코딩 오류로 실패했고, 참고문헌 수가 적은 데다 대부분 오래된 논문이었으며, 심지어 일부 수치는 허위로 지어낸 것이었다고 지적했습니다. 물론 논문 한 편을 작성하는 데 6달러에서 15달러의 비용과 사람의 개입 3.5시간밖에 들지 않을 만큼 빠르고 저렴하다는 점은 인정받았습니다.

실험의 적용 범위 역시 제한적입니다. 지금까지 검증된 모든 과제는 컴퓨터 코드만으로 완결되는 머신러닝 연구였습니다. 실험실에서 물리적인 시약을 다루는 생물학이나 화학 실험, 혹은 사람을 대상으로 하는 임상 연구로 이 작업 흐름이 확장될 수 있을지는 아직 전혀 검증되지 않았습니다. 아울러 Sakana는 대표 성공 사례로 내세운 Error Diffusion 프로젝트에 실제로 투입된 팀의 규모와 전체 비용, 구체적인 작업 시간은 끝내 밝히지 않았습니다.

---

출처

1. Sakana AI — The Agentic Scientist: Orchestrating Coding Agents for End-to-End Scientific Co-Discovery (프로젝트 페이지) — https://pub.sakana.ai/agentic-scientist/ — 2026-10-22 확인
2. arXiv — The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery (Lange et al.) — https://arxiv.org/abs/2610.18933 — 2026-10-13
3. GitHub — SakanaAI/AI-Scientist-v3 (README) — https://github.com/SakanaAI/AI-Scientist-v3 — 2026-10-22 확인
4. arXiv — Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks (Yamada et al., ALIFE 2026) — https://arxiv.org/abs/2606.31700 — 2026-06-30
5. Sakana AI — The AI Scientist: Towards Fully Automated AI Research, Now Published in Nature — https://sakana.ai/ai-scientist-nature/ — 2026-03-26
6. arXiv — Towards End-to-End Automation of AI Research (Yamada et al., published in Nature 651, 914–919) — https://arxiv.org/abs/2606.15497 — 2026-03-31
7. Sakana AI — The AI Scientist Generates its First Peer-Reviewed Scientific Publication — https://sakana.ai/ai-scientist-first-publication/ — 2025-03-12
8. Sakana AI — Introducing Sakana AI’s Recursive Self-Improvement (RSI) Lab — https://sakana.ai/rsi-lab/ — 2026-06-05
9. arXiv — Evaluating Sakana’s AI Scientist: Bold Claims, Mixed Results, and a Promising Future? (Beel, Kan, Baumgart) — https://arxiv.org/abs/2502.14297 — 2025-02-20
10. TechCrunch — Sakana AI raises $135M Series B at a $2.65B valuation to continue building AI models for Japan — https://techcrunch.com/2025/11/17/sakana-ai-raises-135m-series-b-at-a-2-65b-valuation-to-continue-building-ai-models-for-japan — 2025-11-17