연구자가 토요일에 쉬는 동안 AI가 42번 실험해서 성능을 54% 끌어올렸습니다
묵혀둔 연구 코드를 Claude Code에 맡겼더니 하루 만에 42번 실험을 반복하며 성능을 54% 올렸습니다. 가장 큰 발견은 사람이 놓친 버그 수정이었습니다.
• 매주 전화 100통을 놓치던 자동차 정비소에 AI 접수원을 앉혔더니 24시간 전화를 받습니다
• Obsidian 공식 AI 스킬 무료 공개 — Claude Code로 노트 완전 자동화
해커뉴스에서 244표를 받은 이 실험이 보여주는 건 단순합니다. AI에게 묵혀둔 옛 연구 코드를 건네주고 "성능을 올려봐"라고 시켰더니, 토요일 하루 동안 GPU 한 대로 42번의 실험을 혼자 반복하면서 성능을 54% 끌어올렸습니다. 가장 큰 성과는 새로운 기술이 아니라 사람이 놓친 버그를 첫 실험에서 찾아낸 것이었습니다.
토요일 하루, GPU 한 대의 자동 연구
개발자 Yash Kumar는 예전에 만들어두고 방치했던 비전-언어 모델(이미지와 텍스트를 함께 이해하는 AI) 연구 코드 eCLIP을 꺼냈습니다. 테슬라 AI 출신 카파시(Andrej Karpathy)가 제안한 'Autoresearch'(자동 연구) 방법론을 적용해서, Claude Code에게 이렇게 지시했습니다.
규칙은 간단합니다
• AI는 학습 코드 파일(train.py)만 수정할 수 있습니다
• 실험을 돌려서 성능이 오르면 저장, 내리면 되돌리기
• 인터넷 접속 금지, 새 프로그램 설치 금지
• 실험 하나당 약 3분 (GPU: RTX 4090 한 대)
첫 실험에서 가장 큰 발견이 나왔다
Claude Code가 코드를 처음 분석했을 때, 사람이 놓친 버그를 즉시 발견했습니다. 온도 파라미터(AI 모델이 얼마나 자유롭게 답을 고를지 조절하는 값)에 상한선이 2로 잘못 고정되어 있었는데, AI가 이 제한을 풀어주자 성능 지표가 한 번에 113포인트 급등했습니다.
전체 54% 향상 중 약 60%가 이 버그 수정 한 번에서 나왔습니다. 새로운 모델 구조를 시도하거나 혁신적 아이디어를 적용한 것보다, 기존 코드의 실수를 찾아 고치는 게 압도적으로 효과적이었습니다.
42번의 실험, 13번의 성공
하루 동안 AI는 총 42번의 실험을 자동으로 실행했습니다.
성과의 원천을 분석하면 패턴이 보입니다.
버그 수정: 113포인트 향상 — 가장 큰 기여, 전체의 약 60%
수치 조정(학습 속도, 데이터 크기 등): 약 30포인트 추가 향상
모델 구조 변경(새 기능 추가, 내부 크기 변경 등): 미미한 효과, 대부분 실패
완전히 새로운 아이디어: 성공률 극히 낮음
AI 자동 연구가 잘 되는 경우, 안 되는 경우
저자의 결론은 명확합니다.
잘 되는 경우: 탐색 범위가 명확할 때입니다. 버그 찾기, 수치 조정처럼 "이 안에서 최적값을 찾아라"는 문제에 AI 자동 연구는 놀라울 정도로 효과적입니다. 저자의 표현을 빌리면, "탐색 공간이 명확히 정의되면, 저장-되돌리기 루프는 놀랄 만큼 효과적인 탐색 전략"입니다.
안 되는 경우: "전혀 새로운 것을 시도해봐"라는 열린 문제에서는 AI가 갈피를 못 잡습니다. "미지의 미지(unknown unknowns) 영역에 들어가자 최적화 루프가 폭발했다"고 합니다. 혁신은 여전히 사람의 몫입니다.
직접 해보고 싶다면
전체 코드는 GitHub에 공개되어 있습니다. 필요한 것은 GPU 한 대(RTX 4090 수준)와 Claude Code 구독입니다.
# 저장소 클론
git clone https://github.com/ykumards/eCLIP.git
cd eCLIP/autoresearch
# Docker 컨테이너에서 실험 시작
./start.sh핵심은 AI가 수정할 수 있는 파일을 제한하고(한 파일만 수정 가능), "성능이 오르면 유지, 내리면 되돌리기"라는 단순한 규칙을 반복시키는 것입니다. 이 구조만 갖추면 자기 연구에도 적용할 수 있습니다.
관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기