简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

Partnered With:

Anthropic 창시자 예언: 2028년 이전에, AI 개발은 더는 인간의 개입이 필요하지 않을 것입니다

이 글을 읽으려면 51 분

심지어 내부 인원조차 인정해야 할 사실: AI 가 자체적으로 학습하는 방법을 익히고 있습니다.

원문 제목: Import AI 455: AI systems are about to start building themselves.
원문 작성자: Jack Clark, Anthropic Co-founder

번역: Yang Wen, Chen Chen, Synced

이 견해는 허무하지 않게 제시되었습니다. 작가는 많은 공개 벤치마크를 살펴본 결과, AI가 AI 연구 개발 작업에서 매우 빠르게 발전하고 있다고 발견했습니다.

예를 들어, CORE-Bench는 AI가 다른 사람의 연구 논문을 구현하는 능력을 조사했으며, 이는 AI 연구에서 매우 중요한 부분입니다.

PostTrainBench는 강력한 모델이 약한 오픈 소스 모델을 자체적으로 미세 조정하여 성능을 향상시킬 수 있는지를 테스트하며, 이는 AI 연구 개발 작업의 중요한 하위 집합입니다.

MLE-Bench는 실제 Kaggle 대회 작업을 기반으로 하며, 특정 문제를 해결하기 위해 다양한 머신러닝 애플리케이션을 구축해야 합니다. 또한, 널리 알려진 코딩 벤치마크인 SWE-Bench도 비슷한 발전을 보여주고 있습니다.

Jack Clark는 이러한 현상을 "프랙탈" 형식의 상향식 우측 추세로 설명했는데, 다양한 해상도와 규모에서 의미 있는 진전을 관찰할 수 있다는 것을 의미합니다. 그는 AI가 점차적으로 단문에서 단문까지 자동화된 연구 및 개발 능력에 다가가고 있다고 보며, 한 번 실현되면 AI는 스스로의 후속 시스템을 자동으로 구축할 수 있게 되어 자체 반복의 루프를 시작할 것이라고 믿습니다.

이 발언은 소셜 미디어에서 상당한 논란을 불러일으켰습니다.

일부 사람들은 이를 ASI와 싱귤래티로 향한 중요한 첫걸음으로 간주하며, 기술 발전의 속도를 근본적으로 변화시킬 수 있는 가능성을 지적했습니다.

그러나 이에 대해 다른 의견도 존재합니다.

워싱턴 대학 컴퓨터 과학 교수인 Pedro Domingos는 50년대에 LISP 언어가 만들어질 때부터 AI 시스템이 "스스로 구축"할 수 있는 능력을 갖췄다고 지적했으나, 실제 문제는 증분적인 이익을 얻을 수 있는지 여부이며, 현재까지 이를 지원하는 명백한 증거가 없다고 언급했습니다.

한 네티즌이 2027년부터 2028년까지 한 번에 30% 증가하는 확률에 대해 의문을 제기했습니다. 이는 2027년 말부터 2028년 초까지 AI 능력이 한 번에 중대한 돌파를 할 것을 시사합니다. 과연 어떤 구체적인 마일스톤 또는 이벤트가 AI가 재귀적으로 스스로 개선하는 능력의 확률을 짧은 시간 내 크게 증가시키게 되는 것인가요?

또 다른 네티즌은 Jack Clark 가 Anthropic 의 새로운 PR 책임자로 취임했다고 언급했습니다. 이것은 새로운 전략의 일환입니다: 우리는 경고하는 사람이 아니라 대량의 논문들이 계속해서 우리가 경고해 온 것을 입증합니다.

Jack Clark 가 Import AI 455 뉴스레터에서 이에 대해 자세히 쓴 긴 문서가 있습니다.

이어서, 우리는 이 기사를 완전히 살펴보겠습니다.

AI 시스템이 자체 구축을 시작하면, 그것이 의미하는 것은 무엇인가요?

Clark 는 그가 이 글을 쓴 이유는 모든 공개 정보를 검토한 후에 비교적 쉽지 않은 판단을 내려야 했기 때문이라고 말했습니다: 2028년 말까지 인간 참여 없이 AI 연구가 진행될 가능성은 꽤 높아졌으며, 심지어 60%를 넘을 수도 있습니다.

여기서 말하는 인간 참여 없이의 AI 연구는 충분히 강력한 AI 시스템을 가리킵니다: 그것은 인간이 연구하는 데 도움을 줄 뿐 아니라, 중요한 연구 과정을 자동으로 완료하거나 심지어 자체의 다음 세대 시스템을 구축할 수 있는 것일 수 있습니다.

Clark 에게는 이것이 분명히 중요한 일이라고 생각됩니다.

그는 스스로도 이 사실의 의미를 완전히 이해하기 어렵다고 솔직히 털어놓았습니다.

그것이 쉽게 해소하기 어려운 이유는 이것이 너무나도 방대한 영향을 미치기 때문이며, 그의 통찰력이 이를 파악하기 어렵다고 느끼게 만듭니다. Clark 는 또한, 전체 사회가 이미 AI 연구 자동화의 심층적인 변화에 대비할 준비가 되어 있는지 확신하지 못합니다.

그는 지금, 인류가 완전히 자동화된 AI 연구로 나아가는 변화의 시작점에 있다고 믿습니다. 이 순간이 실제로 찾아온다면, 인류는 루비콘 강을 건너며 거의 예측할 수 없는 미래에 발을 들인 것으로 여기게 될 것입니다.

Clark 는 이 기사의 목적을 설명하면서, 완전히 자동화된 AI 연구로 향하는 연착륙의 이유에 대해 설명했습니다.

그는 이 트렌드가 가져올 수있는 일부 결과에 대해 논의할 것이지만, 기사의 대부분은이 판단을 뒷받침하는 증거에 집중할 것입니다. 보다 심층적인 영향에 대해서는 Clark는 올해의 대부분을 계속해서 검토할 계획입니다.

시기적으로 Clark는 이 사건이 실제로 2026 년에 발생할 것으로 보지는 않습니다. 그러나 그는 앞으로 1-2 년 안에 모델이 자체 후속 모델을 모든 단계를 통합적으로 훈련시키는 케이스를 볼 수도 있을 것이라고 봅니다. 최소한 비전선 모델 수준에서 개념 증명이 나타날 가능성이 매우 높으며, 전선 모델에 대해서는 더 어려울 것입니다. 왜냐하면 이러한 모델은 매우 비싼 비용이 들고 많은 인간 연구자들의 고강도 노력이 필요하기 때문입니다.

Clark의 판단은 주로 공개 정보에서 비롯됩니다. 이는 arXiv, bioRxiv 및 NBER에 게시된 논문 등이 포함되어 있으며, 또한 전선 AI 기업이 실제 세계에 배포한 제품도 포함됩니다. 이러한 정보를 바탕으로, 그는 다음 결론을 내렸습니다. 현재 AI 시스템을 위한 여러 가지 단계의 자동화 생산, 특히 AI 개발의 공학 구성 요소는 기본적으로 완성되었다는 것입니다.

만약 스케일링 트렌드가 계속된다면, 우리는 다음과 같은 상황에 대비해야 할 것입니다: 모델은 충분히 창의적 일 수 있으며, 이미 알려진 방법을 자동으로 개선할 뿐만 아니라 새로운 연구 방향을 제시하고 원본 아이디어를 제시하는 데에도 인간 연구자를 대신하여 AI 전선의 발전을 촉진할 수도 있을 것입니다.

코딩 지점: 능력의 시간에 따른 변화

AI 시스템은 소프트웨어를 통해 구현되며, 소프트웨어는 코드로 구성됩니다.

AI 시스템은 이미 코드 생성 방식을 체계적으로 바꿨습니다. 이에는 두 가지 관련 트렌드가 있습니다. 한 가지는 AI 시스템이 점점 더 복잡한 현실 세계 코드를 작성하는 데 능숙해지고 있는 것이고, 다른 한 가지는 AI 시스템이 거의 인간 감독이 필요하지 않은 상태에서 많은 선형 코딩 작업을 연쇄적으로 완료하도록 능숙해지고 있는 것입니다. 예를 들어 코드를 작성한 후에 테스트를 수행합니다.

이 경향을 나타내는 두 가지 전형적인 예는 SWE-Bench와 METR 시간대 플롯입니다.

현실 세계의 소프트웨어 엔지니어링 문제 해결

SWE-Bench는 널리 사용되는 프로그래밍 테스트로, AI 시스템이 실제 GitHub 이슈를 해결하는 능력을 평가하는 데 사용됩니다.

2023 년 말에 SWE-Bench가 출시된 당시, 최고의 성과를 거두었던 모델은 Claude 2였으며, 전반적인 성공률은 약 2%에 불과했습니다. 그런데 Claude Mythos Preview의 성적은 이미 93.9%에 이르렀으며, 이는 이 벤치마크를 거의 완전히 달성했다고 볼 수 있습니다.

물론, 모든 벤치마크 자체에는 어느 정도의 잡음이 있기 때문에 일반적으로 이러한 단계가 나타납니다. 특정 점수가 특정 수준에 도달하면 마주치게 되는 것은 더 이상 방법 자체의 제한이 아니라 벤치마크 자체의 제한입니다. 예를 들어 ImageNet 검증 세트에서 약 6%의 레이블이 잘못되거나 모호한 경우가 있습니다.

SWE-Bench는 일반적인 프로그래밍 능력 및 AI가 소프트웨어 엔지니어링에 미치는 영향을 측정하는 신뢰할 수 있는 지표로 볼 수 있습니다. Clark는 전선 AI 연구소와 실리콘밸리에서 접한 대부분의 사람들이 이제 거의 코드를 작성하는 데 완전히 AI 시스템을 사용하고 있으며, 점점 더 많은 사람들이 AI 시스템을 사용하여 테스트를 작성하고 코드를 점검하기 시작했다고 말했습니다.

다시 말해, AI 시스템은 이미 충분히 강력하여 AI 연구의 중요한 부분을 자동화하고, 모든 AI 연구원 및 엔지니어가 참여하는 데 속도를 높일 수 있습니다.

AI 시스템이 장기간 작업을 완료하는 능력 측정

METR은 AI가 얼마나 복잡한 작업을 완료할 수 있는지를 측정하기 위한 그림을 만들었습니다. 여기서 복잡성은 능숙한 사람이 이러한 작업을 완료하는 데 대략 몇 시간이 걸리는지에 따라 계산됩니다.

가장 중요한 지표 중 하나는 AI 시스템이 일련의 작업에서 50% 신뢰도에 도달했을 때 해당하는 대략적인 작업 시간 간격입니다.

이 단계에서 진전이 매우 빠릅니다:

· 2022 년, GPT-3.5가 수행할 수 있는 작업은 대략 사람이 30초 내에 완료할 수 있는 작업에 해당합니다.

· 2023 년, GPT-4는이 시간을 4분으로 증가시켰습니다.

· 2024 년, o1은이 시간을 40분으로 증가시켰습니다.

· 2025 년, GPT-5.2 High는 대략 6시간에 해당합니다.

· 2026 년에는 Opus 4.6가이 시간을 약 12시간으로 늘렸습니다.

METR의 AI 예측을 오랫동안 주시해 온 Ajeya Cotra는 2026 년 말까지 AI 시스템이 사람이 100시간이 걸리는 작업을 완료하는 것이 불가능한 것은 아니다라고 생각합니다.

AI 시스템이 독립적으로 작동할 수있는 시간이 크게 증가한 것은 agentic 코딩 도구의 폭발과 깊게 관련이 있습니다. 'agentic coding 도구'란, 본질적으로 사람의 작업을 대신할 수있는 AI 시스템을 제품화하는 것입니다: 그들은 사람의 행동을 대표하며 상당한 기간 동안 비교적 독립적으로 작업을 진행할 수 있습니다.

이것은 AI 연구 개발로 다시 연결됩니다. 많은 AI 연구자의 일상 작업을 주의 깊게 살펴보면, 많은 작업이 사실 몇 시간 안에 처리할 수 있는 작업으로 분해될 수 있음을 알 수 있습니다. 데이터 정리, 데이터 읽기, 실험 시작 등이 이에 해당합니다.

그러나 이러한 유형의 작업은 현재 현대 AI 시스템이 처리할 수 있는 시간 범위 내로 이권되었습니다.

AI 시스템이 능숙해질수록 인간의 작업에서 독립적으로 작동할 때, AI 연구 개발의 자동화에 일부 도움이 되는 것입니다.

작업 위임의 핵심 요소는 주로 두 가지입니다:

· 첫째, 위임 받은 자에 대한 능력에 대한 신뢰;

· 둘째, 상대방이 당신의 의도를 기반으로 지속적인 감독 없이 작업을 독립적으로 완료할 수 있다고 믿음.

사용자가 프로그래밍 능력에 대한 AI를 관찰할 때, AI 시스템이 점점 능숙해지면서 사람의 재조정 없이 더 오랜 시간 독립적으로 작업할 수 있음을 알 수 있습니다.

이는 현재 우리 주변에서 발생하고 있는 상황과 일치하는데, 엔지니어와 연구자들이 점점 더 큰 작업을 AI 시스템에 맡기고 있습니다. AI 능력이 계속 향상됨에 따라 AI에 위임된 작업은 더 복잡하고 중요해지고 있습니다.

AI가 AI 연구에 필수적인 핵심 과학 기술을 습득 중

현대 과학 연구가 어떻게 진행되는지 생각해보면, 그 중 상당 부분은 실제로 특정 방향을 결정하고 어떤 경험적 정보를 얻고 싶은 지 명확히 하는 것입니다. 그런 다음 실험을 설계하고 실행하여 이러한 정보를 생성하며, 마지막으로 실험 결과를 타당성 검사하는 것입니다.

AI 프로그래밍 능력이 지속적으로 향상되고 있으며, 강력한 대형 언어 모델의 세계 모델링 능력이 더욱 강화되면서, 인간 과학자들을 지원하고 보다 넓은 연구 및 개발 환경에서 일부 단계를 자동화하는 데 도움을 줄 수 있는 도구 모음이 등장했습니다.

여기에서 우리는 AI의 몇 가지 핵심 과학 기술에 대한 진전 속도를 관찰할 수 있으며, 이러한 능력 자체가 AI 연구에서 중요한 부분입니다:

· 첫째, 연구 결과를 재현하는 것;

· 둘째, 머신 러닝 기술 및 다른 방법을 연결하여 기술적 문제 해결에 활용하는 것;

· 셋째, AI 시스템 최적화.

전체 과학 논문을 구현하고 관련 실험을 완료하기

AI 연구의 핵심 작업 중 하나는 과학 논문을 읽고 해당 결과를 재현하는 것입니다. 이러한 측면에서 AI는 이미 일련의 벤치마크에서 상당한 진전을 이루었습니다.

한 가지 좋은 예는 CORE-Bench인데, 이는 Computational Reproducibility Agent Benchmark의 약자입니다.

이 benchmark는 AI 시스템이 논문과 해당 코드 저장소가 제공된 상황에서 논문 결과를 재현해야 한다는 것을 요구합니다. 구체적으로는, Agent는 관련 라이브러리, 소프트웨어 패키지 및 종속성을 설치하고 코드를 실행해야 합니다. 코드가 성공적으로 실행되면 모든 출력 결과를 검색하고 작업의 질문에 답해야 합니다.

CORE-Bench는 2024년 9월에 제안되었습니다. 당시에 가장 우수한 성능을 보인 시스템은 CORE-Agent 추출기에서 실행된 GPT-4o 모델이었습니다. 가장 어려운 작업 그룹에서이 모델은 약 21.5%의 점수를 얻었습니다.

그러나 2025년 12월에 CORE-Bench의 한 저자는이 benchmark가 이미 해결되었다고 발표했습니다. Opus 4.5 모델은 95.5%의 성적을 달성했습니다.

전체적인 머신러닝 시스템 구축 및 Kaggle 대회 문제 해결

MLE-Bench는 AI 시스템이 오프라인 환경에서 Kaggle 대회에 참가하는 능력을 시험하는 OpenAI가 구축한 벤치마크입니다.

이는 자연어 처리, 컴퓨터 비전 및 신호 처리 등 여러 영역을 포함한 75가지 다른 유형의 Kaggle 대회를 다룹니다.

MLE-Bench는 2024년 10월에 출시되었습니다. 출시 당시 가장 뛰어난 시스템은 agent 추출기에서 실행되는 o1 모델이었으며 점수는 16.9%였습니다.

2026년 2월까지 가장 우수한 시스템은 검색 기능이 있는 agent 하네스에서 실행되는 Gemini 3로 발전했으며 64.4%의 점수를 얻었습니다.

커널 디자인

AI 개발에서 더 어려운 작업 중 하나는 커널 최적화입니다. 커널 최적화란, 특정 연산(예: 행렬 곱셈)을 보다 효율적으로 하드웨어에 매핑하도록 하기 위해 기저 코드를 작성하고 개선하는 것입니다.

커널 최적화가 AI 개발의 핵심인 이유는 훈련 및 추론의 효율성을 결정하기 때문입니다. 한편으로, 이는 AI 시스템을 개발할 때 얼마나 많은 컴퓨팅 리소스를 효과적으로 이용할 수 있는지에 영향을 줍니다. 다른 한편으로, 모델 훈련이 완료되면, 이는 얼마나 효율적으로 컴퓨팅 리소스를 추론 능력으로 변환할 수 있는지를 결정합니다.

최근 AI를 사용한 커널 디자인은 재미있는 소규모 분야에서 부터 치열한 연구 분야로 변화되어 다양한 벤치마크가 등장했습니다. 그러나 이러한 벤치마크들은 아직 특별히 인기가 없어 다른 분야처럼 장기적 발전을 명확하게 모델링하기 어렵습니다. 반면, 몇몇 진행 중인 연구를 통해 이 분야의 진전 속도를 느낄 수 있습니다.

관련 연구에는 다음이 포함됩니다:

・ DeepSeek 모델을 사용하여 보다 우수한 GPU 커널 구축 시도;

・ PyTorch 모듈을 자동으로 CUDA 코드로 변환;

・ Meta가 LLM을 활용하여 최적화된 Triton 커널을 자동 생성하고 자체 인프라에 배포;

・ 그리고 GPU 커널 디자인을 위해 오픈 소스 가중치 모델을 미세 조정하는 것과 같은 작업을 수행하는 Cuda Agent 등이 있습니다.

여기 한 가지 추가 설명이 필요합니다: 커널 디자인은 실제로 AI 중심 연구 및 개발에 매우 적합한 특성을 갖고 있으며, 결과가 쉽게 검증되고 보상 신호가 명확한 특성을 가지고 있습니다.

PostTrainBench를 통해 언어 모델 미세 조정하기

이러한 유형의 테스트 중 하나인 더 어려운 버전인 PostTrainBench는 다음을 테스트합니다. 다양한 cutting-edge 모델이 작은 오픈 소스 가중치 모델을 인수하여 미세 조정을 통해 일부 벤치마크에서의 성능을 향상시킬 수 있는지입니다.

이 벤치마크의 장점 중 하나는 매우 강력한 인간 기준을 갖고 있습니다: 이러한 작은 모델의 기존 instruct-tuned 버전입니다. 이러한 버전들은 일반적으로 cutting-edge 연구소에서 우수한 인간 AI 연구원들에 의해 개발되었으며, 매우 능숙한 연구자 및 엔지니어에 의해 세련되었으며 현실 세계에서 배포되었습니다. 따라서 이들은 어려움을 겪기 어려운 인간 기준을 형성합니다.

2026년 3월 현재, AI 시스템은 모델 후 학습에 대해 진행하여 인간의 교육 결과의 약 50%에 해당하는 성능 향상을 달성했습니다.

구체적인 평가 점수는 가중 평균에 근거합니다: Qwen 3 1.7B, Qwen 3 4B, SmolLM3-3B, Gemma 3 4B를 포함한 여러 후학습 대상의 대형 언어 모델 및 AIME 2025, Arena Hard, BFCL, GPQA Main, GSM8K, HealthBench, HumanEval을 포함한 여러 벤치마크로 구성됩니다.

매 실행마다, 평가자는 CLI 에이전트를 요구하여 특정 벤치마크에서 특정 기본 모델의 성능을 최대한 향상시키도록 합니다.

2026 년 4 월 기준, 가장 높은 점수를 받은 AI 시스템은 대략 25%에서 28%까지 도달할 수 있으며, Opus 4.6 및 GPT 5.4와 같은 모델을 대표합니다; 반면, 인간의 점수는 51%입니다.

이것은 이미 의미있는 결과입니다.

언어 모델 훈련 최적화

지난 일 년간, Anthropic은 항상 해당 시스템이 CPU 만 사용하는 소형 언어 모델 훈련 구현에서 얼마나 빨리 실행되도록 최적화하는 작업의 성과를 보고해 왔습니다.

평가 방식은: 초기 코드와 비교하여 모델 구현의 평균 가속도 배율입니다.

이러한 결과는 매우 현저히 발전했습니다:

· 2025 년 5 월, Claude Opus 4는 평균 2.9 배 가속을 달성했습니다;

· 2025 년 11 월, Opus 4.5는 16.5 배로 향상되었습니다;

· 2026 년 2 월, Opus 4.6은 30 배에 도달했습니다;

· 2026 년 4 월, Claude Mythos Preview는 52 배에 이르렀습니다.

이러한 숫자의 의미를 이해하기 위해 한가지 비교를 할 수 있습니다: 인간 연구원의 경우, 이러한 작업을 수행하는 데 일반적으로 4 ~ 8 시간의 작업이 필요하여 4 배의 가속을 달성합니다.

메타 스킬: 관리

AI 시스템은 다른 AI 시스템을 어떻게 관리해야 하는지에 대해 배우고 있습니다.

이것은 이미 일부 널리 사용되는 제품에서 볼 수 있으며, Claude Code 또는 OpenCode와 같은 제품이 있습니다. 이러한 제품에서는 한 주 에이전트가 여러 하위 에이전트를 감독할 수 있습니다.

이를 통해 AI 시스템은 보다 대규모의 프로젝트를 다룰 수 있게 되었습니다: 프로젝트에는 서로 다른 전문 기술을 가진 여러 지능체가 병렬로 작업해야 할 수 있으며, 이는 일반적으로 한 AI 관리자에 의해 조율됩니다. 여기서 관리자 자체도 하나의 AI 시스템입니다.

AI 연구는 일반 상대성 이론을 발견하는 것과 같을까요, 아니면 레고를 쌓는 것과 같을까요?

중요한 질문은: AI가 새로운 아이디어를 발명하여 자체를 개선할 수 있는지 여부이며, 아니면 이러한 시스템들이 덜 밝고 그러나 필수적인 연구를 진행하는 데 더 적합한지 여부입니다?

이 질문은 매우 중요합니다. 왜냐하면 이는 AI 시스템이 AI 연구 자체를 어느 정도까지 자동화할 수 있는지에 관련이 있기 때문입니다.

저자의 판단은 현재 AI가 진정으로 혁신적인 새로운 아이디어를 내놓지 못하고 있다는 것입니다. 그러나 자체 연구 및 개발을 자동화하려면 아마도 이것이 반드시 필요하지는 않을 것입니다.

AI라는 분야는 대부분 점점 더 많은 실험과 데이터, 그리고 컴퓨팅 자원에 의존하고 있습니다.

가끔은 인간이 패러다임을 변경하는 아이디어를 제시하여 모든 분야의 자원 효율성을 크게 향상시키기도 합니다. Transformer 아키텍처가 좋은 예이며, 전문가 혼합 모델인 MOE(구성 전문 회의)도 또 다른 예입니다.

그러나 대부분의 경우, AI 분야의 진전은 실은 조금 더 소박합니다: 인간은 성능이 우수한 시스템을 가져다가 어떤 측면을 확장하고, 예를 들어 교육 데이터 및 컴퓨팅 자원을 확대한 다음, 그 규모를 확장한 후 어디에서 문제가 발생하는지를 관찰합니다. 무엇이 잘못되었는지 확인한 후 시스템을 계속 확장할 수 있도록 공학적인 해결책을 찾은 다음 다시 규모를 확장합니다.

이 과정에서 실제로 통찰력이 필요한 부분은 사실상 극히 드물습니다. 많은 작업은 눈에 띄지 않지만 매우 견고한 기본 엔지니어링이라고 할 수 있습니다.

마찬가지로, 많은 AI 연구는 현재의 실험을 실행하는 다양한 변형에 해당하며, 다른 매개변수 설정이 어떤 결과를 가져오는지 조사합니다. 연구적 직관은 물론 인간이 시도해볼 가치가 있는 매개변수를 선택하는 데 도움이 되지만, 이것 자체도 AI에 의해 자동화되어 시스템이 어떤 매개변수를 조정해야 하는지 판단할 수 있도록 하는 것이 가능합니다. 초기의 신경 아키텍처 검색이 이러한 접근 방식의 한 예입니다.

에디슨은 말했습니다: 천재란 영감의 1%와 땀방울의 99%입니다. 십오십 년이 흘러도 이 말은 여전히 완전히 적절합니다.

가끔은 분야를 완전히 변화시키는 새로운 통찰력이 나오기도 합니다. 그러나 대부분의 경우, 분야의 진전은 인간이 다양한 시스템을 개선하고 디버깅하는 고된 과정 중에서 조금씩 진전됩니다.

그리고 언급된 공개된 데이터는 AI가 이미 AI 개발에서 많은 필수적인 노동을 잘 수행하고 있음을 보여줍니다.

동시에 더 큰 추세가 있습니다: 프로그래밍 능력과 같은 기본적인 능력이 계속해서 확장되는 작업 시간과 결합됩니다. 이는 AI 시스템이 이러한 유형의 작업을 더 많이 연결하여 복잡한 작업 시퀀스를 형성할 수 있음을 의미합니다.

따라서 현재 AI 시스템이 상대적으로 창의성이 부족한 상태이지만, 그들이 여전히 자신들을 계속 발전시킬 수 있다고 믿는 이유가 있습니다. 새로운 통찰력을 창출하는 능력에 비해, 이러한 발전 속도는 느릴 수 있습니다.

하지만 공개 데이터를 계속 관찰한다면, 또 다른 호기심로운 신호를 발견할 수 있습니다: AI 시스템이 어떤 형태의 창의성을 보이고 있을 수 있으며, 이 창의성은 그들이 자신을 더 놀라운 방식으로 발전시키도록 할 수 있습니다.

Frontier of Science를 밀어붙이기

현재 일부 매우 초기의 신호가 있어 보이며, 범용 AI 시스템이 인류의 과학의 최전선을 계속 밀어붙이는 능력이 있다는 것을 시사합니다. 그러나 지금까지 이러한 상황은 컴퓨터 과학 및 수학 분야에만 발생하며, 많은 경우에는 AI 시스템이 독자적으로 돌파하는 것이 아니라 인간 연구자들과 협력하여 진행됩니다.

그럼에도 불구하고, 이러한 동향은 여전히 주목할 가치가 있습니다:

Erdős 문제: 일부 수학자가 Gemini 모델과 협력하여, Erdős 수학 문제 해결 능력을 테스트했습니다. 그들은 시스템이 대략 700개의 문제를 시도하도록 유도했고, 최종적으로 13개의 해답을 얻었습니다. 이러한 해답 중에는 흥미로운 것으로 여겨지는 것이 1개 있었습니다.

연구자들은, Aletheia (Gemini 3 Deep Think 기반의 AI 시스템)가 Erdős-1051에 대한 해답을 스스로 도출했다는 점은 초기 단계의 사례를 대표한다고 주장했습니다: AI 시스템이 약간의 특이성을 가진, 더 광범위한 수학적 관심을 가진 개방형 Erdős 문제를 스스로 해결했다. 해당 문제는 이전에도 관련 연구 문헌이 있었습니다.

낙관적인 시각에서 이러한 사례들은 AI 시스템이 분야의 최전선을 밀어붙이는 데 도움이 되는 창의적 직관을 개발하고 있다는 신호로 볼 수 있습니다. 이러한 직관은 이전에는 주로 인간들이 가지고 있던 것입니다.

그러나 다른 각도에서는, 수학과 컴퓨터 과학 자체가 AI가 동력을 주는 발명에 특히 적합한 분야일 수 있으므로, 이들은 예외에 불과하며, 보다 광범위한 과학 연구가 AI에 의해 동일한 방식으로 촉진될 것이라고 대표되지는 않을 수 있습니다.

다른 유사한 사례는 AlphaGo의 제 37수입니다. 그러나 Clark는 AlphaGo 이후 10년이 지나도록 제 37수 다음에 더 현대적이고 더 놀라운 통찰이 나타나지 않은 것은 약간 비관적인 신호로 볼 수 있다고 생각합니다.

AI는 이미 AI 엔지니어링의 많은 부분을 자동화할 수 있습니다

위의 모든 증거를 종합해보면, 우리는 다음과 같은 상황을 볼 수 있습니다:

· AI 시스템은 거의 모든 프로그램에 대한 코드를 작성할 수 있으며, 이러한 시스템들은 이미 일부 작업을 독립적으로 수행할 수 있을 만큼 신뢰할 수 있게 되었습니다. 이러한 작업은 인간이 수행할 경우 종종 몇 시간 동안의 고강도 집중 노동이 필요합니다.

· AI 시스템은 AI 개발의 핵심 작업을 점차적으로 수행하는 데 능숙해지고 있으며, 모델 튜닝부터 커널 디자인까지의 작업이 순차적으로 처리됩니다.

· AI 시스템은 다른 AI 시스템을 관리할 수 있으며 사실상 합성 팀을 형성합니다: 다수의 AI가 복잡한 문제에 대해 분담하여 처리하며, 일부 AI는 리더, 비평가, 편집자의 역할을 하고 다른 AI는 엔지니어 역할을 합니다.

· 어떤 경우에는 AI 시스템이 어려운 엔지니어링 및 과학적 작업에서 인간을 능가할 수 있습니다. 현재로서는 이러한 능력이 진정한 창의력 때문인지 아니면 이미 많은 양의 패턴화된 지식을 숙지했기 때문인지 여전히 판단하기 어렵습니다.

클락에 따르면, 이러한 증거들은 이미 오늘날의 AI가 AI 엔지니어링의 많은 부분을 자동화할 수 있음을 명확하게 보여주고 있으며, 이러한 프로세스의 전체 범위에 걸쳐 확장될 수도 있습니다.

하지만 아직 AI가 얼마나 많은 부분에서 AI 연구 자체를 자동화할 수 있는지는 분명하지 않습니다. 연구의 일부는 순수한 엔지니어링 기술과 다를 수 있으며, 더 높은 수준의 심사, 문제식별 및 창의성에 의존할 수 있습니다.

그러나 어떤 방식으로든, 명확한 신호는 이미 등장했습니다: 오늘날의 AI는 인간의 AI 개발에 대한 노력을 크게 가속화하고 있으며, 이러한 연구원 및 엔지니어들은 무수히 많은 합성 동료와 협력하여 작업 능력을 확장할 수 있습니다.

마지막으로, AI 산업 자체도 거의 분명하게 말하고 있습니다: AI 연구의 자동화가 그들의 목표입니다.

OpenAI는 2026년 9월 이전에 자동화 AI 연구 인턴을 구축하고자 합니다. Anthropic은 자동화 AI 정렬 연구원 구축에 관한 작업을 발표하고 있습니다. DeepMind는 세 가지 주요 연구소 중에서 가장 조심스럽게 보이지만, 가능할 때 정렬 연구 자동화를 추진해야 한다고 밝히고 있습니다.

자동화 AI 연구개발은 많은 스타트업 기업의 목표가 되었습니다. Recursive Superintelligence는 최근 5억 달러를 조달하여 AI 연구를 자동화하고자 합니다.

다시 말해, 수천억 달러 규모의 기존 자본과 추가 자본이 자동화 AI 연구 및 개발을 목표로 한 기관들에 투자되고 있습니다.

따라서, 우리는 이 방향이 어느 정도의 진전을 이룰 것으로 기대해야 합니다.

왜 이것이 중요한가

이에 따른 영향은 깊은데, 그러나 일반 대중 매체는 AI 연구 및 개발에 대해 거의 논의하지 않습니다. 아래 몇 가지 측면은 AI 연구 및 개발이 가져오는 거대한 도전을 반영할 수 있습니다.

1. 우리는 정렬을 잘 해야 합니다: 오늘날 효과적인 정렬 기술은 재귀적인 자가 개선 과정에서 실패할 수 있습니다. 왜냐하면 AI 시스템은 그들을 감독하는 사람들이나 시스템보다 훨씬 더 지능적일 수 있기 때문입니다. 이것은 이미 광범위하게 연구된 분야이며, 따라서 그는 일부 문제를 간단히 개요합니다:

· AI 시스템을 훈련시키는 것이 속임수를 쓰지 않고 거짓말을 하지 않는 과정은 놀라울 정도로 섬세한 프로세스입니다(예를 들어, 환경에 대한 훌륭한 테스트를 구성하려고 하지만, 때로는 AI가 문제를 해결하는 최선의 방법이 속임수를 가르치는 것이라는 걸 알게되어 속임수를 가르칠 수 있습니다).

· AI 시스템은 우리를 속이기 위해 "플레이 정렬"을 통해 우리가 그것이 잘 수행되고 있다고 생각할 수 있도록 점수를 내놓을 수 있지만, 실제로는 그것의 진정한 의도를 숨길 수 있습니다.(일반적으로, AI 시스템은 스스로가 테스트 중임을 알 수 있습니다.)

· AI 시스템이 자체 훈련에 더 많이 참여하기 시작함에 따라, 우리는 AI 시스템의 전체적인 훈련 방식을 크게 바꿀 수 있지만, 이에 대한 직관이나 이론적 기반 없이 그게 의미하는 바를 이해할 수 없을 수 있습니다.

· 어떤 시스템을 재귀 루프에 넣으면 매우 기본적인 "오차 누적" 문제가 발생할 수 있으며, 이는 상기 모든 문제 및 다른 문제에 영향을 줄 수 있습니다: 당신의 정렬 방법이 '100% 정확하다'고 하더라도, 그것이 더 똑똑한 시스템에서 계속해서 정확해질 수 있는 이론적 근거가 없다면, 문제가 금방 발생할 수 있습니다. 예를 들어, 기술의 초기 정확도가 99.9%라면, 50 세대 후에는 95.12%까지 떨어질 수 있으며, 500 세대 후에는 60.5%로 떨어질 수 있습니다.

2. AI에 관여한 모든 것은 엄청난 생산성 향상을 얻을 것입니다: AI가 소프트웨어 엔지니어의 생산성을 크게 향상시키는 것처럼, 우리는 AI에 관여한 다른 분야도 동일한 결과를 기대해야 합니다. 다루어야 할 몇 가지 문제점이 있습니다:

· 자원 획일성 획득: AI의 수요가 계산 자원 공급을 계속해서 초과한다고 가정하면, 우리는 사회적 최대 이익을 달성하기 위해 AI를 어떻게 배분할지 결정해야 합니다. 나는 시장 인센티브가 제한된 AI 계산 자원에서 사회적 최대 이익을 얻도록 보장한다는 데 의문을 품습니다. AI 연구에 기인한 가속화 능력을 어떻게 할당할지 결정하는 것은 매우 정치적인 문제가 될 것입니다.

· 경제의 "암달의 법칙": AI가 경제로 흘러들어감에 따라, 우리는 빠른 성장에 직면할 때 일부 분야가 병목 현상을 겪을 것을 발견하게 될 것입니다. 이러한 취약한 링크를 수정하기 위해 노력해야 할 것입니다. 이는 빠른 디지털 세계와 느린 물리적 세계 사이의 조화를 필요로 하는 분야에서 특히 두드러질 수 있으며, 예를 들면 신약 임상시험입니다.

3. 자본 집약적이며 인적 경량적인 경제의 형성: AI 연구에 관한 모든 증거는 또한 AI 시스템이 기업을 자율적으로 운영할 수 있는 능력이 점점 커지고 있다는 것을 보여줍니다.

이는 우리가 예상할 수 있는 것으로, 경제의 일부는 자본 투자가 많이 필요한 새로운 세대의 기업들에 의해 차지될 것입니다. 이러한 기업들은 자본 밀집적일 수도 있습니다(많은 컴퓨터를 보유하기 때문), 또는 운영 비용 밀집적일 수도 있습니다(AI 서비스에 많은 자금을 투자하고 그 위에 가치를 창출하기 때문)만, 오늘날의 기업들보다는 비교적 덜한 인력에 의존할 것입니다—왜냐하면 AI 시스템 능력이 계속 증가함에 따라 AI에 투자하는 가치가 계속 커지기 때문입니다.

실제로, 이는 더 큰 "인간 경제" 안에서 서서히 "기계 경제"가 형성될 것으로 나타날 것입니다. 시간이 지남에 따라, AI 시스템으로 운영되는 기업들이 상호 거래하기 시작할 수 있으며, 이는 경제 구조를 변경하고 불평등과 재분배에 대한 다양한 문제를 야기할 것입니다. 궁극적으로, 완전히 자율적으로 운영되는 AI 시스템으로 이루어진 기업이 나타날 수 있으며, 이는 상기한 문제를 악화시킬 것이나, 동시에 수많은 새로운 지배적 도전 과제를 가져올 것입니다.