연구를 잘하는 방법: '의도적 연습'이 가능한 진정한 능력을 키우는 법

이 글을 읽으려면 10 분

연구 능력은 타고난 재능이 아니라, 의도적으로 연습할 수 있는 작은 기술들의 집합입니다.

원문 제목: 연구를 잘하는 방법

원문 저자: vivek, AI 분석가

원문 편역: 실천가 MinLi, AI Builder

아무도 당신에게 연구하는 법을 제대로 가르쳐 주지 않는다. 당신은 책상 하나, 남이 골라준 문제 하나, 그리고 '뭔가 새로운 걸 만들어내라'는 모호한 지시만 받는다.

그래서 대부분의 사람들은 눈에 보이는 것(논문, 게시글, 공지사항 등)을 통해 이 일을 역설계한다. 결국 그들은 연구자처럼 '보이는' 법만 배울 뿐, 연구자로 '존재하는' 법은 배우지 못한다. 진정한 연구 능력은 작은 기술들이 쌓여서 이루어지며, 거의 모든 기술은 의도적인 연습을 통해 길러질 수 있다.

스스로 문제를 골라라

리처드 해밍(Richard Hamming)은 벨 연구소에서 점심 시간에 인기 없는 사람이 되는 습관을 가지고 있었다. 그는 옆에 앉은 사람들에게 그들의 분야에서 중요한 문제가 무엇인지 물었고, 그런 다음 왜 그 문제를 연구하지 않는지 물었다. 그러자 사람들은 자리를 옮겨 밥을 먹었다.

이 질문은 날카롭다. 우리 대부분은 좋은 답을 내놓지 못하기 때문이다. 우리는 문제를 선택하는 것이 아니라 문제를 흡수한다. 지도교수로부터, 어떤 대형 연구소가 지난 분기에 발표한 공지사항으로부터, 이번 주에 모두가 공유하고 인용하는 논문으로부터.

흡수한 문제의 문제점은, 당신이 결론만 쥐고 있을 뿐 그 뒤에 숨은 추론 논리를 모른다는 것이다. 당신은 어떤 유명 연구소가 특정 방향에 관심을 가진다는 것을 알지만, 왜 그런지, 그들이 무엇을 발견하기를 기대하는지, 어떤 상황에서 그 방향을 포기할지 알지 못한다.

그들이 방향을 전환하면, 당신은 1년 후에야 알아차린다. 게다가 이미 유행하는 문제에서는, 당신보다 먼저 시작하고 더 많은 연산 자원을 가진 1,000명의 사람들과 경쟁하고 있는 것이다.

존 슐먼(John Schulman)의 머신러닝 연구 가이드는 이 작업을 두 가지 모드로 나눈다. 첫 번째는 문헌을 읽고 개선할 점을 찾는 것이다. 두 번째는 당신이 진심으로 이루고 싶은 결과를 선택한 다음, 거꾸로 실험을 설계하는 것이다.

그는 두 번째를 주장하는데, 그 은근한 이유는 이것이 독창성을 만들어내기 때문이다. 당신이 진정으로 관심을 가진 목표는, 어떤 종설 논문도 다루지 않은 영역으로 당신을 끌고 간다.

'취향(taste)'에 관해서는, 사람들은 종종 그것을 타고난 재능처럼 이야기한다. 하지만 그것은 사실 근육처럼 행동한다.

각 실험을 실행하기 전에 먼저 결과를 예측하라. 논문의 결과 부분을 가리고 방법만으로 데이터를 추측해보라. 이번 달에 발표된 성과 중 2년 후에도 여전히 중요한 것이 무엇인지 기록하고, 나중에 와서 예측 적중률을 확인하라. 한 번의 예측과 한 번의 오류 수정, 이를 수백 번 반복하라. 모든 좋은 모델은 이렇게 훈련된다. 당신 머릿속에 있는 것조차도 말이다.

입력을 업그레이드하라

공유된 독서 목록은 공유된 생각을 낳는다. 당신의 정보 원천이 arXiv의 인기 목록과 단체 채팅에서 걸러진 찌꺼기뿐이라면, 당신은 필연적으로 모든 사람과 동시에 같은 결론에 도달하게 될 것이며, 그 결론은 거의 가치가 없어진다.

오래된 자료의 가치는 심각하게 과소평가되고 있다. 이 분야는 항상 지연된 채로 자신의 과거를 재현한다: 혼합 전문가 모델(MoE)은 1991년으로, LSTM은 1997년으로, 역전파는 1986년에 주류가 되었다.

리치 서튼(Rich Sutton)은 2019년에 천여 단어만으로 《쓴 교훈》(The Bitter Lesson)을 썼는데, 이 글이 해당 분야의 발전 궤적에 대해 내린 예측은 길이가 열 배나 되는 리뷰 논문보다 더 정확했다. 클로드 섀넌(Claude Shannon)은 1952년에 창의적 사고에 관한 강연을 했는데, 그의 첫 번째 방법은 문제를 거의 하찮을 정도로 축소한 뒤, 이 축소된 버전을 해결하고, 다시 어려움을 조금씩 되돌리는 것이었다.

이 방법 하나만으로도, 당신은 현대의 어떤 생산성 조언보다 더 많은 벽을 뚫을 수 있을 것이다.

폭과 깊이는 똑같이 중요하다. 설명 가능성 연구는 노골적으로 신경과학을 차용한다. 평가(Eval) 설계는 흰 가운을 입은 메커니즘 디자인이다. GPU가 실제로 어떻게 메모리를 이동하는지에 대한 실질적인 이해만 있으면, 벤치마크 결과가 나오기 전에도 어떤 아키텍처 논문이 실패할지 판단할 수 있다. 그리고 정직한 통계는 이미 머신러닝 분야에서 가장 희귀한 기술이 되었을지도 모른다. 여기서 공개된 많은 '엄격함'은 오차 막대가 달린 '느낌'에 불과하기 때문이다.

한 가지 더 있다. 논문 자체를 읽어라. 요약한 게시물을 읽지 말고. 부록이야말로 비밀이 숨겨진 곳이며, '한계' 부분은 보통 전체 문서에서 가장 정직한 단락이다.

모든 것을 기록하라

폴 그레이엄(Paul Graham)은 아이디어가 글로 옮겨지기 전에는 항상 충분히 성숙한 것처럼 느껴진다고 지적한다. 하지만 흰 종이 위의 검은 글자는 당신의 뇌가 포장한 허점을 드러낸다: 한 번도 테스트해보지 않은 가정, 실제로는 연결되지 않는 단계, 조용히 서로 모순되는 두 주장 같은 것들이다.

파인만의 원칙에 따르면, 가장 먼저 속지 말아야 할 대상은 바로 자기 자신이다. 왜냐하면 당신은 가장 쉽게 속아 넘어가는 대상이기 때문이다. 글쓰기는 역사상 발명된 가장 저렴한 방어 메커니즘이다.

다윈은 한 걸음 더 나아가 이를 체계화했다: 자신의 이론에 반하는 사실은 즉시 기록하도록 했다. 왜냐하면 그는 자신의 기억이 불리한 증거를 유리한 증거보다 훨씬 빠르게 삭제한다는 사실을 발견했기 때문이다. 당신의 기억 역시 실패한 기록에 대해 마찬가지로 작용한다.

일지를 꾸준히 작성하라: 가설, 설정, 예상, 결과, 업데이트된 인식. 지난달의 기록을 다시 읽으면 극도로 겸손해지며, 어떤 심사위원도 이런 효과를 줄 수 없다.