문제의식
CPU의 귀환이나 GPU의 한계라는 표면 아래에서, 계산의 표현이 왜 다시 문제가 되는지 짚습니다.
계산기는 이미 충분히 빨라졌다
Section titled “계산기는 이미 충분히 빨라졌다”현대 컴퓨팅은 더 많은 코어, 더 넓은 메모리 대역폭, 더 큰 GPU, 더 많은 전력과 냉각으로 문제를 밀어붙여 왔다. 이 방식은 실제로 AI 시대를 열었다. 다만 어느 순간부터 질문이 바뀐다.
계산기가 충분히 빠른가보다 먼저 물어야 할 것이 있다. 우리는 계산해야 할 대상을 올바른 형태로 표현하고 있는가.
0.1을 근사값으로 담는 부동소수점, 매번 미세하게 흔들리는 학습 결과, 시뮬레이션이 길어질수록 누적되는 표류 — 우리가 한 세기 가까이 어쩔 수 없는 비용이라 부른 것은, 사실은 우리가 고른 표현의 결과일지도 모른다.
FQNM과 AXIOM은 이 의심에 서로 다른 자리에서 들어간다. 하나는 미분이라는 자리에서, 다른 하나는 대수라는 자리에서. 둘 다 더 빠른 근사보다 한 걸음 앞선 질문이다. 계산의 구조를 직접 실행할 수 있는가.
미분을 다시 쓰다 — FQNM
부동소수점 오차와 재현성 문제를 살핀 뒤, 보존 법칙이 정말로 부동소수점 위에서 정의되어야 하는가를 묻습니다.
대수를 다시 쓰다 — AXIOM
거대한 행렬 계산이 매번 같은 규모로만 풀려야 하는지, 그 안에 숨어 있는 묶음이 학습의 반복에 무엇을 하는지를 따라갑니다.
검증의 범위
여기까지 강하게 말할 수 있는 것과, 아직 가설로 남겨야 하는 것을 분리합니다.