3부. 다시 셈으로 돌아가기: FQNM의 직관

도입: 왜 다시 셈으로 돌아가는가

앞의 두 장은 부동소수점 오차가 기술의 정교함 너머에서 자라난다는 것을 보였다. 연속적인 값을 유한한 비트에 가두려는 설계 자체가 따라오는 비용이라는 점도. 여기서 자연스럽게 다음 질문이 떠오른다.

그렇다면 계산의 바닥 규칙 자체를 처음부터 세는 방식으로 다시 짤 수 있을까?

FQNM(Fast Quantised Numerical Method, 고속 양자화 수치 방법론)은 이 질문을 정면으로 들어가는 시도다. 어떤 하드웨어를 쓸까보다 한 걸음 앞에서 출발한다 — 보존형 미분을 무엇으로 실행할까.

그림으로 보는 직관

바람에 무너지는 모래성을 상상해보자. 0.01kg까지만 잴 수 있는 저울로 1초마다 모래성의 무게 변화를 잰다고 하자. 이런 상황에서는 매 순간 모래성이 어느 정도로 줄어드는지를 또렷이 가늠하기 어렵다.

그렇다면 모래성 대신 작은 블록들을 쌓아올린다면 어떨까. 블록은 명확하게 개수를 셀 수 있다. 바람에 무너져 내리는 과정은 어떻게 표현할까? 위치마다 바람의 강도나 높이 차이에 따른 이동 규칙표를 만들어볼 수 있다. 시간이 지남에 따라 각 위치에서 몇 개의 블록이 이웃 칸으로 굴러떨어질지를 표로 정해두는 것이다.

여기서 중요한 점은 이거다. 바람이 날려보내는 연속적인 흐름이라는 현상을, 참조표를 써서 블록 개수의 변화 규칙으로 옮긴 것.

모래성을 블록으로 옮긴다면? 가까이서는 블록과 참조표가 보이고, 멀리서는 하나의 모래성처럼 보인다. 다만 내부 계산은 끝까지 같은 참조 규칙으로 돌아간다.

이 GIF는 세 가지 시점을 한 번에 보여준다. 가까이서 보면 언덕은 일정한 크기의 블록이 쌓인 계단으로 보인다. 옆의 참조표는 이번 턴에 블록을 몇 개나 옆 칸으로 보낼지를 정한다. 시선을 멀리 두면, 그 딱딱한 블록들의 움직임은 다시 하나의 부드러운 언덕이 흐르는 것처럼 보인다.

두 가지 양자화: 값과 연산자

이 비유에서 블록은 연속된 값을 잘게 쪼갠 표현을 뜻한다. 매끈한 높이를 실수로 계속 저장하는 대신, 알갱이 같은 블록 몇 개로 상태를 나타낸다. 이를 값의 양자화(Quantization of state)라고 부른다.

FQNM에서 더 중요한 쪽은 참조표다. 여기서는 현재 상태라면 이번 한 스텝에서 몇 개를 옮길까를 표로 정한다. 변화 규칙 자체가 매번 실수의 미분을 계산하는 형식에서 낱개의 이동 규칙(정수 연산)으로 옮겨가는 셈이다. 이를 연산자의 양자화(Quantization of operator)라고 부른다.

이 차이가 핵심이다. 상태 값만 정수로 저장해두고 실제 업데이트 계산을 여전히 부동소수점과 실수 미분에 맡긴다면, 계산의 바닥 철학은 그대로다. FQNM이 겨냥하는 것은 상태와 함께 변화를 만드는 원천 규칙까지 정수 기반의 이동으로 옮기는 일이다. 그래서 이 과정을 이해할 때는 함수의 미분값이 얼마인가를 묻기보다, 이번 턴에 이웃한 칸으로 블록을 몇 개나 넘길 것인가라는 단순한 규칙으로 시선을 옮기면 훨씬 직관적이다.

멀리서 보면 왜 다시 연속처럼 보이는가

한 가지 짚어둘 점이 있다. 멀리서 매끄러운 언덕처럼 보여도, 내부의 계산 로직은 끝까지 블록과 표가 지배하는 이산적인(discrete) 세계에 머문다. 다만 그 미시적인 이동 규칙을 충분히 큰 스케일에서 모아보면, 거시적으로는 연속적인 흐름으로 해석될 수 있다.

이런 맥락에서 보면, 우리가 자연스럽게 느끼는 연속적인 흐름이나 미분은 처음부터 주어지는 근본 재료라기보다는, 멀리서 본 풍경에 가깝다. 시스템을 굴러가게 하는 진짜 토대는 정수 상태와 표 형태의 이동 규칙이다. 비디오의 한 프레임 한 프레임이 모여 부드러운 영상이 되듯, 미분은 움직이는 수많은 알갱이들을 멀리서 이어붙여 보았을 때 나타나는 부드러운 곡선에 가까운 것이다.

이 시도는 연속성(Continuity)이라는 거대한 시각과 함께 가는 길에 가깝다. 미분과 연속으로 뭉뚱그려 설명해온 거시적 현상들을, 밑바닥에서는 셈법과 이동 규칙으로 다시 짜보려는 길.

다시 셈으로 돌아간다는 것

현대 수치 계산은 오랫동안 연속적인 값을 근사하는 데 특화된 FPU를 중심에 놓고 발전해 왔다. 연속적인 세계를 더 정밀하게 흉내 내는 계산기를 향해 달려온 셈이다.

FQNM이 흥미로운 까닭은 여기서 방향을 튼다는 데 있다. 계산의 바닥 규칙을 처음부터 셈법으로 다시 짤 수 있을까를 묻는다. 오차 관리가 까다롭던 FPU 체계 옆에 컴퓨터가 가장 편하고 확실하게 다루는 ALU(정수)를 두고, 물리 연산의 기반을 거기로 옮겨보는 발상이다.

그렇다면 세는 방식으로 다시 돌아갔을 때, 실제 계산의 안정성과 재현성, 에너지 비용에는 어떤 차이가 생길까? 다음 장에서 살펴본다.