숫자 하나가 정작 중요한 모든 것을 가리고 있었다

오랫동안 나는 단 하나의 숫자로 모든 것을 판단했다. 내가 고른 그 하나의 지표에서 가장 높은 점수를 받은 버전이 승리했고, 그 위에 다음이 쌓였고, 다음 라운드까지 살아남았다. 깔끔했고, 결단력 있었고, 엄밀하게 느껴졌다. 내가 그토록 성실하게 최적화하던 그 숫자가, 정작 진짜로 중요했을 단 하나를 조용히 가리고 있었다는 사실을 깨닫기까지는 부끄러울 만큼 오랜 시간이 걸렸다.

그 숫자가 틀렸던 것은, 정확히 말하면 아니다. 바로 그 점이 음흉한 부분이다. 그것은 완벽하게 정확하면서 동시에 깊이 오도하는 숫자였는데, 이 분야는 그런 조합을 놀라운 빈도로 만들어 낸다.

단일 점수의 안락함

단일 지표가 유혹적인 데에는 납득할 만한 이유가 있다. 그것은 지저분하고 뒤엉킨 다차원의 현실을, 순위를 매기고 정렬하고 비교하고 최적화할 수 있는 하나의 값으로 압축해 버린다. 객관적으로 느껴진다. 리더보드를, 더 나음과 더 못함에 대한 명확한 감각을, 올라갈 방향을 제공한다. 복잡함을 충분히 오래 들여다본 뒤에 마주하는 단일 점수의 단순함은 엄청나게 안도감을 준다.

하지만 요약이라는 행위는 매번 정보를 버린다. 요약이란 바로 그것이다. 그리고 요약에 대해 정말로 중요한 단 하나의 질문은, 내가 묻지 않고 있던 바로 그 질문이다. 이 숫자가 이토록 편리하게 작아지기 위해 정확히 무엇을 버렸는가? 그것이 버린 것이 무엇이든 이제 나에게는 보이지 않게 되었고, 보이지 않는 곳이야말로 위험이 살기 좋아하는 곳이기 때문이다.

맞히는 비율은 높은데도 손실을 낸다

내 실수 가운데 가장 깔끔한 예는, 압도적으로 대부분의 경우에 옳았던 전략이었다. 내가 보던 지표로는 멋져 보였다. 이기고, 이기고, 또 이겼다. 그것이 얼마나 자주 맞히는지에 나는 기뻐했다.

그것은 또한 돈을 잃었다. 그 역설의 해소는 단순했고 겸허해지는 것이었다. 그 전략은 아주 많은 작은 이익과 한 줌의 거대한 손실을 만들어 냈다. 끊임없이 옳았고 가끔 파멸했으며, 그 가끔의 파멸이 잦았던 작은 승리 전부를 합친 것을 압도했다. 내가 집착했던 지표는 그것이 얼마나 자주 옳은지를 측정했다. 옳을 때 얼마를 벌고 틀릴 때 얼마를 잃는지에 대해서는 정확히 아무것도 말해 주지 않았다. 그런데 알고 보니 그게 게임의 전부였다. 그 숫자는 참이었다. 그리고 동시에 손실을 내는 전략을 거의 완벽하게 위장하는 가면이기도 했다.

평균은 꼬리를 조용히 숨긴다

같은 교훈이 백 가지 형태로 되풀이되는데, 그중 가장 위험한 것 하나가 바로 그 수수한 평균이다. 평균적 결과는 완벽하게 건강해 보이면서도, 그 아래에 깔린 분포의 실제 모양을 감출 수 있다. 평균이 동일한 두 가지가 전혀 다른 생물일 수 있다. 하나는 꾸준하고 살아남을 만하고, 다른 하나는 길고 안심되는 구간 내내 잠잠하다가 그다음에 파국적이다.

이 분야에서 당신을 끝장내는 것은 거의 언제나 꼬리다. 분포의 가장자리 바깥에 도사린, 드물고 극단적인 사건 말이다. 그리고 평균은 그 구성 방식 자체가 꼬리를 씻어내는 기계다. 당신이 가장 또렷하게 봐야 할 단 하나의 영역을 가져다가 안락한 한가운데로 매끄럽게 뭉개 버린다. 평균으로 판단하면서 나는 모든 것을 파괴할 능력을 가진 바로 그 사건들을 체계적으로 평균 속에 지워 없애고 있었다.

더 나은 숫자조차 농락당한다

자연스러운 반응은 더 영리한 지표를 향해 손을 뻗는 것이다. 리스크 조정된 무언가, 굴곡을 반영한다고 주장하는 무언가 말이다. 그리고 그런 것들은 진정으로 더 낫다. 하지만 나는 그다음 단계를, 즉 그 더 나은 숫자를 향해 세게 최적화하는 일을 불신하게 되었다.

왜냐하면 당신이 어떤 단일 지표를 향해 가차 없이 밀어붙이는 순간, 당신의 프로세스는 그것이 애초에 대리지표에 불과했던 진짜를 전달하지 않으면서 바로 그 특정 숫자를 부풀리는 방법들을 조용히 발견하기 시작하기 때문이다. 지표와, 그것이 대표하기로 되어 있던 현실은 서서히 떨어져 나가고, 당신은 정작 신경 쓰던 것이 평평하거나 가라앉는 동안 측정값만을 기어오르고 있게 된다. 어떤 숫자든 충분한 힘으로 최적화당하면, 결국 세계를 묘사하기를 멈추고 그 숫자를 올리는 방법만을 묘사하기 시작한다.

단일 점수가 당신에게 말해 줄 수 없는 것

단일 지표가 구조적으로 나에게 말해 줄 수 없는 것들을 마침내 나열해 보니, 그 목록은 단죄에 가까웠다. 그것은 내가 어떤 모양으로 잃는지를 말해 주지 못한다. 전체 결과가 다시는 반복되지 않을 운 좋은 몇 순간에 매달려 있는지를 말해 주지 못한다. 평균적인 조건이 아니라 최악의 조건에서 그것이 어떻게 행동하는지를 말해 주지 못한다. 그것이 정말로 나쁜 구간을 견뎌낼지, 아니면 단지 아직 그런 구간을 만나지 않았을 뿐인지를 말해 주지 못한다.

그 목록의 모든 항목은 생존에 관한 질문이다. 그리고 그중 단 하나도 단일 숫자 안에 들어맞지 않는다. 나는 무언가가 살지 죽을지를 실제로 결정하는 질문들에 대해 거의 완전히 눈먼 채로, 점수 하나를 최적화해 오고 있었다.

대신 전체 모양을 바라보기

해법은 더 나은 숫자가 아니었다. 어떤 한 숫자로 충분하다는 환상을 포기하는 것이었다. 나는 결과의 요약이 아니라 전체 모양을 억지로라도 들여다보기 시작했다. 평균이 아니라 결과들의 완전한 분포를, 전형적인 구간이 아니라 특히 최악의 구간을, 그 결과가 드문 사건에 얼마나 기대고 있는지를, 조건이 험악해질 때 정확히 어떻게 행동하는지를.

이것은 더 느리고 더 지저분하다. 깔끔한 리더보드를 주지 않으며, 하나를 승자로 선언하는 그 만족스러운 클릭을 거부한다. 하지만 이것이 결과를 실제로 이해하는 것과, 그것에 대한 단일 통계 하나만을 아는 것 사이의 차이다. 요약은 헤드라인이다. 나는 헤드라인만 읽고서 이야기를 다 읽었다고 상상하고 있었다.

더 깊은 교훈: 생존은 요약이 버리는 것 안에 산다

이 모든 것의 밑바탕에 깔린 원칙이야말로 내가 가장 배워야 했던 것이다. 이 분야에서 당신을 죽이는 것들은, 으스스할 만큼 한결같이, 바로 요약 통계가 매끄럽게 뭉개도록 설계된 그것들이다. 꼬리, 최악의 경우, 몇몇 드문 순간에 대한 숨겨진 의존성 말이다. 좋은 요약은 간결함이라는 명목으로 바로 그 정보를 억누르도록 만들어져 있다.

그래서 내가 현실을 하나의 안락한 숫자로 더 깔끔하게 압축할수록, 나는 전체 노력을 끝장낼 능력을 가진 유일한 부분들에 대해 더 효율적으로 눈을 멀게 하고 있었다. 이제 나는 원칙적으로 어떤 단일 숫자든 불신하며, 그중에서도 듣기 좋은 숫자를 가장 불신한다. 무언가가 나에게 아름다운 점수 하나를 내밀며 안심하라고 권할 때, 내 첫 질문은 더 이상 “이게 얼마나 높지?”가 아니다. 그것은 “이 숫자는 무엇을 숨기도록 만들어졌지?”이다.

— 시그널도, 수익도 없습니다. 투자 자문이 아닙니다.