슈퍼포캐스팅과 확률적 보정: 브라이어 점수에서 비대칭 의사결정까지

직관의 편향에서 슈퍼포캐스팅, 그리고 비대칭 위험의 생존학까지

사람들은 흔히 뛰어난 판단력을 지닌 사람을 두고 ‘흔들리지 않는 확신’이나 ‘남다른 동물적 감각’을 타고난 존재로 상상한다. 회의실에서 “이 계획은 반드시 성공합니다”라고 단언하는 목소리는 강력한 추진력이라는 찬사를 얻고, “70%의 확률로 목표를 달성하겠지만 세 가지 변수가 있습니다”라고 조심스럽게 조건을 다는 사람은 자신감이 부족하다는 의심을 사곤 한다.

그러나 수십 년 동안 수만 건의 예측과 현실의 결정을 추적해 온 과학적 조사는 전혀 다른 진실을 말해준다.

세상에서 가장 정확한 판단을 내리는 사람들은 확신에 찬 독불장군이 아니다. 오히려 그들은 정반대의 특성을 공유한다. 자신이 언제든 틀릴 수 있음을 겸허히 인정하고, 새로운 데이터와 반대 증거가 눈앞에 나타났을 때 그 누구보다 빠르게 자신의 생각을 뒤집을 줄 아는 사람들이다. 복잡계 속에서 단언은 용기가 아니라 무지의 다른 이름이다.

문제는 많은 이들이 불확실성을 대할 때 ‘맞혔는가 틀렸는가’라는 성패의 이분법에 갇혀 있다는 점이다. 그리고 더 치명적인 것은, 확률을 정확히 계산하는 기술이 곧바로 현명한 의사결정을 보장할 것이라는 안일한 착각이다.

1. 기록되지 않은 직관은 사후 합리화의 먹잇감이다

우리는 왜 자신의 직관이 그토록 정확하다고 착각할까?

가장 치명적인 원인은 ‘사후 확신 편향’에 있다. 사람은 어떤 일이 벌어지고 나면, 마치 자신이 처음부터 그 결과를 다 알고 있었다는 듯이 자신의 과거 기억을 무의식적으로 재구성한다. 사업이 성공하면 “내 육감이 맞았어”라며 으스대고, 실패하면 “주변 환경이 안 좋았을 뿐 원래 내 직관은 틀리지 않았어”라고 변명한다. 직관을 사전에 구체적인 문장과 수치로 적어두지 않는 한, 우리는 평생 자신의 직관이 얼마나 엉터리였는지를 알아차리지 못한다.

그래서 최고의 판단 프로토콜은 언제나 ‘사전 기록과 질문의 구체화’에서 출발한다.

“이 신사업이 성공할 것인가?”라는 질문은 사후에 검증할 수 없다. 성공의 기준도, 판정할 기한도 모호하기 때문이다. 반면 “이 서비스는 출시 후 6개월 안에 유료 고객 1만 명을 확보할 것인가?”라는 질문은 다르다. 성공 여부를 객관적으로 확인할 시점과 기준이 명확하기 때문이다.

여기에 “그럴 가능성을 70%로 본다”는 구체적인 수치를 부여하고 실패 시 예상 원인까지 적어둘 때, 비로소 뇌가 결과를 보고 기억을 조작하는 자기기만을 원천적으로 봉쇄할 수 있다.

2. 내부 관점을 부수는 기저율(Base Rate)의 힘

두 번째 단계는 나 자신이라는 좁은 우물에서 벗어나 ‘기저율’을 마주하는 일이다.

사람들은 누구나 자신의 계획을 들여다볼 때 지독한 낙관주의에 빠진다. 내가 세운 계획의 디테일이 생생하고 구체적일수록, 그 계획이 실현될 가능성도 덩달아 높다고 착각한다. 이것이 심리학에서 말하는 ‘내부 관점’의 저주다.

이 저주를 푸는 열쇠는 외부 관점을 강제로 주입하는 것이다.

나의 특별한 역량이나 정교한 계획을 따지기 전에, 역사적으로 나와 똑같은 시도를 했던 수많은 평범한 사람들의 통계를 먼저 조회해야 한다. 사람들은 혁신적인 스타트업이라고 하면 으레 20대 청년의 번뜩이는 영감을 떠올리지만, 실제 고성장 기업 창업자의 평균 연령은 45세에 달한다. 배우자를 고를 때도 외모나 연봉 같은 눈에 띄는 스펙에 혹하기 쉽지만, 수만 쌍의 커플을 추적한 실증 데이터는 관계의 지속성을 결정하는 것이 외적 조건이 아니라 갈등을 다루는 헌신과 정서적 교류라는 사실을 증명한다.

기저율은 찬물을 끼얹듯 나의 들뜬 흥분을 가라앉혀 준다. 내가 천재적인 예외가 될 확률보다, 차가운 통계의 분포 어딘가에 안착할 확률이 수십 배는 더 높다는 사실을 직시할 때 비로소 냉철한 전략이 시작된다.

확대

3. 확신을 숫자로 채점하는 법: 브라이어 점수의 실제 계산

그렇다면 확률을 매긴 뒤, 자신의 예측 실력을 사후에 어떻게 측정할 수 있을까?

1950년 기상학자 글렌 브라이어는 예측 확률과 실제 결과 사이의 오차를 계산하는 브라이어 점수(Brier Score)를 고안했다. 공식은 단순하다. 예측한 확률(0과 1 사이의 값)과 실제 발생한 결과(발생하면 1, 발생하지 않으면 0)의 차이를 제곱하여 평균을 내는 것이다. 오차를 제곱하기 때문에, 점수가 0에 가까울수록 완벽한 예측이며 숫자가 커질수록 오차가 큰 엉터리 예측이다.

이해를 돕기 위해 분기 계획을 세우는 팀에서 네 가지 사건을 예측했다고 가정해 보자.

사건 1: 신제품 A가 3분기 내 출시된다 (실제 결과: 발생 / 1) 사건 2: 핵심 부품 B의 단가가 인하된다 (실제 결과: 발생 / 1) 사건 3: 경쟁사 C가 가격을 인하한다 (실제 결과: 미발생 / 0) 사건 4: 신규 채용 인원이 6개월 내 정착한다 (실제 결과: 미발생 / 0)

세 명의 예측자가 이 사건들에 매긴 확률과 사후 채점 결과는 다음과 같다.

이 계산은 두 가지 결정적인 사실을 보여준다. 첫째, 100%라고 단언하는 사람은 4개 중 3개를 맞히고도 단 한 번의 오판 때문에 점수가 0.250으로 추락한다. 과신은 한 번의 실패에도 가혹한 벌점을 받는다.

둘째, 매번 50%라고 발을 빼는 사람 역시 브라이어 점수 0.250을 기록한다. 수학적으로 중간은 가지만 현실에서는 아무런 통찰도 제공하지 못하는 무능한 점수다.

반면 단서를 정밀하게 계량하여 80%, 70%, 20%, 30%처럼 차별화된 확률을 매긴 슈퍼예측가는 브라이어 점수 0.065를 기록하며 다른 이들을 압도한다.

4. 50%라는 비겁한 안전지대와 분별력(Resolution)

여기서 우리는 ‘확률적 보정(Calibration)’과 ‘분별력(Resolution)’의 차이를 이해해야 한다.

통계학자 앨런 머피는 브라이어 점수가 단순한 오차가 아니라, 신뢰도(보정)와 분별력, 그리고 사건 자체의 불확실성으로 분해된다는 사실을 증명했다.

보정(Calibration)은 70%라고 예측한 사건들을 모았을 때 실제로 약 70% 발생하는가를 뜻한다. 즉, 나의 주관적 확신과 현실의 발생 빈도가 일치하는가이다.

분별력(Resolution)은 일어날 가능성이 높은 사건과 낮은 사건을 실제로 구별하여 차별화된 확률(90% 또는 10%)을 과감하게 부여할 수 있는 능력이다.

매번 50%를 외치는 사람은 사건의 절반이 일어나는 세상에서 완벽한 보정 점수를 얻지만, 분별력은 0이다. 반면 뛰어난 예측자는 자신의 무지를 인정하면서도(보정), 데이터와 단서를 통해 차이를 예리하게 가려내어 80%나 20%처럼 날카로운 확률을 제시한다(분별력).

5. 고슴도치의 도그마를 넘어 여우의 미세 갱신으로

미국 정보고등연구기획국(IARPA)이 후원한 지정학적 예측 대회(Good Judgment Project)에서 수천 명의 경쟁자를 제치고 상위 2%에 오른 슈퍼예측가들은 특정 분야의 석학이나 비밀 정보 요원이 아니었다. 평범한 시민들이 다수였다.

그들의 차이는 ‘무엇을 아는가’가 아니라 ‘어떻게 생각하는가’에 있었다. 사상가 아이제이아 벌린이 구분한 고슴도치와 여우의 차이다.

[고슴도치형 사고 루프]
하나의 거대 이론 ──> 현실 예측 ──> 예상 밖 사건 발생 ──> "예외이자 타이밍 문제" 변명 ──> 기존 신념 보존

[여우형 사고 루프]
다양한 관점과 기저율 ──> 가설적 확률 설정 ──> 새로운 단서 관찰 ──> 오차 인정 및 조준점 미세 갱신 (60%→63%) ──> 가설 진화

고슴도치는 세상을 단순화하고 단언하기에 대중의 인기를 얻기 쉽다. 그러나 복잡한 현실에서 승리하는 쪽은 바람에 흔들리는 과녁을 향해 조준점을 끊임없이 미세 조정하는 여우다.

6. 사실의 계산과 가치의 선택: 데이터는 주인이 아니다

그렇다면 모든 것을 데이터와 확률 계산에 맡기면 인생의 결정이 쉬워질까? 여기서 반드시 넘지 말아야 할 경계선이 있다. 바로 ‘사실의 계산’과 ‘가치의 선택’이다.

데이터는 어떤 사건이 일어날 확률과 비용에 대한 객관적 사실을 알려줄 수는 있지만, 내가 삶에서 진정으로 무엇을 추구해야 하는지까지 대신 결정해 주지는 못한다.

신규 사업의 실패 확률이 80%라는 통계가 눈앞에 있더라도, 안락한 직장에서 느끼는 권태보다 도전의 과정에서 얻는 배움에 더 높은 가치를 두는 사람에게는 창업이 옳은 선택일 수 있다. 반대로 연봉의 평균값이 가장 높은 직업이라 할지라도, 내 가치관과 도덕적 기준에 어긋난다면 그것은 나쁜 선택이다.

데이터는 사실을 가리키는 교정 도구이지, 삶의 가치관을 결정하는 주인이 아니다. 직관은 내가 무엇을 진정으로 원하는지를 발견하도록 돕고, 데이터는 그 바람을 이루기 위해 치러야 할 대가를 정직하게 계산해 준다.

7. 예측의 정확도가 가려버리는 치명적 비대칭

나아가 가장 주의해야 할 맹점이 있다. 바로 ‘예측’과 ‘의사결정’의 분리다.

금융 시장에서 99%의 날 동안 꾸준히 수익을 내며 탁월한 브라이어 점수를 자랑하던 펀드가, 단 하루 발생한 1%의 블랙스완으로 하룻밤 사이에 공중분해되는 비극이 반복된다. 그들은 통계적으로 정밀했을지 모르지만, 시스템 전체를 일거에 집어삼키는 꼬리 위험(Tail Risk)의 비대칭성을 간과했다.

오늘 비가 올 확률이 고작 2%라 할지라도, 비에 젖으면 안 되는 값비싼 계약 서류를 품에 안고 길을 나선다면 우산을 챙기는 것이 옳다. 98%의 맑은 날씨 예측에 도취되어 우산을 두고 나갔다가 소나기에 서류를 망친다면, 그것은 통계적 오판이 아니라 실존적 파멸이다.

결정권자는 가능성을 계산할 때는 슈퍼예측가처럼 냉정하게 기저율과 오차를 따져야 하지만, 실제 자원을 배분할 때는 비대칭적 위험 관리자의 태도를 취해야 한다. 90%의 성공 확률에 취해 단 한 번의 실패로 모든 것을 잃는 돌이킬 수 없는 베팅을 감행해서는 안 된다.

인생과 비즈니스의 최종 승리는 남들보다 미래를 3% 더 정확하게 맞히는 사람에게 돌아가지 않는다. 예측이 빗나갔을 때조차 안전 마진(Buffer) 덕분에 치명상을 입지 않고 살아남아, 다음 번의 좋은 기회를 맞이할 수 있는 생존자에게 돌아간다.