문제를 풀지 못할 때, 문제를 다시 보는 일

1. 색깔을 맞추는 퍼즐에서 점들의 궤도로

얼마 전 루빅스 큐브에 관한 흥미로운 이야기를 보았다. 3×3×3 큐브가 가질 수 있는 경우의 수는 무려 4,325경 가지에 이른다. 어지럽게 뒤섞인 여섯 가지 색깔을 맞추겠다는 생각으로만 덤벼들면, 이 거대한 숫자는 사람의 머리로는 도저히 감당할 수 없는 미궁처럼 느껴진다.

그런데 2010년, 수학자들은 어떤 상태에서 출발하더라도 큐브를 단 스무 번 이내의 회전만으로 완전히 맞출 수 있음을 증명했다. 비결은 단순했다. 수학은 큐브를 색깔을 맞추는 문제로 보지 않았다. 한 면을 돌릴 때마다 조각들이 정해진 궤도를 따라 이동하는 점들의 순열, 즉 위치와 이동의 경로로 문제를 완전히 다시 정의했기 때문이다. 색을 쫓던 눈을 거두고 점들의 궤도를 바라보는 순간, 4,325경이라는 막막한 복잡성은 스무 번이라는 간결한 질서로 압축되었다.

이 이야기를 접하고 문득 오래전 수학 문제를 풀던 학창 시절의 기억이 떠올랐다. 수능을 본 지 10년도 더 지나 구체적인 공식은 희미하지만, 어떤 문제는 아무리 계산을 반복하고 식을 늘려 써도 풀리지 않았다. 그런데 그 문제를 좌표평면 위에 도형으로 그려보거나, 반대로 기하학 문제를 대수식으로 바꾸어 보았을 때 거짓말처럼 간단한 해답이 눈앞에 나타나곤 했다. 문제 자체가 바뀐 것은 아니었다. 달라진 것은 오직 그것을 바라보는 나의 관점이었다.

2. 노력을 늘리는 것과 문제를 이해하는 것의 차이

수학에서는 문제의 겉모습에 속지 않고 본질적인 규칙을 찾는 것이 얼마나 중요한지 보여주는 유명한 퍼즐이 있다. 잘려진 체스판 문제다. 64칸짜리 체스판에서 대각선 양 끝의 모서리 두 칸을 잘라내어 62칸을 남겼다. 이제 2칸을 차지하는 도미노 31개로 남은 62칸을 빈틈없이 덮을 수 있을까?

도미노 31개면 정확히 62칸을 채울 수 있으니 면적만 보면 얼마든지 가능할 것 같다. 하지만 아무리 배치를 바꾸어 보고 종이를 찢어가며 조합을 시도해도 이 문제는 결코 풀리지 않는다.

여기서 문제를 면적이 아니라 색깔의 관점으로 바꾸어 보면 답은 싱거울 정도로 쉽게 드러난다. 체스판의 대각선 양 끝 모서리는 언제나 같은 색(흰색 2개)이다. 따라서 모서리 두 칸을 잘라내면 검은색 32칸과 흰색 30칸이 남아 색깔의 균형이 깨진다. 그런데 도미노 하나는 격자 위에서 반드시 검은색 1칸과 흰색 1칸을 동시에 덮어야 한다. 그러므로 흰색이 부족한 체스판을 도미노로 모두 덮는 것은 애초에 물리적으로 불가능하다.

이 문제에서 결정적인 것은 도미노를 더 기발하게 배치해보려는 끈기가 아니다. 애초에 배치가 가능한지 아닌지를 단번에 판별해 주는 성질, 즉 불변량을 발견하는 것이다. 우리는 종종 난관에 부딪히면 노력을 무작정 늘리려 한다. 계산이 안 되면 밤을 새워 계산을 반복하고, 일이 진행되지 않으면 사람을 쥐어짜며 야근을 시킨다. 하지만 노력을 무작정 쏟아붓는 것과 문제를 올바르게 이해하는 것은 전혀 다른 일이다. 풀리지 않는 문제는 대개 해법이 없어서가 아니라, 문제를 바라보는 렌즈 자체가 잘못되었기 때문이다.

확대

3. 아인슈텔룽 효과: 익숙한 성공이 만드는 생각의 감옥

우리는 왜 이토록 쉽게 한 가지 관점에 갇혀버리는 것일까? 인지심리학자 에이브러햄 루친스(Abraham Luchins)는 1942년 물통 실험을 통해 이 현상을 명쾌하게 밝혀냈다. 세 개의 물통(A, B, C)을 이용해 특정 양의 물을 계량하는 문제였다. 참가자들은 앞선 여러 문제를 풀면서 복잡한 계산 공식을 익혔다.

그다음, 굳이 복잡한 공식을 쓰지 않고 단순한 뺄셈이나 덧셈 한 번으로 풀 수 있는 지극히 쉬운 문제가 주어졌다. 놀랍게도 참가자들의 대다수는 여전히 이전의 복잡한 공식을 고집했다. 심지어 복잡한 공식으로는 도저히 풀리지 않고 오직 단순한 계산으로만 풀리는 문제와 마주했을 때, 그들은 이 문제는 풀 수 없다며 포기해 버렸다.

이를 아인슈텔룽 효과(Einstellung Effect), 즉 정신적 고착이라 부른다. 처음에는 문제를 해결하게 해주었던 성공적인 방식이, 나중에는 더 단순하고 명쾌한 해결책을 보지 못하게 가로막는 생각의 덫이 되는 것이다. 무언가를 잘 알고 경험이 풍부하다는 것이 반드시 그것을 더 정확하게 이해한다는 뜻은 아니다. 거대한 해머를 쥐고 있는 사람에게는 세상 모든 문제가 못으로 보인다. 어제의 성공을 가능하게 했던 사고방식이 오늘의 문제를 푸는 데 가장 큰 장애물이 될 수 있다는 사실을 알아차리지 못하면, 경험은 지혜가 아니라 시야를 가리는 벽이 된다.

flowchart TD
  A["어떤 문제나 난관에 직면함"] --> B{"익숙한 방식에 고착되어 있는가?"}
  B -->|관성적 반복| C["삽질과 피로 누적: 무차별 대입"]
  B -->|관점 전환| D["문제를 다시 정의하기: 표상 전환"]

  D --> E{"이 문제를 반드시 풀어야 하는가?"}
  E -->|해결 비용이 더 큼: 사소한 소음| F["4. 과감한 기각 및 덮어둠: Dismiss"]
  E -->|반드시 다루어야 할 과제| G{"문제의 본질적 성격은?"}

  G -->|객관적 기술적 결함| H["1. 기술적 정면 돌파: Solve"]
  G -->|구조적 병목과 규칙 결함| I["2. 시스템 판의 재설계: Redesign"]
  G -->|서로 다른 기준의 충돌| J["3. 융통적 조율과 수용: Reconcile"]

4. 현실의 문제를 마주하는 4가지 방식

수학에서는 문제의 조건과 목표가 이미 명확하게 주어져 있다. 따라서 우리는 주어진 문제를 어떻게 풀 것인지에 온전히 집중할 수 있다. 그러나 우리가 발 딛고 살아가는 현실의 문제는 조건과 목표 자체가 모호하다. 무엇이 문제인지에 대한 사람들의 생각도 다르고, 성공을 판단하는 기준도 제각각이다.

그렇기 때문에 현실에서는 모든 문제를 동일한 방식으로 다룰 수 없다. 성숙한 판단이란 상황에 따라 문제를 다루는 최선의 출구를 선택하는 데 있다.

프로그램이 느리게 작동한다면 병목 구간을 측정하고 코드를 최적화해야 한다(기술적 해결). 그러나 조직에서 매번 업무가 지연되고 마찰이 생긴다면 그것은 직원의 성실성 문제가 아니라 결재선이나 인센티브 시스템을 다시 설계해야 할 문제다(판의 재설계). 또한 서로 다른 두 주장이 팽팽하게 맞설 때는 한쪽의 굴복을 강요할 것이 아니라, 두 사람이 서로 다른 기준에 답하고 있음을 알아채야 한다. 한 사람은 효율성을 이야기하고 다른 사람은 안전성을 이야기하고 있다면, 둘 중 누가 옳은가를 다투기 전에 두 기준이 공존할 수 있는 맥락을 나누어 주어야 한다(융통적 조율). 그리고 때로는, 문제를 아예 덮어버리는 것이 최선의 해결책이 되기도 한다(과감한 기각).

확대

5. 가장 현명한 해결은 질문 자체를 지우는 것이다

우리는 문제를 마주하면 무조건 칼을 빼 들어 끝까지 풀어내야 한다는 강박에 쫓긴다. 문제가 있다는 것은 곧 해결해야 할 무언가가 있다는 뜻처럼 느껴지기 때문이다. 하지만 어떤 문제를 해결하는 데 드는 시간과 비용이 해결을 통해 얻는 가치보다 훨씬 크다면 어떨까? 혹은 풀리지도 않는 사소한 문제에 매달리느라 정작 삶에서 훨씬 더 중요한 기회를 놓치고 있다면 어떨까?

그때는 문제의 해답을 찾기 위해 발버둥 치는 대신, 애초에 이것을 반드시 해결해야 하는지 질문하는 편이 더 현명하다. 풀리지 않는 문제에 매달려 시스템 전체의 활력을 갉아먹는 완벽주의는 문제 해결이 아니라 또 다른 집착일 뿐이다.

색깔이 뒤섞인 큐브를 앞에 두고 점들의 궤도를 발견했던 것처럼, 산술적으로 풀리지 않던 문제에서 기하학의 도형을 떠올렸던 것처럼, 불가능해 보이던 배치 문제에서 체스판의 흑백 규칙을 찾아냈던 것처럼, 우리가 오랫동안 제자리걸음을 하고 있다면 계속 같은 방법을 반복하기 전에 스스로에게 이렇게 물어보아야 한다.

내가 지금 풀려고 하는 문제는 정말 이것이 맞는가? 이 문제를 전혀 다른 방식으로 바라본다면 무엇이 보일까? 그리고, 이것은 과연 내 삶을 걸고 지금 당장 풀어야만 하는 문제인가? 문제를 해결하는 능력은 분명 중요하다. 하지만 때로는, 문제를 다르게 바라보는 능력이 훨씬 더 중요하다. 좋은 해답을 찾기 전에, 먼저 좋은 질문을 골라내야 하는 이유다.