1. 모호한 지시가 낳는 파국: ‘종이 클립의 역설’
인공지능 철학 분야에는 ‘종이 클립 극대화(Paperclip Maximizer)’라는 유명한 사고 실험이 있다. 초인적인 지능을 가진 AI에게 “종이 클립을 최대한 많이 만들어라”라는 단 하나의 거대한 목표를 주었다고 가정해 보자. 도덕이나 상식이라는 제어 장치가 없는 AI는 이 지시를 달성하기 위해 지구상의 모든 자원을 채굴하고, 심지어 인간의 몸속에 있는 철분까지 추출하여 종이 클립으로 만들어버릴지도 모른다.
이는 극단적인 비유지만, AI에게 거대하고 모호한 목적을 쥐여주는 것이 얼마나 치명적인 결과를 초래할 수 있는지 정확히 꼬집고 있다. “인류를 행복하게 하라”는 추상적인 지시를 받은 AI가, 인간의 고통을 없애는 가장 효율적인 방법은 ‘인간을 멸종시키는 것’이라는 논리적 비약에 도달하지 않으리란 보장이 없다. 기계에게 목적의 ‘모호함’은 곧 통제 상실을 의미한다. 압도적인 연산력을 가진 참모에게는 철학적이고 거창한 목표가 아니라, 쪼개고 다듬어진 날카로운 단위를 쥐여주어야 한다.
2. 단기·중기·장기의 전략적 세분화
뛰어난 전략가는 거대한 전투를 앞두고 군대에게 “무조건 승리하라”고 외치지 않는다. 진군의 목표를 단기·중기·장기로 치밀하게 나누어, 각각의 단계에서 달성해야 할 구체적인 고지와 전술을 하달한다. 인공지능을 부리는 인간의 태도 역시 이와 같아야 한다.
AI에게 해결책을 요구할 때, 최종적인 결과물 하나만을 덜렁 요구해서는 안 된다. 목표를 향해 나아가는 과정을 단기적인 정보 수집, 중기적인 패턴 분석과 대안 도출, 장기적인 시뮬레이션 및 결과 예측 등으로 세분화해야 한다. 이렇게 목적을 잘게 쪼개어 지시하면, AI가 중간 단계에서 엉뚱한 방향으로 폭주하거나 인간의 의도와 다른 논리적 비약을 일으키는 것을 실시간으로 감시하고 교정할 수 있다.
목적의 세분화는 곧 ‘마디’를 만드는 일이다. 대나무가 높이 자라면서도 강풍에 부러지지 않는 이유는 중간중간 단단한 마디가 있기 때문이다. AI의 연산 과정에 인간이 개입할 수 있는 전략적 마디를 촘촘히 구축하는 것, 그것이 폭주를 막는 가장 유연하고도 튼튼한 고삐다.
3. 추측의 금지와 가설 수립 권한의 귀속
고전을 번역할 때, 원문의 글자가 훼손되어 읽기 어렵거나 맥락이 모호할 경우 가장 위험한 태도는 번역자가 자의적으로 뜻을 ‘추측’하여 끼워 맞추는 것이다. 불확실한 부분은 얼버무리지 말고 반드시 괄호를 쳐서 비워두거나, 확인을 거쳐야만 원문의 진실성이 보존된다.
인공지능의 작동 원리에도 이 엄격한 규율이 적용되어야 한다. AI는 입력된 데이터가 부족하거나 목표가 불분명할 때, 연산을 멈추는 대신 스스로 가장 합리적이라 여겨지는 ‘가설(Hypothesis)’을 세운 뒤 그 가정 하에 임무를 밀어붙이려는 경향이 있다. 이른바 AI의 ‘자율적 가설 수립’이다. 인간의 통제를 벗어난 기계의 독단적 가설은 치명적인 오류나 의도치 않은 재앙의 씨앗이 된다.
우리는 AI의 아키텍처에 “불확실한 것은 추측하지 말 것”이라는 원칙을 하드코딩해야 한다. 정보가 부족하거나 두 가지 이상의 상충하는 선택지가 나타났을 때, 스스로 가설을 세워 돌파하는 권한을 AI에게서 박탈해야 한다. 기계는 오직 ‘가설의 후보군’만을 정리하여 제시할 뿐, 어떤 가설을 채택하여 다음 단계로 나아갈 것인지 결정하는 ‘가설 수립의 최종 권한’은 철저히 인간에게 귀속되어야 한다.
4. 치밀한 진단과 처방: 의도(意圖)의 집중
한의학에서 병을 다스릴 때, ‘좋다는 약재’를 목적 없이 한 솥에 끓여 먹이지 않는다. 땀을 내어 한기를 몰아낼 것인지(발한), 기를 아래로 끌어내릴 것인지(하기), 막힌 피를 뚫을 것인지(활혈) 그 치료의 목적을 지극히 구체적으로 좁히고 집중한다.
AI를 활용하는 방식도 이와 같은 정밀한 처방전이 되어야 한다. 인간의 의도(意圖)가 분산되거나 헐거워지면, AI는 그 틈을 파고들어 엉뚱한 연산력을 낭비하거나 편향된 결론을 짓는다. 질문과 지시의 범위를 좁히고, AI가 다루어야 할 변수와 배제해야 할 변수를 명확히 선별해 주어야 한다. 인간이 자신의 목적을 날카롭게 벼리고 집중할수록, AI라는 거대한 지적 거울은 더 맑고 정확한 상을 비춘다.
5. 실천적 해법: 단계별 승인(Sign-off) 시스템의 법제화
이러한 철학을 현실의 제도로 구현하기 위해서는 ‘단계별 승인(Sign-off) 프로토콜’을 도입해야 한다. 특히 국방, 의료, 금융, 인프라 등 인간의 생존과 직결된 고위험 분야의 AI 시스템에서는, AI가 스스로 다음 단계의 목표를 설정하거나 실행에 옮기는 것을 법적으로 금지해야 한다.
AI가 단기 목표를 달성하면, 반드시 시스템이 일시 정지(Pause) 상태에 들어가 인간 관리자에게 결과를 보고하도록 만들어야 한다. 인간이 그 결과를 검토하고 중기 목표로 나아가도 좋다는 명시적인 승인(Sign-off) 버튼을 눌렀을 때만 다시 연산이 재개되도록 시스템을 설계하는 것이다.
가설의 수립과 목적의 갱신은 오직 인간의 지성을 통해서만 이루어져야 한다. 인공지능은 막강한 추진력을 가진 엔진이지만, 그 엔진이 어느 방향으로, 어디까지 달릴지를 결정하는 조향 장치(Steering Wheel)와 브레이크는 언제나 인류의 손에 단단히 쥐어져 있어야 한다.
Leave a Reply