실제 세계에서 AI가 빚을 수 있는 최악의 시나리오 여섯 가지
인공지능(AI)에 관한 최악의 시나리오는 SF 블록버스터를 통해 모두에게 익숙합니다. 기계가 인간의 지성을 갖추고, 의식을 가지게 되며, 결국 인류를 멸망시키려는 사악한 지배자로 변해간다는 이야기입니다. 이 이야기는 기술에 대한 우리의 선천적인 두려움에 기반하며, 새로운 기술 개발에 자주 동반되는 깊은 변화를 반영합니다.
하지만 머신러닝 엔지니어이자 2019년 소설 «양자의 대가»의 작가인 맬컴 머독은 AI가 우리 모두를 죽이기 위해 반드시 지능을 가질 필요는 없다고 말합니다. 지능을 갖춘 AI가 문제가 되기 전에 우리를 지상에서 쓸어버릴 다른 시나리오가 무수히 많다는 것입니다.
“감시와 데이터 추적이 강화되면서 우리는 위험하고 미지의 영역에 들어서고 있으며, 그 잠재적 결과는 거의 이해하지 못하고 있습니다”
AI 전문가들과의 인터뷰에서 매체 IEEE Spectrum은 영화에서 보는 것보다 훨씬 평범하지만 그만큼 디스토피아적인, 현실 세계 인공지능의 최악의 시나리오 여섯 가지를 찾아냈다. 하지만 이것들도 그 못지않게 디스토피아적이다.
허구가 우리의 현실을 규정할 때
허구가 우리의 현실을 규정하도록 내버려둔다면, 불필요한 비극이 일어날 수 있습니다. 하지만 디지털 세계에서 진짜와 가짜를 구별할 수 없다면 우리에게 무슨 선택이 있겠습니까?
가장 끔찍한 시나리오에서는, 첨단 머신러닝 도구로 만든 가짜 이미지, 영상, 음성, 텍스트인 딥페이크가 늘어나면서, 언젠가 국가 안보 결정권자들이 잘못된 정보에 근거해 실제 행동에 나서게 될 수 있으며, 이는 큰 위기나 더 나쁘게는 전쟁으로 이어질 수 있습니다.
조지타운대학교 보안 및 신기술 센터(CSET)의 선임 연구원 엔드루 론은 “AI 기반 시스템은 이제 대규모로 허위 정보를 생성할 수 있다”고 말했습니다. 이러한 시스템은 방대한 양과 다양한 형태의 가짜 메시지를 만들어내면서 그 실제 본질을 숨기고, 성공을 위해 최적화하며, 시간이 지나면서 원하는 영향력을 점점 더 키울 수 있습니다.
위기 상황에서 딥페이크라는 가능성만으로도, 정보의 진위를 제때 확인할 수 없다면 지도자들이 행동을 주저하게 만들 수 있습니다.
함부르크(독일) 안보정책연구소의 연구원 마리나 파바로는 “딥페이크는 기본적으로 정보 흐름에 대한 우리의 신뢰를 약화시킨다”고 지적했습니다. 딥페이크로 인한 행동이든 무행동이든, 전 세계에 재앙적인 결과를 초래할 수 있습니다.
위험한 바닥을 향한 경쟁
AI와 국가 안보에 관해서는 속도가 의미이자 문제입니다. AI 시스템이 사용자에게 속도 면에서 큰 이점을 주면서, 군사 응용 분야를 먼저 개발한 국가가 전략적 우위를 차지하게 될 것입니다. 하지만 그 과정에서 어떤 원칙을 희생해야 할까요?
CSET의 전략 책임자 헬렌 토너는 위기가 “모든 통신을 마비시키고 사람들에게 공황을 일으키며 경제 활동을 멈추게 하는, 무해해 보이는 단일 장애 지점으로 시작될 수 있다”고 봅니다. 지속적인 정보 부족에 다른 오판이 겹치면, 상황이 통제 불능이 될 수 있습니다.
스웨덴 스톡홀름 국제평화연구소(SIPRI)의 선임 연구원 빈센트 불라닌은 “강대국들이 선두를 차지하려고 모서리를 깎아낼 때” 대재앙이 일어날 수 있다고 경고합니다. “한 국가가 안전, 시험 또는 인간의 통제보다 속도를 우선시한다면, 그것은 위험한 바닥을 향한 경쟁이 될 것”입니다.
프라이버시와 자유의지의 종말
우리는 디지털 활동을 할 때마다 새로운 데이터를 만들어냅니다. 이메일, 문자 메시지, 다운로드, 구매, 메시지, 셀카, GPS 위치 등이 그것입니다. 기업과 정부에 이 데이터에 대한 무제한 접근을 허용하면서, 우리는 감시와 통제의 도구를 넘겨주고 있습니다.
얼굴 인식, 생체 인식, 유전체 데이터, AI 기반 예측 분석까지 더해지면서, CSET의 론은 “우리는 데이터 기반 감시와 추적이 늘어나는 위험하고 미지의 영역에 들어서고 있으며, 그로 인해 가능한 결과가 무엇인지 거의 이해하지 못하고 있다”고 우려합니다.
펜실베이니아대학교 Perry World House의 소장 마이클 C. 고로위츠는 “AI의 논리와 그것이 국내 탄압에 의미하는 바에 대해” 경고합니다. “과거에는 독재자가 자국민을 억압하는 능력이 대규모 병력에 달려 있었으며, 그중 일부는 사회 편에 서서 쿠데타를 일으킬 수도 있었습니다. AI는 이런 제약을 줄일 수 있습니다.”
한번 수집되고 분석된 데이터의 힘은 감시 및 모니터링 기능을 훨씬 넘어서, 예측에 기반한 통제를 가능하게 합니다. 오늘날 AI 시스템은 우리가 어떤 제품을 살지, 어떤 콘텐츠를 볼지, 어떤 링크를 클릭할지 예측합니다.
인간 스키너 상자
소셜 미디어 사용자들은 스마트폰 화면에 붙어 있는 인간 스키너 상자(스키너 상자는 동물의 행동을 연구하는 데 쓰이는 실험 장치)에 갇힌 실험용 쥐가 되었으며, 이를 통해 이익을 얻는 플랫폼에 더 소중한 시간과 관심을 강제로 바치고 있습니다.
CSET의 헬렌 토너는 “알고리즘은 사용자가 플랫폼에 가능한 한 오래 머물도록 최적화되어 있다”고 말했습니다. 맬컴 머독은 좋아요, 댓글, 구독이라는 보상을 제공하면서 “알고리즘이 우리 뇌의 회로를 묶어, 다음 참여를 저항할 수 없게 만든다”고 설명합니다.
광고 수익을 극대화하기 위해 기업들은 우리의 관심을 일, 가족, 친구, 의무, 심지어 취미에서 빼앗아 갑니다. 더 나쁜 것은, 콘텐츠가 종종 우리를 불행하게 만들고 이전보다 더 못한 상태로 만든다는 점입니다. 토너는 “이런 플랫폼에 머무는 시간이 길수록, 긍정적이고 생산적이며 충실한 삶을 추구하는 시간은 줄어든다”고 경고합니다.
AI 설계의 폭정
매일 우리는 일상의 많은 부분을 AI 기반 기계에 맡깁니다. 고로위츠가 지적하듯, 이는 문제가 됩니다. “우리는 아직 AI의 편향 문제를 완전히 인식하지 못하고 있습니다. 최선의 의도를 가진다 해도, 학습 데이터와 수학적 모델 모두를 포함한 AI 시스템의 설계는 이를 프로그래밍하는 편향된 사람들의 좁은 경험과 관심을 반영합니다. 그리고 우리 모두에게는 편견이 있습니다.”
정보 보안 기업 KnowBe4의 신기술 담당 수석 부사장 리디아 코스토풀로스는 “많은 AI 기반 시스템이 사람마다 다른 다양한 경험과 특성을 고려하지 않는다”고 주장합니다. AI가 각 개인의 고유한 필요가 아니라 편향된 관점과 데이터에 기반해 문제를 해결하기 때문에, 이런 시스템은 인간 사회에는 존재하지 않는 획일성을 가져옵니다.
AI가 등장하기 전부터도 일상 물건의 디자인은 종종 특정 유형의 사람에게 맞춰져 있었습니다. 예를 들어 연구에 따르면 자동차, 휴대폰을 포함한 수공구, 심지어 사무실의 온도 설정까지도 평균 키의 남성을 기준으로 만들어졌으며, 이는 여성을 포함해 키와 체형이 다른 사람들을 불편하고 때로는 위험한 상황에 놓이게 합니다.
AI에 대한 두려움이 인류에게서 이점을 빼앗는다
현대 AI는 데이터 세트, 고급 통계 모델, 예측 알고리즘을 다루기 때문에, 기계 지능을 만드는 과정은 결국 수학에 집중됩니다. 머독에 따르면 “선형대수는 우리가 조심하지 않으면 미친 듯이 강력한 일을 할 수 있다”.
하지만 사람들이 AI를 너무 두려워해서 정부가 AI를 규제하는 바람에 AI가 줄 수 있는 많은 이점을 인류가 잃게 되면 어떻게 될까요? 예를 들어 딥마인드의 알파폴드(AlphaFold)는 아미노산이 단백질로 접히는 방식을 예측하는 데 큰 돌파구를 마련해, 과학자들이 인간 단백질의 98.5%의 구조를 규명할 수 있게 했습니다. 이 이정표는 생명과학의 빠른 발전을 위한 기반이 될 것입니다.
막힘없는 번역으로 어떤 인간 언어 조합에서든 소통할 수 있게 되고, 문화 간 이해가 나아지며, AI 기반 시스템을 활용해 질병의 새로운 치료법을 찾을 수 있게 된 이점을 생각해 보십시오.
최악의 AI 시나리오를 막기 위한 정부의 규제 조치도 불쾌한 결과를 낳을 수 있으며, 스스로 의도하지 않은 부정적 결과를 불러올 수 있습니다. 우리가 이 놀라운 기술의 힘을 너무 두려워한 나머지, 그것이 세상에 가져다줄 수 있는 선을 위해 사용하는 것조차 거부하게 될 수 있습니다.
