얼마 전 미국 대통령 선거 민주당 후보 경선에서 뉴햄프셔주 유권자들에게 주 예비선거에 투표하지 말라는 조 바이든 대통령의 목소리를 흉내 낸 로보콜(robocall, 자동녹음전화) 메시지가 대량 발송됐다. 이는 인공지능(AI) 기반 가짜 콘텐츠인 딥페이크와 음성 복제 기술 등이 이미 선거에 본격적으로 악용되고 있다는 것을 보여주는 사건이다. 앞으로 이러한 전술은 유권자의 동력을 떨어뜨리거나 속이는 데 더 효과적으로 악용될 수 있다.

미국 연방통신위원회(FCC)는 이번 사건의 배후로 지목된 통신회사에 대해 영업 중단 명령을 내렸다. 또한 FCC는 로보콜에서 AI로 생성된 딥페이크 사용을 공식적으로 불법으로 규정한다고 발표했다. FCC는 지난해 11월 생성형 AI를 사용한 불법 로보콜에 대한 대응책 연구를 시작한 바 있다.

FCC는 이번 결정에서 취약한 개인을 갈취하거나 유명인을 사칭해 잘못된 정보를 퍼뜨리는 등 사기를 위해 음성 복제 기술을 오용하는 문제를 직접 다루고 있다. FCC는 이러한 유형의 전화가 지난 몇 년 동안 증가했으며, 이 기술은 이제 유명인, 정치 후보자 및 가까운 가족의 목소리를 모방해 잘못된 정보로 소비자를 혼란스럽게 할 수 있는 잠재력을 가지고 있다고 밝혔다.

대형 기술 기업의 기술과 플랫폼이 일상생활과 사실상 일체가 되다시피 한 상황은 특정 집단의 이익 추구에 매우 좋은 환경이다. 이는 기술에 의한 현실 왜곡까지 가능하게 한다. 실제로 미국에서는 수십억 건의 로보콜, 사람이 전화하는 것처럼 착각하게 하는 전화 및 이메일 메시지가 넘쳐난다. 이메일, 전화, 고객 서비스 담당자와의 대화 시작 단계는 인공지능 프로그램인 경우가 많다. 2020년까지 고객 서비스 상호작용의 80% 이상이 이러한 기술을 도입한 것으로 알려졌다.

AI·로보틱스 시스템은 정치 활동을 위한 사용을 포함해 응용 분야가 다양하다. 이 전략은 빠르게 확산했다. 한 보고서에 따르면, 옥스퍼드대학의 컴퓨터 선전 연구 프로젝트의 일환으로 연구원들이 약 30만 개의 트위터 계정을 살펴본 결과 단 1%의 트위터 계정에서 영국의 유럽연합(EU) 탈퇴(브렉시트) 토론 관련 전체 트윗의 약 3분의 1을 생성했다는 것을 발견했다. 연구팀은 해당 계정 대부분이 인공지능으로 소프트웨어 봇(bot)에 의해 운영된 것으로 결론지었다.

기존 이미지나 동영상 속 인물을 다른 사람의 모습으로 바꿔치기한 인공지능 합성 미디어인 딥페이크 기술은 하루가 다르게 발전하고 있다. 전문적인 지식 없이도 누구나 스마트폰 앱으로 간단히 딥페이크 영상을 만들 수 있다. 미국에서는 이미 정치권을 중심으로 이를 악용해 사회적 혼란이 발생한 사례가 여러 건 있다.

선거를 앞두고 이러한 기술에 주목하는 이유는 선거와 관련해 생성한 콘텐츠가 미칠 영향 때문이다. 이러한 콘텐츠는 선거 막판 유권자의 투표권 행사를 방해하려는 시도를 조장할 수 있다. 반박할 기회가 없는 상황에서 특정 후보에 대한 허위 정보를 제작, 무제한 유포할 가능성이 상당하다. 특히 이렇게 유포된 정보가 선거 후 허위로 드러나도 선거 결과를 바꿀 방법은 사실상 없다. 따라서 이러한 기술을 이용해 허위 정보가 ‘아니면 말고’ 식으로 확산하면 그 폐해는 상상을 초월할 수 있다.

최근 선거 사례들을 통해서도 악의적인 행위자들이 디지털 애플리케이션을 이용해 민주주의를 위협한다는 사실이 이미 확인됐다. 챗GPT 등 생성형 인공지능과 같은 새로운 언어 모델의 등장으로 이들은 더욱 강력한 새 무기를 보유하게 됐다. 따라서 정치권과 규제 당국은 이러한 위험을 사전에 방지하기 위해 적극적으로 노력해야 한다.