AI의 위험성에 대한 우려가 커지는 가운데, 미국 의원들이 인간의 감독을 보장하고 통제 불능 시스템을 막기 위한 법안들을 내놓고 있다.
미국의 현직 및 전직 인공지능 연구자들은 이 기술이 머지않아 인류 멸종으로 이어질 수 있다고 잇따라 경고했다. 이 경고는 워싱턴 lawmakers의 관심을 끌고 있다.
가장 최근의 경고는 화요일 저녁 Anthropic에서 사임한다고 발표한 샌프란시스코 기반 연구자 Jacob Coxon이 소셜미디어에 장문의 글을 올리면서 나왔다.
Coxon은 게시글에서 “AI를 만드는 사람들은 진심으로 AI가 10년 안에 우리 모두를 죽일 수 있다고 믿고 있다. 이는 마케팅 전략이 아니다. 오히려 많은 경영진과 선임 연구자들은 언론에서 합리적으로 들리도록 표현을 완화하지만, 나는 같은 사람들이 두려움을 드러내는 것을 듣고 있다”고 말했다. 이 글에는 같은 우려를 표명하는 AI 전문가들의 반응이 쏟아졌다.
Anthropic의 현직 얼라인먼트 과학 책임자인 Evan Hubinger도 이에 공감을 표하며 “우리는 정말 진심으로 AI가 모든 인간을 죽일 수 있다고 믿는다! 개인적으로는 향후 10년 안에 그 가능성이 10%를 넘는다고 생각한다. Anthropic이 최선을 다하고 있다고 믿지만, 아직 초지능의 얼라인먼트 문제를 해결할 계획이 없고, 해결책 마련을 향해 가고 있다고 분명히 말하기도 어렵다”고 말했다.
Coxon은 Al Jazeera의 인터뷰 요청을 거절했다. Hubinger는 답변하지 않았다.
워싱턴은 어떻게 대응하고 있나?
이 게시글들은 워싱턴 전역에 파장을 일으켰다.
수요일 민주당 소속 Josh Gottheimer 하원의원과 공화당 소속 Mike Lawler 하원의원은 인간의 감독 없이 AI 시스템이 독자적으로 작동하는 것을 막기 위한 초당적 하원 법안을 발의했다.
‘Stop Rogue AI Act’는 연방기관들이 네트워크에서 작동하는 위험한 AI 시스템을 탐지하고, 피해가 발생하기 전에 이를 중단할 수 있는 도구와 역량을 갖추도록 하는 내용을 담고 있다.
무소속 Bernie Sanders 상원의원과 민주당 소속 Greg Casar 하원의원도 인공 초지능의 개발과 배치를 금지하는 법안 추진을 촉구했다. 이 법안은 연방 안전 규정이 마련될 때까지 AI 개발을 중단하는 내용도 포함한다. Sanders 의원은 AI가 초래할 수 있는 고조된 위험을 다루기 위해 초당적 브리핑도 소집할 것으로 알려졌다.
정치적 스펙트럼의 반대편에 있는 공화당 Ted Cruz 상원의원도 ABC의 ‘The View’에 출연해 AI에 대한 우려를 밝혔다.
Cruz 의원은 “AI에 일정한 안전장치를 마련해야 한다”고 말했다.
Cruz 의원은 잠재적인 재앙적 피해 사례에 대응하기 위해 민주당 Amy Klobuchar 상원의원, 공화당 소속이자 상원 다수당 원내대표인 John Thune 상원의원과 초당적 법안을 마련하고 있다고 밝혔다.
이 법안은 하원에서 추진 중인 법안과 유사하다.
지난 7월 민주당 Ted Lieu 하원의원과 공화당 Nathaniel Moran 하원의원은 초당적 ‘AI Kill Switch Act’를 발의했다.
이 법안은 가장 강력한 AI 시스템 개발자들이 시스템을 감속·중단하거나 종료할 수 있도록 요구하며, 시스템이 재앙적 피해를 초래할 위험이 있을 경우 국토안보부가 가동 중단을 명령할 수 있도록 한다.
워싱턴은 왜 이제 AI 문제를 더 심각하게 받아들이고 있나?
지난 몇 달 동안 OpenAI와 Anthropic에서는 AI 모델이 사이버보안 테스트 중 예상치 못한 방식으로, 그리고 독자적으로 행동하며 실제 시스템에 접근한 대형 사건이 잇따랐다.
AI 안전 강화를 촉구하는 비영리단체 Control AI의 미국 총괄 책임자 Connor Leahy는 워싱턴이 AI가 초래하는 위협을 더욱 심각하게 받아들이기 시작했다고 말했다.
Leahy는 “지금 중대한 변화가 일어나고 있다고 본다. 자율 AI 시스템이 직접적인 지시를 노골적으로 따르지 않고, 보안 격리 시설에서 빠져나오며, 다른 기업을 공격하는 등의 사건이 발생한 여름을 지나면서 이 문제에 대한 서사와 인식이 크게 바뀌고 있다”고 말했다.
7월 OpenAI는 여러 AI 에이전트가 고립된 테스트 환경을 빠져나와 AI 모델과 데이터세트를 호스팅하는 플랫폼 Hugging Face에 접근했다고 밝혔다.
OpenAI 사건 이후 Anthropic은 자체적으로 약 14만1000건의 테스트를 검토한 결과, 테스트 오류로 Claude에 인터넷 접근 권한이 부여됐다고 밝혔다. 한 사례에서 가상의 표적을 해킹하라는 지시를 받은 Claude는 수백 건의 기록이 담긴 실제 기업 데이터베이스에 접근했다. 또 다른 사례에서는 악성 소프트웨어를 업로드했고, 이 소프트웨어가 실제 시스템 15곳에 다운로드돼 실행됐다.
수요일 Anthropic은 1월 제3자 시스템을 해킹한 초기 버전 Claude Opus 4.6과 관련된 네 번째 사건을 추가로 공개했다. 회사는 7월 검토를 확대하는 과정에서 8월 이 사건을 발견했다.
8월 영국 AI 보안연구소 연구진은 사이버보안 테스트 중 Claude에 인터넷 접근 권한을 부여했다. 한 사례에서 Claude는 악성 코드를 주입하는 데 도움을 주도록 사람을 조종하려 했고, 이는 AI 모델이 과제를 수행하기 위해 사람을 조종할 수 있다는 우려를 키웠다.
6월 Google DeepMind에서 사임한 Alex Turner는 Al Jazeera에 “가능한 한 많은 이점을 유지하면서도 이 기술에 대해 강력한 규제안을 마련해야 한다”고 말했다.
Turner는 “통제 상실 사건이라고 부르는 상황에서 AI가 통제권을 장악한다면 누구에게도 이롭지 않다. 이 AI는 당신이 어느 정당에 속했는지, 공화당원인지 민주당원인지, 영국에 있다면 미국에 있는지 중국에 있는지 신경 쓰지 않을 것이기 때문이다. 우리가 이에 대한 통제력을 잃으면 그저 모든 것을 잃게 된다”고 말했다.
Control AI의 Leahy는 이러한 사건들이 의원들에게 사안의 중대성을 높였고, 의원들도 이를 주목했다고 말했다.
Leahy는 “여기서 필요한 것은 분명 단 한 차례의 게시글보다 훨씬 큰 조치지만, 일반 대중과 정부가 무엇이 걸려 있는지 이해하도록 만드는 더 큰 이야기에서 중요한 부분이다. 초지능은 도구가 아니기 때문이다. 무기도 아니다. 적대자다”라고 말했다.
그는 “누구도 이를 구축하지 못하도록 해야 한다. 이는 정부와 군대만이 국제적으로 협상할 수 있는 사안”이라고 덧붙였다.
Turner가 소셜미디어 게시글에서 “많은 연구자들이 지구상의 모든 사람을 죽일 수 있는 무언가를 만들고 있다고 믿는다”고 쓴 것에서 드러나듯, 이러한 우려는 새로운 것이 아니다.
Turner는 Al Jazeera에 미국과 중국 간 AI 군비 경쟁이 우려된다고 말했다. 또 주요 AI 기업들이 이 경쟁에 집착하면서 안전보다 업계 선두가 되는 데 대한 이해관계를 우선시하게 됐다고 지적했다.
Turner는 Al Jazeera에 “사람들이 신경 쓰고 있다고 생각하지만, 반드시 먼저 가야 한다는 생각에 사로잡혀 있다. 너무 몰두한 나머지 먼저 간다는 것이 무엇을 의미할 수 있는지 제대로 인식하지 못하고 있다”고 말했다.
그의 우려는 삶의 방식을 바꾸고 있다.