Anthropic은 목요일 자사의 인공지능 모델을 이용한 국가 지원 감시 작전 여러 건을 차단했다고 밝혔다. 그러면서 반체제 인사와 소수민족을 겨냥하는 데 AI가 활용되는 사례가 늘고 있다고 경고했다. 1월부터 7월 사이 포착된 이들 작전은 중국과 이란, 서아프리카에서 시작됐으며 홍콩 민주화 운동가를 비롯한 디아스포라 공동체를 표적으로 삼았다.
Anthropic은 목요일 자사의 인공지능(AI) 모델을 활용한 국가 지원 감시 작전 여러 건을 중단시켰다고 밝혔다. 각국 정부와 국가 연계 세력이 민족적 소수자와 반체제 인사를 감시하는 데 AI를 점점 더 많이 사용하고 있다고도 경고했다.
Anthropic은 모델 악용에 관한 보고서에서 이 사건들이 1월부터 7월 사이 발견돼 차단됐으며, 중국과 이란, 서아프리카에서 비롯됐다고 밝혔다.
보고서는 이 감시 작전들이 “이들 정권이 역사적으로 겨냥해온 디아스포라와 반체제 공동체를 동일하게 표적으로 삼았다”며 “아시아 전역의 홍콩 민주화 인사와 티베트·파룬궁 공동체, 해외에 거주하는 이란 소수민족 공동체와 이란 정권 반대 세력 등이 대상에 포함됐다”고 밝혔다.
한 사례에서 이란 측 관계자들은 소셜미디어 계정을 통해 사람을 식별하는 방법을 개발했다. 또 다른 사례에서는 말리 국가안보 당국을 위해 일하던 계약업체가 정보 수집을 가능하게 하는 기반 소프트웨어를 설계하는 데 Claude를 사용했다.
보고서는 “이제 AI가 엔지니어 인력을 대신해 사용되고 있다”고 지적했다.
Anthropic은 이용자들이 무기를 설계하고, 문제가 될 수 있는 생물학 연구를 수행하며, 데이트 사기를 벌이려 한 시도도 차단했다고 밝혔다.
샌프란시스코에 본사를 둔 이 AI 연구소는 중국 개발자들이 Claude를 기만적으로 활용해 이용자 질문에 대한 답변을 생성하는 동시에, 자체 모델을 개선하기 위해 해당 데이터를 ‘증류’했다고 비난했다.
증류는 한 AI 모델을 이용해 다른 AI 모델을 훈련하는 과정을 뜻하는 업계 용어다.
중국 개발자들은 앞서 허가 없이 이 기법을 사용했다는 비판을 받아왔다. 이는 사실상 Anthropic과 OpenAI 같은 미국 AI 연구소의 자원을 훔치는 행위라는 지적이다.
Anthropic은 이제 중국의 Moonshot과 Deepseek도 Claude를 몰래 이용해 이용자에게 제공할 답변을 생성했다고 주장했다.
보고서에 따르면 “한 사례에서 Moonshot은 열흘 동안 5380개의 사기 계정으로 구성된 네트워크를 통해 거의 30만 건의 고객 요청을 Anthropic에 전달했다.” 이 계정 대부분은 싱가포르와 일본에 있는 것으로 보였다.
이 데이터 중 일부에는 민감한 이용자 정보가 포함돼 있어 개인정보 보호 약정을 위반했을 가능성이 있다.
보고서는 “Moonshot이 고객들에게 요청 내용이 Anthropic으로 재전송돼 제3자에게 노출된다는 사실을 알렸는지는 알 수 없다”고 밝혔다.
Deepseek도 유사한 수법을 사용했다.
Anthropic이 탐지해 차단한 생물무기 관련 연구의 경우, 해당 행위자들의 의도는 분명하지 않았으며 AI 연구소는 이들의 신원을 공개하지 않았다.
보고서는 “이 사례 연구에 연루된 사람들은 현직 과학자들”이라며 “이들이 해를 끼칠 의도가 있었다고 단정하지 않으며, 이들이나 소속 연구소를 특정하면 오히려 피해를 입을 수 있다”고 밝혔다.
해당 사례의 과학 연구는 모기 매개 치쿤구니야 바이러스, ‘고병원성’ 조류인플루엔자 변종, 천연두와 엠폭스를 포함하는 바이러스군, 독과 기타 독성물질 등을 다뤘다.