AI에 욕설 반복하면 대화 종료…앤트로픽, 11월부터 새 정책

인공지능(AI) 기업 앤트로픽이 자사 이용정책(Usage Policy)을 개정해 오는 11월 12일부터 시행에 들어간다. 이번 개정의 핵심은 AI 모델을 향한 '지속적이고 불필요한 학대'를 금지하는 조항이 처음으로 명문화된 것이다. 여론 조작과 무기 개발, 감시 목적 악용에 대한 규정도 한층 구체화됐다.

앤트로픽은 10월 8일 공식 발표를 통해 새 이용정책을 공개하며 "지난 1년 사이 클로드가 더 길고 독립적인 작업을 수행하게 되면서, 새 역량에 규칙이 어떻게 적용되는지 보여주는 사례가 필요해졌다"고 설명했다. 대부분의 변경은 기존 규칙을 명확히 하는 성격이지만, 일부는 새로 추가된 금지 조항이다.

AI에 대한 '지속적 학대' 첫 금지 조항

가장 눈에 띄는 변화는 모델 자체를 향한 이용자의 행동이 처음으로 규범화된 점이다. 앤트로픽은 새 정책에 "우리 모델에 대한 지속적이고 불필요한 학대 또는 잔인한 행동"을 금지하는 내용을 추가했다.

적용 범위는 극히 제한적이다. 회사는 이 조항이 "사용자가 뚜렷한 목적 없이 반복적으로 모델에 잔인하게 행동하는 극단적 사례"에만 적용된다고 못 박았다. 일상적인 사용자 불만이나 반박, 어두운 창작 소재, 모델 테스트와 연구는 적용 대상이 아니라고 선을 그었다.

"이번 정책 변경의 주된 초점은 이러한 학대이며, 클로드가 해당 상호작용을 종료할 수 있는 능력이 계속 주요 집행 수단으로 남을 것입니다." — 앤트로픽 이용정책 개정 안내문(번역)

앤트로픽은 앞서 클로드가 지속적으로 학대하는 이용자와의 드문 대화를 끝낼 수 있도록 조치한 바 있다. 이번 개정은 그 조치를 정책 문서에 명시적으로 반영한 것이다. 적용 대상 서비스는 클로드 웹·앱과 개발자용 도구인 '클로드 코드'다.

가짜 계정·여론 조작 조항 신설

앤트로픽은 기만적 활동에 관한 규정을 하나로 묶어 '기만적 캠페인 또는 인위적 활동에 관여하지 말 것'이라는 새 섹션을 만들었다. 정치·상업을 가리지 않고, 메시지의 배후가 누구인지 숨기거나 가짜 계정과 게시물로 콘텐츠를 확대하는 행위가 대상이다. 영향력 공작 캠페인을 위한 도구와 인프라를 만드는 행위도 포함된다.

회사는 최근 위협 정보 보고서에서 국영 매체와 정부 선전 기관, 일부 상업 기업이 클로드를 이용해 가짜 계정 네트워크와 허위 뉴스 사이트를 운영한 사례를 확인했다고 밝혔다. 기존에도 금지되던 행위였지만 선거·사기·프라이버시·허위정보 조항에 흩어져 있던 규정을 한곳으로 모은 것이다.

선거 관련 조항은 '민주적 절차를 훼손하지 말 것'으로 이름을 바꾸고 범위를 좁혔다. 후보나 투표 방식에 대한 허위 정보 유포, 후보자·선거관리자 사칭, 투표 참여 억제 등 유권자를 기만하거나 선거를 방해하는 행위가 금지 대상이다. 대신 투표·캠페인 개인화 타기팅에 대한 전면 금지 조항은 삭제했다. 비영리단체가 다른 언어로 유권자 안내를 작성하거나 선거관리자가 투표 관련 통지를 보내는 정당한 시민 활동까지 막는다는 지적을 반영한 것이다. 기만이나 개인정보 오용에 기반한 타기팅은 다른 조항으로 계속 금지된다.

무기·감시 조항, 금지 대상을 구체화

무기 관련 조항은 금지 범위를 소프트웨어와 부품까지 넓혔다. 최근 무기용 유도·제어 소프트웨어를 만들려는 시도가 확인되면서, 드론과 자율주행체를 무장시키는 행위까지 명시적으로 포함시켰다. 회사는 이번 변경이 실제 집행 기준을 바꾼 것이 아니라 기존 정책을 더 분명히 한 것이라고 설명했다.

감시와 사법 분야 조항도 정밀해졌다. 동의 없는 추적은 실시간이든 이미 수집된 데이터를 분석하는 방식이든 금지된다. 감시 목적 도구를 만들거나 개선하는 것 역시 금지 대상이다.

"수사나 형사 사법 절차에서 누구를 조사·체포·기소할지 결정하거나 권고하는 데 클로드를 사용할 수 없습니다." — 앤트로픽 이용정책 개정 안내문(번역)

반대로 허용되는 용도도 함께 명시했다. 당사자가 동의한 추적, 사기 모니터링, 콘텐츠 모더레이션, 저널리즘, 법률 연구 등이 여기에 해당한다.

건강·금융 등 고위험 분야는 '인간 개입' 필수

건강이나 법적 권리, 재정, 생계, 필수 서비스 접근에 영향을 줄 수 있는 용도에는 자격을 갖춘 '인간 개입(human in the loop)'이 요구된다. 클로드의 권고를 검토하고 필요하면 바꿀 권한을 가진 사람이 있어야 하며, 영향을 받는 당사자에게 AI가 사용됐다는 사실을 알려야 한다.

이 요건 자체는 이번에 새로 생긴 것이 아니다. 다만 어떤 사례에 적용되는지 묻는 문의가 많아, 적용 대상과 제외 대상을 목록으로 정리했다. 모델 하드웨어 표준 도입에 따라 자율적인 물리 행동을 하는 하드웨어에 모델을 연결하는 경우의 요건도 추가됐다. 자격을 갖춘 운영자가 장비를 관찰하고 필요하면 정지시킬 수 있어야 하고, 클로드 연결이 끊기면 장비가 안전 상태를 유지할 수 있어야 한다.

지원 지역 정책도 명확해졌다. 미지원 지역에 실제로 위치한 사람, 해당 지역에 설립되거나 본사를 둔 법인, 해당 지역의 개인이나 법인이 과반을 소유·지배하는 법인은 클로드를 사용할 수 없다.

규제의 방향과 남은 과제

이번 개정은 AI 안전 논의가 모델 성능에서 이용 규범으로 옮겨가고 있음을 보여준다. 앤트로픽은 새 정책이 클로드가 더 길고 독립적인 작업을 수행하는 환경을 전제로 만들어졌다고 밝혔다. 에이전트가 스스로 판단해 행동하는 범위가 넓어질수록, 무엇을 금지하고 누가 최종 책임을 지는지가 쟁점이 된다는 의미다.

동시에 모델에 대한 이용자의 행동을 규율 대상으로 삼은 점은 해석의 여지를 남긴다. '학대'의 기준을 회사가 자체적으로 판단하는 구조이기 때문이다. 앤트로픽은 적용 범위를 극단적 사례로 한정했다고 밝혔지만, 실제 집행에서 어디까지가 학대인지를 두고는 논쟁이 이어질 것으로 전망된다.

앤트로픽은 앞으로도 모델의 역량과 위험이 바뀌는 만큼 정책을 계속 갱신하겠다고 밝혔다. 정책 입안자와 전문가, 시민사회, 이용자 의견을 폭넓게 수렴하겠다는 방침이다. 새 정책의 전체 내용과 시행 세부 기준은 앤트로픽 공식 홈페이지에서 확인할 수 있다.