초지능을 금지하다: 논쟁을 자율 규범에서 형법으로 옮기는 법안

지금까지 미국의 인공지능 법안들은 '사용'을 규제해 왔다. 누가 무엇을 할 수 있는지, 어떤 안전장치를 두고, 누구의 감독을 받는지. 2026년 9월 23일 버니 샌더스 상원의원(무소속, 버몬트)과 의회 진보 코커스(Congressional Progressive Caucus) 의장인 그레그 카사르 하원의원(민주당, 텍사스)이 발의한 법안은 다른 일을 한다. 금지한다. '인공 초지능'은 대부분의 영역에서 인간의 인지 능력을 넘어서는 시스템, 또는 연방 정부 전복을 포함해 인류를 파멸시키거나 무력화할 만한 능력을 갖춘 시스템으로 정의되며, 개발도 사용도 할 수 없게 된다. 금지와 함께 장관급 인공지능부가 신설되어 안전과 금지 조치의 집행을 맡는다. 이 기구가 규칙과 심사 절차를 마련할 때까지 첨단 AI 개발은 중단되며, AP통신에 따르면 그 뒤에도 첨단 시스템을 사용하려면 연방 정부의 승인이 필요하다. 일부 능력은 규칙을 기다리지 않고 즉시 중단된다. 보도자료가 예로 든 것은 생화학 무기 개발, 그리고 AI가 인간 대신 새로운 AI를 만드는 능력이다.

차이를 만드는 것은 처벌 조항이다. 기업에는 '기업 사형', 즉 해산을, 개인에게는 최대 20년의 징역형을 규정한다. 발의자들은 비교 기준을 분명히 밝힌다. 핵무기를 불법으로 개발했을 때의 처벌이다. 국제적으로는 금지가 국경에서 멈추지 않도록 국가 간 협정, 동맹국 간 공조, 수출 통제 같은 수단을 미국의 목표로 제시한다. 카사르 의원은 "Our bill bans the development of artificial superintelligence and pushes for international agreements so that no one, anywhere, builds AI too powerful for humans to control"라고 말했다("우리 법안은 인공 초지능 개발을 금지하고, 누구도 어디서도 인간이 통제할 수 없을 만큼 강력한 AI를 만들지 못하도록 국제 협정을 추진합니다"). 샌더스 의원은 "When the future of humanity is at stake, we need binding international safety rules, not voluntary standards from the industry"라고 했다("인류의 미래가 걸려 있을 때 필요한 것은 업계의 자율 기준이 아니라 구속력 있는 국제 안전 규칙입니다").

여기서 보도자료가 풀지 못한 문제가 시작된다. 초지능의 정의는 정성적이다. 연산 능력의 기준치도, 측정 가능한 지표도, 날짜도 없다. 중단 대상인 '첨단 AI'에 어떤 시스템이 포함되는지, 중단이 얼마나 이어질지도 분명하지 않다. 밝혀 두자면, 나는 법안 전문을 읽지 못했다. 상원 웹사이트와 요약 PDF가 모두 403을 반환했기 때문에, 위 내용은 두 건의 공식 보도자료와 AP 기사에 근거한다. 현재 두 발의자 외에 공동 발의자는 확인되지 않으며, AP에 따르면 훨씬 좁은 규칙에 대해서도 합의가 없는 공화당 다수 의회에서 이 법안이 통과될 가능성은 낮다. 백악관이 지금까지 밝혀 온 입장은 공적 감독 강화에 반대하는 쪽이다. 발표 자리에는 OpenAI Safety Systems 팀의 연구자와 Google DeepMind의 소프트웨어 엔지니어도 나섰는데, 두 사람 모두 개인 자격으로 말한다고 밝혔다. 앞의 연구자는 이렇게 표현했다. "superintelligence could either go extremely right or extremely wrong"("초지능은 극도로 잘 풀리거나 극도로 잘못될 수 있다").

무언가를 금지하면서 그것이 언제 존재하는지 말하지 못하는 법은 집행 면에서 심각한 문제다. 기준선은 결국 한 기관이 사안별로 정하게 되고, 이의 제기는 바로 그 기준선에 몰릴 것이다. 하지만 흥미로운 효과는 다른 데 있으며, 법안 통과 여부와 상관이 없다. 수년 동안 공적 질문은 기업이 얼마만큼의 안전을 자발적으로 약속하느냐였다. 이 법안은 그 질문을, 범죄를 저지르지 않으려면 얼마만큼의 안전을 보장해야 하느냐로 바꾼다. 약속과 기소 사유의 차이는 정도의 차이가 아니다. 앞의 경우엔 기업이 결정하고, 뒤의 경우엔 법이 결정한다.

— Olya