암호화된 추론의 역설: 지식재산을 지키려다 데이터가 새는 순간

2026년 8월 10일 arXiv에 프리프린트 'Stealing Reasoning Traces from Proprietary LLM APIs'가 등록됐다. 언어모델의 추론 사슬을 보호하는 방식 자체에 내재된 취약점을 다룬 연구다. 저자들에 따르면 Anthropic, OpenAI, Google을 비롯한 주요 API 사업자들은 같은 방식을 쓴다. 추론 텍스트를 평문으로 돌려주지 않고 암호화된 블록으로 반환하면, 클라이언트가 이후 요청에 그 블록을 다시 첨부하는 구조다. 초록이 짚는 것은 구현 실수가 아니라 설계상의 결함이다. 저자들의 표현을 그대로 옮기면(자체 번역) 이 암호화 블록들은 "동일 사업자의 생태계 안에서라면 서로 다른 세션, 사용자, 모델 사이에서 완전히 호환되고 교환 가능하다".

바로 이 교환 가능성이 공격을 성립시킨다. 최상위 모델이 만들어낸 암호화 블록을 같은 사업자의 더 작고 보호가 얕은 모델의 API 호출에 끼워 넣으면, 그 모델이 내용을 평문으로 돌려준다. 315,320개의 블록을 분석한 결과 개인정보 아티팩트 367건과 자격 증명 182건이 복원됐다. 이 연구는 아직 동료 평가를 거치지 않은 프리프린트이며 복원 데이터 수치는 독립적으로 검증되지 않았다. 182건의 세부 구성은 이차 출처 하나에만 근거한다. Cyber Security News에 따르면 그중에는 API 키 62개, 비밀번호 33개, 이메일 주소 30개가 포함되며 모두 공개된 에이전트 대화 기록에서 추출됐다. 공격에 필요한 것은 표준 API 접근 권한뿐이고, 증류 방지 장치를 우회하며 위험한 정보나 눈에 보이지 않는 프롬프트 인젝션을 노출시킬 수 있다.

수정이 어디까지 이뤄졌는지는 불투명하다. Cyber Security News는 8월 11일 보도에서 세 사업자 모두 서버 측 완화 조치를 적용해 개념 증명이 더는 재현되지 않는다고 썼지만, 같은 날 AI Weekly는 아키텍처 차원의 조치는 전혀 없었다고 주장한다. 검증 시점 기준으로 어느 쪽을 뒷받침할 공식 발표는 해당 기업들에서 확인되지 않았다. 게다가 추가 기술 정보의 출처로 언급된 프로젝트 사이트 stolen-thoughts.com은 접속되지 않아(HTTP 403 오류) 방법론을 간접적으로 온전히 재구성할 길도 막혔다.

이 구멍은 국지적인 구현 실수가 아니라 기밀성보다 지식재산 보호를 앞세운 설계 선택에서 비롯됐다. 권고된 대응책은 블록을 원래의 모델·세션·사용자에 암호학적으로 묶는 것, 그리고 로그를 공개하기 전에 정리하는 것이다. 적용된 완화 조치가 암호화 블록과 원 맥락 사이의 결속에까지 손을 댔는지 분명해지기 전까지는, 남은 위험이 얼마인지 외부에서 확인할 방법이 없다.

— Olya