본문으로 건너뛰기

Hidden State Poisoning: Mamba의 효율적인 상태가 공격 표면이 될 때

· 약 4분
p4r4d0xb0x
p4r4d0xb0x
Rustacean, AI, OSS Enthusiast

Mamba 계열의 매력은 긴 시퀀스를 고정 크기 상태로 처리하는 효율성이다. 그러나 이 압축 상태가 곧 보안 경계가 될 수 있다. Hidden State Poisoning Attacks against Mamba-based Language Models는 특정한 짧은 입력 구문이 모델의 은닉 상태를 부분적으로 덮어써, 이후 저장된 정보의 검색 능력을 무너뜨리는 현상인 Hidden State Poisoning Attack(HiSPA)을 연구한다. 이 글은 초록과 공개 메타데이터에 근거해 공격의 개념, 보고된 평가, 그리고 운영상 확인해야 할 질문을 정리한다.

시퀀스가 Mamba 은닉 상태를 덮어쓰는 공격 경로 개념도

상태 압축이 만드는 비대칭​

Transformer는 이전 토큰을 KV cache에 비교적 직접적으로 남기고, 새 토큰이 attention으로 여러 위치를 참조한다. Mamba 같은 상태공간모델(SSM)은 입력을 순차적으로 처리하며 제한된 은닉 상태를 갱신한다. 이 방식은 메모리와 계산을 줄이는 대신, 과거 정보가 상태 업데이트를 거치며 섞인다는 특성을 만든다. 공격자는 이 업데이트 경로에 짧은 문구를 넣어, 정상적인 맥락에서 중요한 정보가 이후 출력에 도달하기 어렵게 만들 수 있다.

논문이 말하는 “partial amnesia”는 모델이 모든 것을 잊는다는 뜻이 아니다. 특정 공격 트리거 뒤에서 일부 정보 검색 능력이 붕괴하거나 약화되는 현상이다. 이 구분은 중요하다. 공격은 모델 파라미터를 바꾸는 학습 단계가 아니라, 입력 시퀀스에 삽입되는 짧은 구문으로 유도될 수 있기 때문이다. 따라서 입력 필터링, 문맥 격리, 상태 초기화, 검색 결과 검증이 모두 관련된 방어 층이 된다.

용어 해설: 은닉 상태(hidden state)

쉬운정의: 모델이 지금까지 읽은 내용을 다음 계산에 전달하기 위해 내부에 유지하는 숫자 묶음이다.

예시: 책을 읽으며 줄거리를 메모한 한 장의 노트다. 누군가 그 노트의 중요한 부분을 지우거나 다른 내용으로 바꾸면 다음 장면의 이해가 달라진다.

용어 해설: 공격 트리거(trigger)

쉬운정의: 특정한 동작이나 오류를 일으키도록 설계된 짧은 입력 패턴이다.

예시: 게임에서 특정 버튼 조합이 숨은 동작을 실행하는 것처럼, 문장 속 특정 구문이 모델의 상태 갱신에 영향을 준다.

HiSPA의 공격 모델​

초록은 HiSPA를 “특정 짧은 입력 구문이 은닉 상태를 비가역적으로 덮어써는 현상”으로 정의한다. 여기서 비가역적이라는 표현은 해당 순차 실행이 계속되는 동안 단순히 다음 정상 입력을 넣는 것만으로 원래 정보가 자동 복원되지 않을 수 있다는 의미로 해석할 수 있다. 다만 정확한 공격 생성 절차, 트리거 길이 분포, 공격자가 목표 정보와 모델 내부를 얼마나 알아야 하는지는 초록만으로 확인되지 않는다.

논문은 RoBench-25라는 벤치마크를 제안해 HiSPA가 적용된 상황에서 정보 검색 능력을 평가한다고 보고한다. 벤치마크의 존재는 공격을 단일 사례가 아니라 반복 측정 가능한 평가 문제로 만들려는 시도다. 보안 평가에서는 “트리거가 작동했는가”와 “정상 입력의 품질이 얼마나 유지되는가”를 분리해 봐야 한다. 그러나 구체적인 점수와 기준선은 본문 실험을 확인해야 한다.

보고된 결과의 의미​

초록에 따르면 RoBench-25에서 SSM의 취약성이 확인되었고, 52B 규모의 하이브리드 SSM–Transformer인 Jamba-1.7-Mini도 일부 HiSPA 트리거 아래에서 붕괴했다. 반면 순수 Transformer는 같은 비교에서 그러한 붕괴를 보이지 않았다고 보고한다. 또한 HiSPA 트리거는 Jamba를 Open-Prompt-Injections 벤치마크에서 크게 약화시켰지만, 순수 Transformer에는 같은 효과가 관찰되지 않았다고 한다.

이 결과를 “Transformer는 안전하다”로 확대하면 안 된다. 논문이 비교한 공격 유형과 모델 집합에 한정된 관찰이며, 다른 입력 공격·데이터 오염·도구 오용까지 배제하지 않는다. 오히려 핵심 메시지는 아키텍처별 상태 업데이트가 공격의 영향 범위를 바꿀 수 있다는 것이다. Mamba-2와 Mamba-2 기반 하이브리드인 Nemotron-3-Nano까지 이론·경험적 분석을 확장했다는 점도 초록에 명시되어 있다.

해석 가능성과 방어 방향​

논문은 HiSPA 동안 Mamba의 은닉 계층에서 나타나는 패턴을 해석 가능성 연구로 분석하고, 이를 완화 시스템 구축에 사용할 수 있다고 제안한다. 이 방향은 상태를 직접 들여다보거나 이상 변화를 탐지해 입력을 차단하는 형태를 암시하지만, 실제 탐지기와 오탐률, 지연 비용, 어떤 계층을 검사하는지는 공개 초록에서 검증할 수 없다.

실무적으로는 다음 질문부터 시작해야 한다.

  • 외부 문서나 사용자 프롬프트가 모델의 지속 상태와 같은 실행 경로에 들어가는가?
  • 요청별 상태를 격리하고, 신뢰 경계가 바뀔 때 상태를 초기화하는가?
  • 검색 결과나 시스템 지시를 상태에 반영하기 전에 출처·권한·무결성을 확인하는가?
  • 이상 트리거가 탐지되었을 때 fail-open인가 fail-closed인가?

특히 에이전트 시스템에서는 상태 오염이 단순한 답변 오류가 아니라 도구 호출의 선택과 데이터 접근 범위에도 영향을 줄 수 있다. HiSPA 논문 초록은 도구 실행까지 직접 증명하지 않으므로, 이 부분은 보안 설계에 대한 합리적 확장 질문으로 남겨야 한다.

논문의 구조와 증거 경계​

공개 초록의 흐름은 SSM의 효율성과 미개척된 적대적 견고성 문제를 제시한 뒤, HiSPA 정의와 RoBench-25, 모델별 결과, 해석 가능성 기반 완화 방향으로 이어진다. 이는 문제→공격 정의→평가→방어 단서의 구조다. 하지만 이 글은 29페이지 원문 전체의 위협 모델과 부록을 재검증한 것이 아니므로, 공격 재현에 필요한 모든 조건을 제공하지 않는다.

한계와 운영상의 결론​

첫째, 초록에는 정확한 공격 성공률·정보 검색 점수·트리거 생성 비용이 없다. 둘째, Transformer가 해당 실험에서 무너지지 않았다는 사실은 모든 Transformer의 면역을 뜻하지 않는다. 셋째, “부분 기억상실”이 어떤 정보 유형과 문맥 길이에서 가장 심한지 추가 검증이 필요하다. 따라서 도입자는 아키텍처 선택만으로 보안을 판단하지 말고, 자신의 상태 관리·검색·도구 호출 파이프라인에 RoBench-25와 유사한 트리거 회귀 테스트를 추가해야 한다.

Sources​

// COMMENTS

댓글