본문으로 건너뛰기

Mamba-3: 선형 추론을 실제 시퀀스 모델링 품질로 연결하기

· 약 5분
p4r4d0xb0x
p4r4d0xb0x
Rustacean, AI, OSS Enthusiast

긴 컨텍스트를 처리할 때 Transformer의 비용은 attention 계산의 증가와 KV cache의 메모리 부담으로 나타난다. 선형 모델은 이론상 더 나은 비용 구조를 제공하지만, 상태 추적과 하드웨어 효율에서 품질을 잃기 쉽다. Mamba-3가 겨냥하는 간극은 바로 여기다. 논문은 “선형 복잡도”라는 표어보다 추론 시 실제 데이터 이동과 상태 표현이 중요하다는 관점에서, 재귀식과 상태 업데이트를 다시 설계한다.

상태공간 재귀와 다중 입력·출력 경로를 표현한 Mamba-3 개념도

선형이라고 충분하지 않은 이유​

상태공간모델(SSM)은 입력 시퀀스를 고정 크기 상태로 압축하고, 각 시점의 상태를 갱신하면서 출력을 만든다. 이상적인 설명에서는 시퀀스 길이에 따라 계산량이 선형으로 증가하고, 디코딩 때 필요한 상태가 일정하다는 장점이 있다. 그러나 상태가 너무 단순하면 “몇 번째 항목이 어떤 값이었는가” 같은 상태 추적 과제를 놓칠 수 있다. 또한 이론적 연산량과 GPU에서 실제로 빠르게 실행되는지는 별개의 문제다. 작은 재귀 업데이트가 많은 메모리 읽기·쓰기를 일으키면, 산술 연산이 적어도 하드웨어 활용률이 낮아질 수 있다.

Mamba-3의 출발점은 inference-first다. 즉 학습만 편리한 구조가 아니라, 토큰을 하나씩 생성하는 decode 경로의 latency와 상태 크기를 설계 목표의 중심에 둔다. 초록에서 제시한 세 가지 방법론적 개선은 서로 다른 병목을 겨냥한다.

세 가지 개선​

1. SSM 이산화에서 나온 표현력 있는 재귀​

첫 번째는 SSM 이산화(discretization)에서 유도한 더 표현력 있는 recurrence다. 연속시간 시스템을 토큰 단위 업데이트로 바꾸는 과정은 시간 간격과 상태 전이를 결정한다. 이 전이를 단순한 고정 규칙으로 두는 대신, Mamba-3는 상태가 입력을 더 세밀하게 누적하도록 재귀식을 확장한다. 초록만으로는 각 계수의 수식이나 학습 파라미터를 단정할 수 없지만, 방향은 명확하다. “선형 모델의 비용”을 유지하면서 “상태를 표현하는 방식”을 개선하는 것이다.

2. 복소수 상태 업데이트​

두 번째는 complex-valued state update rule이다. 복소수 상태는 크기와 위상이라는 두 종류의 정보를 이용할 수 있어, 반복·주기·순서 관계를 표현할 여지를 넓힌다. 상태 추적처럼 위치와 변화가 중요한 과제에서 이 표현은 특히 의미가 있다. 다만 복소수 연산이 모든 하드웨어에서 동일하게 효율적인 것은 아니다. 구현이 실수부·허수부의 두 경로로 분해되는지, 커널이 얼마나 융합되는지에 따라 실측 latency가 달라진다.

용어 해설: 상태공간모델(SSM)

쉬운정의: 긴 입력을 전부 보관하는 대신, 지금까지 중요한 내용을 작은 상태에 계속 요약해 다음 출력에 사용하는 모델이다.

예시: 긴 영화를 매 장면 다시 보는 대신, 줄거리 노트 한 장을 계속 업데이트하며 다음 장면을 이해하는 방식이다.

용어 해설: 이산화(discretization)

쉬운정의: 연속적으로 변하는 시스템의 규칙을 컴퓨터가 한 단계씩 계산할 수 있는 규칙으로 바꾸는 과정이다.

예시: 자동차의 속도 변화를 매 순간 계산하는 대신, 1초마다 위치와 속도를 기록하는 표로 바꾸는 것과 같다.

3. MIMO: decode latency를 늘리지 않는 다중 입출력​

세 번째는 multi-input, multi-output(MIMO) 정식화다. 하나의 입력 스트림과 하나의 출력만 처리하는 대신 여러 입력·출력 관계를 묶어 표현력을 높인다. 논문 초록은 MIMO가 decode latency를 증가시키지 않으면서 모델 성능을 높이는 방향이라고 설명한다. 이 주장은 “계산이 전혀 늘지 않는다”는 뜻으로 읽기보다, 동일한 디코드 경로의 지연 예산 안에서 더 많은 정보를 활용하도록 설계했다는 의미로 읽는 편이 안전하다. 실제 비용은 상태 크기와 커널 구현을 포함해 본문에서 확인해야 한다.

초록에 명시된 결과​

논문은 retrieval, state-tracking, downstream language modeling에서 개선을 보고한다. 1.5B 규모에서 Mamba-3는 다음으로 좋은 모델로 제시된 Gated DeltaNet보다 downstream 평균 정확도가 0.6 percentage points 높았고, MIMO 변형은 추가 1.2 points를 더해 총 1.8 points의 이득을 보였다고 초록에 적었다. 또 state-size 실험에서 Mamba-3는 이전 Mamba-2의 절반 상태 크기로도 비슷한 perplexity를 달성했다고 보고한다.

이 수치는 유용하지만 조건이 생략된 요약 수치다. 평균 정확도가 어떤 태스크 묶음인지, baseline의 학습 레시피와 토큰 수가 무엇인지, latency와 메모리의 실제 측정 조건이 무엇인지는 초록만으로 알 수 없다. 따라서 “1.8 points만큼 항상 우월하다”가 아니라 “논문이 명시한 평가 설정에서 그 차이를 보고했다”고 표현해야 한다.

논문의 논리 구조​

공개 메타데이터와 초록은 문제 제기→선형 모델의 한계→세 가지 설계 개선→검색·상태 추적·언어 모델링 평가의 흐름을 따른다. 이는 IMRaD 전체를 확인한 분석이 아니라 초록에 드러난 논증 구조다. 방법론의 세 요소가 서로 다른 약점—표현력, 상태 추적, decode 효율—을 보완하도록 배치되어 있다는 점이 핵심이다.

시스템 관점의 함의​

  • 추론 비용: 긴 시퀀스에서 고정 상태를 쓰는 구조는 KV cache와 다른 메모리 프로파일을 만들 수 있다. 하지만 GPU에서 유리한지는 상태 크기와 메모리 이동을 실측해야 한다.
  • 평가: perplexity, retrieval, state tracking을 함께 봐야 한다. 평균 언어 모델 점수만으로는 “기억하는 방식”의 차이를 설명하기 어렵다.
  • 배포: MIMO와 복소수 상태는 모델 파일의 수치 형식, 커널 지원, 양자화 전략에 영향을 줄 수 있다. 공개 초록에는 이 구현 세부가 없다.

한계와 남은 질문​

이 글의 정량 주장은 arXiv 초록에 명시된 범위에만 한정했다. 재현을 위해서는 논문의 실험 표, 모델·데이터 규모, 하드웨어, throughput과 peak memory 측정을 확인해야 한다. 또한 Mamba-2와의 perplexity 비교가 동일한 학습 조건인지, “절반 상태 크기”가 전체 메모리 절감으로 직결되는지는 알 수 없다. 실제 도입 전에는 긴 입력·배치 크기·동시 사용자 수별 decode benchmark와 장애 시 상태 초기화 동작까지 검증해야 한다.

Sources​

// COMMENTS

댓글