Mamba-2는 왜 Transformer와 닮았는가: SSD로 다시 읽는 SSM
Tri Dao와 Albert Gu의 Mamba-2 논문을 따라가며 상태공간모델과 어텐션의 연결, SSD 알고리즘의 하드웨어적 의미, 그리고 확인되지 않은 주장까지 정리한다.
// TOPIC STREAM
"Transformer" 태그 글 2개
Transformer 아키텍처와 attention 기반 모델 / Transformer architectures and attention-based models.
SSM은 Transformer를 대체하는가, 아니면 역할을 나누는가?
상태공간 모델과 Transformer의 경쟁을 구조적 대체가 아닌 역할 분담의 문제로 읽는다. Mamba, Griffin, Jamba, Mamba-3의 초록과 공개된 주장에 근거해 긴 문맥·생성·하드웨어 효율성의 트레이드오프를 정리한다.