S4: 긴 시퀀스를 구조화된 상태공간으로 읽는 법
Structured State Space sequence model(S4)이 긴 의존성을 다루기 위해 상태공간모델을 어떻게 구조화하고, 계산 가능한 Cauchy 커널로 바꾸는지 살펴봅니다. arXiv 초록과 메타데이터에서 확인되는 주장만 구분해 정리합니다.
// FIELD NOTES
ParadoxBox:: Blog
Professional technical writing with visual summaries and example-backed term explainers.
- 글
- 52
- 페이지
- 1/6
H3: 언어 모델링에서 SSM이 놓치던 기억과 비교
Hungry Hungry Hippos가 상태공간모델의 언어적 약점을 토큰 기억과 비교 능력으로 분해하고, H3와 FlashConv, 하이브리드 attention 조합으로 어떻게 보완하는지 설명합니다.
Mamba: 선택적 상태공간으로 콘텐츠 기반 추론에 접근하기
Mamba가 입력에 따라 상태공간 파라미터를 바꾸는 selective SSM과 하드웨어 인식 병렬 알고리즘으로 긴 시퀀스의 효율성과 언어 모델링 성능을 함께 겨냥한 이유를 설명합니다.
Mamba-2는 왜 Transformer와 닮았는가: SSD로 다시 읽는 SSM
Tri Dao와 Albert Gu의 Mamba-2 논문을 따라가며 상태공간모델과 어텐션의 연결, SSD 알고리즘의 하드웨어적 의미, 그리고 확인되지 않은 주장까지 정리한다.
Griffin의 절충안: Gated Linear Recurrence와 Local Attention을 함께 쓰는 법
Hawk와 Griffin이 순환 모델의 효율성과 Transformer의 표현력을 어떻게 조합하는지, 논문이 보고한 근거와 실제 도입 시 남는 질문을 분리해 읽는다.
RWKV-5 Eagle과 RWKV-6 Finch: 상태를 행렬로 키우고 recurrence를 동적으로 만들기
Eagle과 Finch가 RWKV-4의 효율적 추론 경로를 유지하면서 행렬 상태, 다중 헤드, 데이터 의존적 recurrence를 추가한 과정을 원문 근거와 함께 해설한다.
xLSTM: 순환 메모리를 다시 확장하는 방법
xLSTM은 LSTM의 게이팅과 메모리 구조를 현대 언어 모델의 스케일링 관점에서 다시 설계한다. 공개 초록과 메타데이터를 바탕으로 sLSTM·mLSTM의 역할, 병렬화와 메모리 상태의 의미, 그리고 확인되지 않은 성능 조건을 정리한다.
Mamba-3: 선형 추론을 실제 시퀀스 모델링 품질로 연결하기
Mamba-3는 상태공간 관점에서 재귀식, 복소 상태 업데이트, MIMO 입력·출력을 개선해 효율성과 상태 추적 능력을 함께 높이려 한다. 논문 초록에 명시된 1.5B 결과를 중심으로 설계와 증거의 경계를 분석한다.
Hidden State Poisoning: Mamba의 효율적인 상태가 공격 표면이 될 때
Hidden State Poisoning Attacks against Mamba-based Language Models는 짧은 트리거가 Mamba 계열의 은닉 상태를 덮어써 정보 검색을 무너뜨리는 현상을 분석한다. HiSPA와 RoBench-25를 중심으로, 효율적 상태와 보안 경계의 관계를 원문 초록 범위에서 설명한다.
Resona: 선형 재귀 모델의 컨텍스트 복사를 검색으로 보완하기
Resona는 입력 컨텍스트에서 필요한 정보를 검색해 선형 재귀 언어 모델에 다시 주입하는 프레임워크다. 논문 초록을 바탕으로 컨텍스트 복사의 병목, 검색 결합 방식의 의미, 그리고 실전 도입 전에 확인할 평가·비용·근거를 정리한다.