H3: 언어 모델링에서 SSM이 놓치던 기억과 비교

상태공간모델(SSM)은 시퀀스 길이에 대해 거의 선형으로 확장될 수 있지만, 그것만으로 언어 모델링에서 attention을 대체하지는 못합니다. Hungry Hungry Hippos: Towards Language Modeling with State Space Models는 이 격차를 막연한 표현력 부족으로 묶지 않고 두 기능으로 나눕니다. 기존 SSM이 앞선 토큰을 정확히 회상하는 일과 시퀀스 안의 토큰을 서로 비교하는 일에 약하다는 것입니다. 이 논문은 그 진단 위에 H3 계층과 FlashConv 계산법, 그리고 일부 attention을 남긴 하이브리드 모델을 제안합니다.

이 글은 arXiv 초록과 공개 메타데이터만을 근거로 합니다. 아래의 수치와 모델 규모는 논문 초록이 보고한 결과이며, 세부 실험 설정과 구현 재현성은 원문 본문 확인이 필요합니다.

문제를 두 가지 능력으로 분해하기

논문은 먼저 synthetic language modeling task를 통해 SSM과 attention 사이의 표현력 격차를 조사했다고 설명합니다. 그 결과 기존 SSM이 어려워한 것은 두 가지였습니다.

1. 앞서 나온 토큰을 회상하기 — 현재 예측에 필요한 특정 과거 토큰을 상태에 보존해야 합니다.
2. 토큰을 비교하기 — 현재 토큰과 시퀀스 속 다른 토큰의 관계를 계산해야 합니다.

이 분해가 중요한 이유는 “긴 의존성”을 하나의 숫자로 취급하지 않게 해주기 때문입니다. 장거리 신호가 있다는 사실과, 그중 특정 항목을 찾아 비교해야 한다는 사실은 다릅니다. SSM의 압축 상태는 전자의 누적에는 적합할 수 있어도 후자의 선택적 상호작용에는 다른 구조가 필요할 수 있습니다.

용어 해설: 표현력(expressivity)

쉬운정의: 모델이 입력에서 구별하고 기억해 낼 수 있는 패턴의 범위입니다.

예시: 요약 노트가 전체 줄거리는 담아도, 20쪽에 나온 특정 단어와 80쪽의 단어가 같은지까지 답하지 못할 수 있습니다. 그 차이가 표현력의 문제입니다.

H3: 회상과 비교를 의도적으로 설계하기

H3는 언어에서 필요한 두 능력을 목표로 새롭게 설계한 SSM 계층입니다. 초록은 H3가 synthetic language에서 attention과 맞먹고, OpenWebText에서 Transformer와 0.4 PPL 이내까지 접근했다고 보고합니다. 여기서 중요한 것은 H3가 단순히 더 큰 상태를 쓰는 접근으로 소개되지 않는다는 점입니다. 논문의 설명상, 어떤 정보를 보존하고 어떤 관계를 계산할지라는 언어적 요구를 계층 설계에 반영합니다.

다만 초록은 H3 내부의 모든 게이트·분기·파라미터식과 각 구성요소의 기여도를 제공하지 않습니다. 따라서 이 글에서는 “회상과 비교를 위해 설계된 SSM layer”라는 수준을 넘는 내부 구현을 단정하지 않습니다.

용어 해설: PPL(perplexity)

쉬운정의: 언어 모델이 다음 토큰을 얼마나 자신 있게 예측하는지 나타내는 지표로, 보통 낮을수록 좋습니다.

예시: 빈칸 채우기에서 가능한 답을 한두 개로 좁혀 확신 있게 맞히면 낮고, 수십 개를 망설이면 높은 점수가 나오는 방식입니다.

FlashConv: 알고리즘과 하드웨어 사이

논문이 지적하는 두 번째 장벽은 하드웨어 활용입니다. SSM은 길이에 대해 거의 선형이어도 Transformer보다 느릴 수 있습니다. 계산량의 점근식만으로는 실제 실행 시간을 설명할 수 없기 때문입니다. H3 논문은 FlashConv를 제안해 최대 8K 길이에서 fused block FFT 알고리즘을 사용하고, 더 긴 입력에는 SSM의 recurrent 성질을 활용하는 state passing 알고리즘을 도입했다고 초록에서 설명합니다.

그 결과 초록은 Long Range Arena에서 2배 속도 향상을, 하이브리드 언어 모델의 생성에서는 Transformer 대비 2.4배 빠른 결과를 보고합니다. 이 수치는 “모든 환경에서 2배”가 아니라 논문이 측정한 벤치마크와 구현 조건의 결과입니다. 실제 서비스라면 GPU 세대, 배치, 정밀도, 커널 지원, 입출력 길이를 함께 고정해 비교해야 합니다.

용어 해설: fused kernel

쉬운정의: 여러 계산 단계를 따로 실행하지 않고 하나의 하드웨어 커널로 합쳐 메모리 왕복을 줄이는 구현입니다.

예시: 재료를 도마에 올렸다가 그릇으로 여러 번 옮기는 대신, 한 번에 섞어 조리하는 것과 비슷합니다.

하이브리드 모델이 주는 신호

흥미로운 결과는 attention을 전부 제거하지 않은 125M 파라미터 H3-attention 모델입니다. 초록에 따르면 attention 층 두 개를 유지한 이 모델은 OpenWebText에서 Transformer보다 1.0 PPL 낮았습니다. 또한 FlashConv를 사용해 Pile에서 최대 2.7B 파라미터까지 확장했고, SuperGLUE의 다수 과제에서 zero-shot·few-shot 평가로 Transformer를 앞섰다고 보고합니다.

이 결과는 SSM 대 Transformer의 이분법보다 역할 분담이 현실적일 수 있음을 시사합니다. SSM이 긴 흐름을 효율적으로 전달하고, 소수의 attention 층이 명시적 비교와 선택을 담당하는 식입니다. 그러나 어떤 층에 attention을 배치해야 하는지, 다른 데이터·모델 크기·하드웨어에서도 같은 이점이 나는지는 초록만으로 답할 수 없습니다.

논문 구조 분석: 진단에서 시스템까지

초록의 서사는 표현력 격차를 synthetic task로 진단하고 → 그 원인을 회상·비교로 좁힌 뒤 → H3 계층을 제안하고 → FlashConv로 실행 병목을 다루며 → 하이브리드 모델과 대규모 학습으로 검증하는 구조입니다. 즉 알고리즘과 시스템 최적화를 따로 설명하지 않고, “언어에 필요한 능력”과 “그 능력을 하드웨어에서 실행하는 비용”을 연속된 문제로 다룹니다.

실무적 함의와 한계

SSM 기반 언어 모델을 평가할 때 평균 perplexity만 보아서는 부족합니다. 특정 과거 토큰을 찾아야 하는 회상 테스트, 두 위치의 일치·불일치를 판별하는 비교 테스트, 긴 문맥에서의 최악 사례를 별도로 구성해야 합니다. 또한 커널 최적화는 모델 품질과 독립적인 운영 변수이므로 실제 추론 처리량과 메모리 사용량을 측정해야 합니다.

제공된 자료에서 확인되지 않는 항목도 분명합니다. H3의 세부 수식과 ablation, FlashConv의 정확한 커널·하드웨어 설정, 각 속도 비교의 배치와 정밀도, 2.7B 학습의 전체 절차, 현재 모델과의 비교입니다. 따라서 이 논문은 SSM을 곧바로 Transformer의 대체재로 확정하는 근거가 아니라, 언어 모델링의 실패 모드를 분해하고 하이브리드 설계 가능성을 보여주는 연구로 읽는 편이 정확합니다.

운영 관점에서 하이브리드 구조는 새로운 배포 단위도 만듭니다. attention 층은 특정 토큰 간 비교를 위해 메모리와 연산을 사용하고, H3·FlashConv 경로는 긴 흐름을 처리합니다. 어느 경로가 병목인지 입력 길이와 배치에 따라 달라질 수 있으므로, 모델 전체 평균이 아니라 층별 프로파일을 수집해야 합니다. 초록의 속도 수치를 그대로 서비스 목표로 삼기보다, 동일한 토크나이저와 출력 길이에서 end-to-end 지연을 다시 측정해야 하는 이유입니다.

평가 데이터의 성격도 중요합니다. synthetic task에서 회상과 비교가 개선되었다고 해도, 실제 웹 텍스트의 장거리 담화와 지식 검색이 같은 방식으로 개선된다고 자동으로 결론 내릴 수는 없습니다. 반대로 OpenWebText의 PPL 근접성이 모든 downstream 작업을 보장하는 것도 아닙니다. 논문이 제시한 synthetic·언어 모델링·SuperGLUE 결과를 서로 다른 증거 층으로 읽고, 적용 도메인별 검증을 이어가야 합니다.

Sources

• Hungry Hungry Hippos: Towards Language Modeling with State Space Models — license: unknown, retrieved: 2026-08-19, source type: original.
• Image: Placeholder — 원문 기반 커버 이미지 미제작 — license: unknown-placeholder.