xLSTM: 순환 메모리를 다시 확장하는 방법

LSTM은 긴 의존성을 다루기 위해 게이트와 메모리를 도입했지만, 대규모 언어 모델의 시대에는 Transformer의 병렬 self-attention에 밀려났다. xLSTM의 질문은 단순하다. LSTM을 폐기하지 않고, 현대적인 안정화 기법과 하드웨어 친화적 계산을 결합하면 수십억 파라미터 규모에서도 경쟁 가능한가? 논문 초록이 제시하는 답은 “기존 LSTM을 그대로 키우는 것”이 아니라, 게이팅과 메모리 업데이트 자체를 확장하는 것이다.

문제: 순환성은 기억을 주지만 확장을 어렵게 한다

일반적인 순환 모델은 토큰을 한 번에 처리하면서 이전 시점의 상태를 다음 시점으로 전달한다. 이 구조는 과거 전체를 매번 다시 읽지 않아도 된다는 장점이 있다. 반면 시간축의 의존성 때문에 학습 병렬화가 제한되고, 단순한 메모리 상태는 다양한 정보를 동시에 보존하기 어렵다. Transformer는 attention으로 여러 위치를 직접 연결해 이 문제를 풀었지만, 긴 입력에서 KV cache와 메모리 사용량이 커진다.

xLSTM은 이 대립을 “순환 모델 대 Transformer”라는 이분법으로만 보지 않는다. 핵심은 LSTM의 안정적인 기억 장치를 보존하면서, 학습 시 병렬화 가능한 경로와 더 풍부한 상태 표현을 함께 확보하는 것이다. 공개 초록에서 확인되는 기여는 세 축이다. 첫째, 지수 게이팅과 정규화·안정화 기법이다. 둘째, 스칼라 메모리를 쓰는 sLSTM과 행렬 메모리를 쓰는 mLSTM이다. 셋째, 이 셀들을 residual block backbone 안에 넣고 xLSTM block과 아키텍처로 쌓는 방식이다.

핵심 메커니즘

1. 지수 게이팅과 안정화

LSTM의 게이트는 입력을 얼마나 쓰고 이전 상태를 얼마나 유지할지를 조절한다. xLSTM은 게이트를 지수 형태로 확장한다. 지수 함수는 작은 입력 차이도 큰 비율 차이로 바꿀 수 있으므로 표현력 있는 선택 규칙을 만들 수 있지만, 동시에 값이 폭발하거나 소실될 위험이 있다. 그래서 논문은 적절한 정규화와 안정화 기법을 함께 도입한다고 설명한다. 중요한 점은 “지수 게이팅만 넣으면 좋아진다”가 아니라, 게이팅의 동적 범위를 제어하는 설계가 한 묶음이라는 것이다.

용어 해설: 게이팅(gating)

쉬운정의: 신경망이 지금 들어온 정보와 예전에 기억한 정보 중 무엇을 얼마나 통과시킬지 정하는 조절 장치다.

예시: 요리사가 냄비에 새 재료를 넣을 때, 이미 익은 재료의 맛을 얼마나 남기고 새 재료를 얼마나 섞을지 조절하는 밸브와 비슷하다.

2. sLSTM: 스칼라 상태의 확장

sLSTM은 스칼라 메모리와 스칼라 업데이트를 사용하면서 새로운 memory mixing을 추가한다. 여기서 중요한 해석은 기존 구조를 단순히 넓히는 것이 아니다. 여러 정보 흐름을 섞는 방법을 바꿔, 제한된 상태라도 더 유연하게 갱신하려는 설계다. 다만 공개 초록만으로는 mixing의 정확한 수식, 게이트 파라미터화, 안정화 항의 구현 위치까지 확인할 수 없다. 따라서 이 글에서는 sLSTM을 “세부 수식이 검증된 구현”이 아니라 논문이 제안한 구조적 축으로 다룬다.

3. mLSTM: 행렬 메모리와 공분산 업데이트

mLSTM은 메모리를 행렬로 만들고 covariance update rule을 사용한다. 스칼라 상태가 한 종류의 요약값을 전달한다면, 행렬 상태는 입력 특징 사이의 관계를 저장할 여지가 더 크다. 공분산 업데이트라는 표현은 새 입력과 기존 상태의 관계를 통계적 구조처럼 누적한다는 방향을 가리킨다. 이 선택은 context에서 반복되는 패턴이나 연관성을 기억하는 데 유리할 수 있지만, 상태 차원과 연산량이 늘어날 가능성도 함께 고려해야 한다.

용어 해설: 공분산 업데이트(covariance update)

쉬운정의: 두 정보가 함께 변하는 관계를 기록하고, 새 관측이 들어올 때 그 기록을 갱신하는 방법이다.

예시: 우산 판매량과 비 오는 날의 관계를 매일 기록해, 오늘 비가 오면 판매량 예측을 조정하는 표와 비슷하다.

4. residual block으로의 통합

xLSTM cell은 독립적인 옛날식 순환 레이어가 아니라 residual block backbone에 통합된다. 잔차 연결은 입력을 변환 경로와 건너뛰기 경로로 나누어 깊은 네트워크에서 정보와 그래디언트가 흐를 길을 남긴다. 이 통합은 LSTM의 메모리 업데이트를 현대적인 깊은 모델의 스택 구조에 넣기 위한 실용적 장치다. 논문 제목과 초록은 이 구성이 성능과 스케일링에서 Transformer와 SSM에 호의적으로 비교된다고 보고하지만, 비교의 세부 조건과 수치는 이 메타데이터만으로 확정할 수 없다.

논문의 주장과 증거 범위

논문은 1990년대 LSTM의 constant error carousel과 게이팅에서 출발해, Transformer가 만든 병렬화 중심의 흐름을 배경으로 제시한다. 이후 방법론에서는 지수 게이팅, sLSTM, mLSTM, xLSTM block을 소개하고, 실험에서는 이 확장들이 최신 Transformer 및 State Space Model과 성능·스케일링 측면에서 유리하게 비교된다고 초록에서 요약한다. 이는 논문이 실험을 수행했다고 말하는 근거는 되지만, 어떤 데이터셋·하드웨어·모델 크기·통계적 유의성으로 결론을 얻었는지는 원문 본문과 코드 검토가 필요하다.

실무적 함의

• 추론 상태: 순환 모델은 토큰별 상태를 유지하므로 긴 입력에서 attention의 전체 KV cache와 다른 메모리·대역폭 특성을 가질 수 있다. 그러나 실제 이점은 상태 크기, 커널 구현, 배치 크기에 좌우된다.
• 학습 병렬화: mLSTM의 fully parallelizable 성격은 순환 모델의 약점인 학습 직렬성을 줄이려는 방향이다. 이것이 모든 길이와 하드웨어에서 같은 처리량을 보장한다는 뜻은 아니다.
• 평가 설계: 단순 perplexity만으로는 메모리 구조의 가치를 판단하기 어렵다. 장거리 기억, 상태 추적, 긴 컨텍스트, 재사용되는 패턴을 분리해 평가해야 한다.

한계와 남은 질문

이 초안은 arXiv 초록과 메타데이터에 근거한다. 공개 범위에서 확인되지 않는 사항은 세부 게이트 수식, 정확한 벤치마크 수치, 학습 비용, 특정 GPU에서의 latency, 긴 문맥에서의 메모리 사용량이다. “Transformer를 대체한다”는 결론은 이 자료만으로는 정당화되지 않는다. 실제 도입 전에는 원문 방법론·실험 표·공개 코드의 재현 조건을 확인해야 한다. 특히 행렬 메모리가 제공하는 표현력과 상태 업데이트 비용 사이의 균형은 모델 크기별로 다시 측정해야 한다.

Sources

• xLSTM: Extended Long Short-Term Memory — license: unknown, retrieved: 2026-08-19, source type: original
• Image: Placeholder — original technical cover to be created — license: placeholder-original