Resona: 선형 재귀 모델의 컨텍스트 복사를 검색으로 보완하기

선형 재귀 모델은 토큰을 읽으며 작은 상태를 갱신하므로, 긴 입력을 다루는 계산·메모리 비용에서 Transformer와 다른 선택지를 제공한다. 그러나 컨텍스트 안에 있는 특정 사실을 그대로 찾아 답해야 하는 상황에서는 약점이 드러난다. 모든 내용을 압축한 상태에서 “방금 앞에서 본 문자열을 정확히 복사하라”는 요구는 요약과 다른 문제이기 때문이다. Resona는 이 간극을 검색(retrieval)으로 메우려는 간단하고 확장 가능한 프레임워크를 제안한다.

컨텍스트를 요약하는 것과 복사하는 것은 다르다

선형 재귀 모델은 각 시점의 입력과 이전 상태를 이용해 새 상태와 출력을 계산한다. 상태 크기가 입력 길이에 비례해 커지지 않는다는 점은 추론에 유리할 수 있다. 하지만 문맥의 모든 세부를 같은 정밀도로 보존할 수는 없다. 이름, 숫자, 임의 문자열처럼 “의미를 이해하는 것”보다 “원문을 정확히 회수하는 것”이 필요한 정보는 작은 상태에 압축하는 과정에서 사라질 수 있다.

Transformer는 attention으로 관련 위치를 직접 바라보는 능력이 강하다. 반대로 선형 재귀 모델은 과거 전체를 다시 조회하는 전용 경로가 없으면, 이미 압축된 상태에 의존해야 한다. Resona의 문제 정의는 이 구조적 차이를 인정하는 데서 시작한다. 모델을 Transformer처럼 만들겠다고 주장하기보다, 제공된 입력 컨텍스트 안에서 필요한 조각을 찾아 재귀 모델이 사용할 수 있도록 보조한다.

용어 해설: 선형 재귀 모델(linear recurrent model)

쉬운정의: 긴 문장을 읽으며 일정한 크기의 기억을 한 단계씩 업데이트하는 모델이다.

예시: 책 전체를 책상 위에 펼쳐두는 대신, 읽은 내용을 한 장의 요약 카드에 계속 적어 가며 다음 페이지를 읽는 방식이다.

용어 해설: 검색(retrieval)

쉬운정의: 지금 질문과 관련 있는 입력의 일부를 찾아 모델에 다시 제공하는 과정이다.

예시: 시험 문제를 보고 교과서 전체를 다시 읽지 않고, 색인에서 관련 페이지를 찾아 펼치는 것과 같다.

Resona의 핵심 설계

논문 초록이 명시하는 핵심은 “제공된 입력 컨텍스트에서 검색한 정보를 통합하는 능력”을 선형 재귀 모델에 추가하는 것이다. 따라서 입력은 두 경로로 생각할 수 있다. 기본 경로는 토큰을 순차적으로 읽어 상태를 업데이트한다. 검색 경로는 현재 요구와 관련 있는 컨텍스트 조각을 찾아, 모델이 그 정보를 더 직접적으로 사용할 수 있게 한다. 두 경로를 어떻게 결합하는지의 정확한 레이어 위치, 검색 인덱스, 점수 함수, 학습 목적은 초록만으로 확정할 수 없다.

이 설계의 중요한 점은 retrieval이 외부 지식베이스에만 적용되는 기능이 아니라는 것이다. Resona의 초록은 “provided input context”에서 정보를 검색한다고 말한다. 즉 검색 대상은 문서나 대화에 이미 포함된 내용이다. 이 차이는 RAG의 일반적 이미지와 구분된다. 외부 문서를 새로 가져오는 시스템이 아니라, 현재 입력을 다시 주소 지정(address)하는 메커니즘에 가깝다.

왜 컨텍스트 복사에 도움이 되는가

컨텍스트 복사는 세 단계로 나눠 볼 수 있다. 첫째, 관련 위치를 찾는다. 둘째, 찾은 내용을 상태 또는 출력 경로에 연결한다. 셋째, 원문을 가능한 한 정확하게 생성한다. 순수 선형 재귀 모델은 첫 단계와 둘째 단계에서 압축 상태의 한계를 만날 수 있다. Resona는 검색을 통해 관련 위치를 다시 선택하게 함으로써, “모든 토큰을 같은 방식으로 기억해야 한다”는 부담을 줄인다.

이 방식은 다양한 task requirement에 맞춘 tailored behavior를 목표로 한다고 초록은 설명한다. 어떤 문제는 전체 흐름 이해가 필요하고, 어떤 문제는 한 줄의 식별자 복사가 필요하다. 검색 신호를 사용하면 모델은 과제에 따라 컨텍스트의 일부를 집중할 수 있다. 다만 검색이 정확하지 않으면 잘못된 조각을 복사하는 실패 모드가 생긴다. 따라서 성능이 올라간다는 주장과 함께 검색 recall, 잘못된 검색에 대한 강건성, 중복·상충 정보 처리도 평가해야 한다.

논문이 보고한 평가

Resona는 여러 선형 재귀 모델에 적용되었고, synthetic task와 real-world natural language task 모두에서 성능 향상을 관찰했다고 초록은 보고한다. 특히 개선 대상은 in-context learning과 language modeling 능력이다. 이 결과는 프레임워크가 특정 단일 모델의 트릭이 아니라 여러 선형 재귀 모델에 적용 가능한 일반 목적 방법일 가능성을 제시한다.

그러나 공개 초록에는 모델 목록, 데이터셋 이름, 절대 점수, 검색 비용, baseline 대비 개선 폭이 없다. 그러므로 “모든 재귀 모델에서 Transformer를 능가한다”거나 “검색만 붙이면 컨텍스트 문제가 해결된다”고 쓸 수 없다. 정확한 비교는 원문 실험 표와 구현을 확인해야 한다. 특히 synthetic copying benchmark의 성공이 실제 문서의 모순·소음·긴 지시문까지 보장하는지도 별도 질문이다.

시스템·제품 관점의 함의

• 메모리와 latency: 재귀 상태는 작더라도 검색 인덱스와 top-k 후보 관리가 추가된다. 전체 시스템 비용은 모델 계산만이 아니라 검색 자료구조와 메모리 이동을 포함해 측정해야 한다.
• 품질 관측: 답변만 평가하지 말고 어떤 컨텍스트 조각이 선택됐는지 기록해야 한다. 검색 근거가 틀리면 생성 모델의 오류인지 retrieval 오류인지 구분하기 어렵다.
• 보안 경계: 입력 컨텍스트에 악성 지시가 섞여 있다면 검색기가 그것을 관련 정보로 선택할 수 있다. 출처·권한·지시 우선순위를 검색 이전과 이후에 모두 검사해야 한다.
• 도입 전략: 긴 문서 전체를 무조건 재귀 상태에 넣기보다, 복사가 중요한 경로와 의미 요약이 중요한 경로를 분리해 A/B 평가하는 편이 합리적이다.

논문의 구조 분석

초록에서 드러나는 논증은 선형 재귀 모델의 효율성→컨텍스트 회수 능력의 격차→Resona 프레임워크→여러 모델·합성 및 자연어 평가의 순서다. 이는 문제와 기여를 먼저 제시한 뒤 일반화 가능성을 평가하는 구조다. 다만 Methods, Results, Discussion의 실제 장 구성과 검색 모듈의 구체 구현은 원문 전체를 읽어야 확정할 수 있다.

한계와 남은 질문

Resona의 검색은 입력에 이미 존재하는 정보를 더 잘 찾아 쓰는 데 초점이 있다. 입력에 사실이 없거나, 여러 출처가 충돌하거나, 최신 외부 지식이 필요한 문제는 별도 검색 시스템이 필요하다. 검색 결과가 상태에 결합되는 순간의 오류 전파와 개인정보 보존 정책도 검토해야 한다. 공개 초록에 정량 수치가 없으므로 이 글의 결론은 방향성 분석에 머문다. 실제 도입 전에는 원문 코드·실험 조건·메모리와 latency를 확인하고, 검색 실패·오염된 컨텍스트·상충 정보에 대한 회귀 테스트를 추가해야 한다.

Sources

• Resona: Improving Context Copying in Linear Recurrence Models with Retrieval — license: unknown, retrieved: 2026-08-19, source type: original
• Image: Placeholder — original technical cover to be created — license: placeholder-original