Qwen3.8-27B를 약 3배 빠르게 돌리는 Tencent DSpine, 그리고 Anthropic의 에이전트 메모리 설계

추측 디코딩(speculative decoding)은 작은 드래프트 모델이 다음 토큰 여러 개를 먼저 짐작하고 큰 모델은 그걸 한 번에 검사만 해서 생성 속도를 올리는 방법이에요. DSpine은 Tencent가 만든 드래프트 방식으로, 토큰 16개를 한꺼번에 짐작하면서도 층을 거치며 앞뒤 토큰의 관계를 반영해요. 이번에 Qwen3.8-27B용 5층짜리 드래프트 모델을 Apache 2.0으로 냈어요. 저장소의 SGLang 플러그인을 설치한 뒤 서버를 띄울 때 드래프트 모델만 지정하면 돼요.

git clone https://github.com/tencent/dspine.git && cd dspine && python -m pip install -e .
sglang serve --model-path /path/to/Qwen3.8-27B --speculative-algorithm DSPINE --speculative-draft-model-path tencent/Qwen3.8-27B-DSpine-b16 --speculative-num-draft-tokens 16 --trust-remote-code

Qwen3.8-27B에 필요한 나머지 옵션(ReplaySSM, 동적 검증 튜닝)은 저장소 README에 정리돼 있어요.

Qwen3.8-27B는 한 장의 GPU에 올려 코딩 에이전트로 쓰는 팀이 많은 모델이라, 같은 장비에서 응답이 빨라지면 바로 체감돼요. Tencent가 코딩·웹·오피스 에이전트 대화와 SWE-bench Pro를 다시 돌려 잰 처리량은 일반 디코딩보다 2.7~3.8배업체 주장였고 기존 공개 드래프트 DFlash2보다 한 번에 받아들여지는 토큰도 많았다고 해요업체 주장. 출력 품질은 그대로 두고 속도만 올리는 방식이라 서빙 비용을 줄이려는 팀이 먼저 시험해 볼 만해요.

Anthropic이 Claude에게 세션을 넘나드는 기억을 어떻게 주는지 실험한 결과를 정리했어요. 핵심은 두 가지예요. 하나는 작업 중에 중요한 내용을 메모 폴더에 바로 적는 것이고 다른 하나는 일이 없을 때 지난 작업 기록(트랜스크립트)을 다시 읽으며 메모를 고치고 합치는 dreaming이에요. 실험은 Claude Managed Agents에서 세션이 바뀌어도 남는 메모리 폴더를 붙여 진행했어요.

에이전트에 메모리를 붙이는 팀이 가장 많이 겪는 문제는 틀린 메모가 계속 남아 같은 실수를 되풀이하는 거예요. 글에 따르면 dreaming으로 기록과 메모를 대조해 잘못된 메모를 바로잡을 수 있었어요. 사내 문서 질문 과제에서는 dreaming 세션을 2개에서 128개로 늘리자 점수가 13%에서 48%업체 주장로 올랐고요. 메모를 어떻게 쓰라고 시시콜콜 지시하기보다 메모리가 무엇에 쓰이는지만 알려 주는 편이 나았다는 점도 설계할 때 참고할 만해요.