Claude Duet 연구 프리뷰, Mistral Voxtral 3, DeepSeek DeepInfer, OpenAI 12시간 캐시

Claude Duet은 Claude가 먼저 말을 거는 별도 앱이에요. 아침마다 연결된 앱(Gmail, Slack, QuickBooks 등)에서 중요한 일을 골라 짧게 알려 주고 맡긴 일은 자체 가상 머신과 브라우저에서 계속 처리해서 내 노트북이 꺼져 있어도 돌아가요. Opus 5.5 기반이고 기존 Claude 계정의 메모리, 스킬, 커넥터를 그대로 가져와요. iOS, Android, claude.ai에서 쓸 수 있어요.

메시지 전송, 결제, 서명, 삭제 전에는 무엇을 할지 보여 주고 승인을 기다려요. 증권 거래나 계좌 간 송금은 승인해도 하지 않아요. 비밀번호를 직접 보지 않는 Managed Agents 방식 자격 증명과 카드번호·신분증 유출을 막는 전용 분류기도 들어가서 개인 비서형 에이전트를 만드는 팀이라면 안전장치 설계 참고서로 읽을 만해요. 몇 시간마다 계정을 확인하는 백그라운드 작업도 요금제 사용량을 쓴다는 점은 알아 두세요.

Voxtral 3는 음성 모델 묶음이에요. 받아쓰기(STT) 모델 3종(Small Transcribe 3, 4B 크기의 Mini Transcribe 3, 실시간용 Mini Transcribe Realtime 3)과 음성 합성(TTS) 모델 Mini TTS 3로 이뤄져 있어요. 여기에 LiveKit 기반 음성 에이전트 SDK가 붙어서 듣기, 추론, 말하기를 한 흐름으로 이어 줘요. 받아쓰기는 50개 이상 언어를 지원하고 화자 구분과 전문 용어 힌트를 넣을 수 있어요.

가격이 낮아요. 배치 받아쓰기가 분당 $0.0035~$0.004, 실시간은 분당 $0.008, TTS는 100만 자에 $13이에요. Mistral은 Small Transcribe 3가 FLEURS 다국어 받아쓰기에서 Whisper, Scribe v2, Gemini 3.5 Transcribe보다 낫다고 하고업체 주장 실시간 지연은 500ms 미만이라고 해요업체 주장. 콜센터나 회의록처럼 음성 비용이 큰 서비스라면 비교해 볼 만해요. EU 엔드포인트와 온프레미스 배포도 있어 데이터 위치 요건이 있는 곳에 맞아요.

DeepInfer는 DeepSeek이 자기 API 서비스에서 쓰는 추론 프레임워크예요. vLLM에서 출발해 크게 고쳤고 FlashMLA, DeepGEMM, DeepEP 같은 자체 커널과 전문가 병렬화(MoE 모델의 전문가를 여러 GPU에 나누는 방식), 구조화 출력, 추측 디코딩을 담았어요. 지금은 DeepSeek-V4.1-Flash만 지원하고 NVIDIA SM100(Blackwell)과 Huawei Ascend 950에서 돌아요.

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

큰 MoE 모델을 실제 서비스 규모로 돌리는 방법을 코드로 볼 수 있다는 점이 커요. DeepSeek은 한 클러스터에서 하루 155조 토큰을 처리한다고 밝혔어요업체 주장. 다만 KV 캐시 관리, 프리필·디코드 분리, 복제본 간 부하 분산은 빠져 있고 Hopper 이하 GPU는 안 돼요. 바로 서비스에 쓰기보다 자체 추론 스택을 다루는 팀이 설계를 참고하는 용도로 보는 게 맞아요.

OpenAI Responses API에서 프롬프트 캐시의 최소 유지 시간을 12시간으로 고를 수 있게 됐어요. GPT-5.6 이후 모델에서 prompt_cache_options.ttl에 "12h"를 넣으면 되고 기본값은 "30m"이에요. 한 요청 안에서 공통 지시문은 12시간, 최근 대화는 30분처럼 섞어 쓸 수도 있어요.

하루 종일 띄워 두는 에이전트는 요청 사이가 몇 시간씩 벌어져 캐시가 자주 만료됐어요. 12시간 캐시는 쓰기 단가가 일반 입력의 2.5배(30분은 1.25배)지만 읽기는 0.1배(GPT-6.1 Sol은 0.05배)라서 긴 지시문과 도구 정의를 하루에 여러 번 재사용하면 비용이 줄어요. 다만 한두 번만 다시 쓰는 내용에 12시간을 걸면 오히려 손해예요.