OpenAI API 12시간 프롬프트 캐시: 몇 시간 간격 요청도 캐시 단가로
무엇인가요
OpenAI Responses API에서 프롬프트 캐시의 최소 유지 시간을 12시간으로 고를 수 있게 됐어요. GPT-5.6 이후 모델에서 prompt_cache_options.ttl에 "12h"를 넣으면 되고 기본값은 "30m"이에요. 한 요청 안에서 공통 지시문은 12시간, 최근 대화는 30분처럼 섞어 쓸 수도 있어요.
왜 중요한가요
하루 종일 띄워 두는 에이전트는 요청 사이가 몇 시간씩 벌어져 캐시가 자주 만료됐어요. 12시간 캐시는 쓰기 단가가 일반 입력의 2.5배(30분은 1.25배)지만 읽기는 0.1배(GPT-6.1 Sol은 0.05배)라서 긴 지시문과 도구 정의를 하루에 여러 번 재사용하면 비용이 줄어요. 다만 한두 번만 다시 쓰는 내용에 12시간을 걸면 오히려 손해예요.
완성도
GA 정식Responses API에서 바로 쓸 수 있는 정식 기능이에요. Chat Completions와 GPT-5.5 이전 모델은 기존 prompt_cache_retention을 써요.
앞으로 이렇게 지켜보세요
- 가격: API 가격 페이지에서 모델별 12시간 캐시 쓰기 단가가 바뀌는지 봐요.
- 범위: Chat Completions나 Agents API로 12시간 옵션이 넓어지는지 문서 변경을 확인해요.
- 실측: 프롬프트 캐싱 대시보드에서 12시간 설정 전후 적중률과 비용을 비교해요.