Foundry Local로 Qwen3.8-27B를 내 GPU에서: GitHub Copilot에 붙이는 로컬 코딩 에이전트
무엇인가요
Microsoft가 로컬 추론 도구 Foundry Local로 Qwen3.8-27B를 내 컴퓨터 GPU에서 돌리고 GitHub Copilot에 BYOK(내 모델 키 연결) 방식으로 붙이는 방법을 내놨어요. ONNX Runtime 위에서 투기적 디코딩(작은 모델이 여러 토큰을 미리 맞히는 기법)과 KV 캐시 양자화를 써서 속도와 메모리를 맞췄어요. Foundry Local CLI 0.13.0 이상이 필요하고 아래처럼 설치한 뒤 Copilot 앱의 Model providers에서 Foundry Local을 고르면 돼요.
winget install Microsoft.FoundryLocal
foundry --version
foundry model load qwen3.8-27b
foundry server status왜 중요한가요
4비트로 줄이면 모델이 약 18GB업체 주장라서 VRAM 24GB GPU에서 64K 컨텍스트까지, 32GB 이상이면 최대 262K까지 쓸 수 있다고 해요. Microsoft가 밝힌 Qwen3.8-27B 점수는 Terminal Bench 2.1 73.0업체 주장, SWE-bench Pro 61.7업체 주장이에요. 코드를 밖으로 보내기 어려운 팀이나 비행기·사내망처럼 오프라인으로 일하는 개발자에게 클라우드 비용 없이 쓰는 선택지가 생겨요.
완성도
Preview지금은 NVIDIA GPU(24GB 이상)만 지원하고 CUDA·cuDNN은 따로 깔아야 해요. Mac·AMD 지원은 계획 단계라서 미리보기로 분류했어요. 성능 수치는 Microsoft가 직접 잰 값이에요.
앞으로 이렇게 지켜보세요
- 지원 기기 확대: Mac·AMD GPU 지원이 Foundry Local 릴리스 노트에 올라오는 시점을 보세요.
- Copilot 통합: GitHub Copilot 쪽 BYOK 문서에 Foundry Local이 기본 공급자로 들어가는지 확인하세요.
- 실사용 속도: llama.cpp와 비교한 생성 속도를 개발자들이 따로 재서 공유하는지 지켜보세요.