vs code

Extensions 아이콘 선택

Continue 확장 플러그인 설치

오른쪽 하단 Continue 버튼 선택

Open chat 선택

Select model 선택 -> + Add Chat model 선택

config file 선택

config.yaml 내용 설정

name: Local Config
version: 1.0.0
schema: v1
models:
  - name: gemma-4-26B-A4B-it-FP8-Dynamic
    provider: vllm
    model: /home/bluesanta/llm/models/gemma-4-26B-A4B-it-FP8-Dynamic
    apiBase: http://192.168.0.237:8000

Chat 창에 프롬프트 입력

index.html 파일 생성

 

Apply 버튼 선택

index.html 저장

테스트