저는 LM Studio에서 Gemma4-26B-A4B 사용 중입니다.
Qwen3.6이 좋다고 하지만 VRAM 압박 때문에...ㅠ
사용 중이신 그래픽카드가 어떤 건지 모르겠지만 VRAM에 맞춰서 모델 다운로드 받는 게 맞아요.
안 그러면 시스템 메모리에 오프로딩돼서 추론 속도가 매우 느려집니다~. 저는 LM Studio에서 Gemma4-26B-A4B 사용 중입니다. Qwen3.6이 좋다고 하지만 VRAM 압박 때문에...ㅠ 사용 중이신 그래픽카드가 어떤 건지 모르겠지만 VRAM에 맞춰서 모델 다운로드 받는 게 맞아요. 안 그러면 시스템 메모리에 오프로딩돼서 추론 속도가 매우 느려집니다~.

5060 vram 8gb 이면 4b 모델 밑으로만 써야 하겠죠..?
llm이 질문을 한참하다보면 답변마지막에서 문장이 끊

위에처럼 끊기고 ai가 답변을 종료해버리는데, 왜이러는지 아시나요?ㅠㅠ 5060 vram 8gb 이면 4b 모델 밑으로만 써야 하겠죠..? llm이 질문을 한참하다보면 답변마지막에서 문장이 끊 위에처럼 끊기고 ai가 답변을 종료해버리는데, 왜이러는지 아시나요?ㅠㅠ

Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
GPU VRAM에 온전히 올려져 있을 때 추론 속도가 빠르기 때문에 이 모델(무검열 양자화) 추천해드리고요.
아마 컨텍스트 길이가 4096(4K)으로 설정돼 있을 건데 모델 로드하실 때 컨텍스트 길이 좀 늘려주시면 될 거예요.
넉넉잡아서 16384(16K)정도로 주시면 GPU VRAM 전부 사용하면서 답변이 끊길 일은 없을 것 같습니다. Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf GPU VRAM에 온전히 올려져 있을 때 추론 속도가 빠르기 때문에 이 모델(무검열 양자화) 추천해드리고요. 아마 컨텍스트 길이가 4096(4K)으로 설정돼 있을 건데 모델 로드하실 때 컨텍스트 길이 좀 늘려주시면 될 거예요. 넉넉잡아서 16384(16K)정도로 주시면 GPU VRAM 전부 사용하면서 답변이 끊길 일은 없을 것 같습니다.

답변 감사드립니다! 답변 감사드립니다!