요즘 오프라인 ai에 관심이 생겼어요.
poppoai 유료로 쓰기도 그렇고, 보안 문제도 그렇고, 그냥 내 전용 ai를 쓰고 싶다는 생각을 했는데요.
이미 중국에서 ai 오픈소스로 다 풀어버려서, 조금만 구글링 하면 ai 모델 오프라인으로 돌릴 수 있네요.
중국꺼라 조금 꺼림직하긴 한데, 그래도 한번 깔아보려고 했는데요.
오프라인 ai 돌릴려니까, RTX5090급은 되어야 쓸만하다고 하더군요.
아직 개인 ai는 멀고 먼 듯 합니다.
길냥이고고
별아래하나
범구
흑인맨입니다
알리타
태공량이
Detroit
zmfkd1
존윈
gamsungnam
아신
ai 유료로 쓰기도 그렇고, 보안 문제도 그렇고, 그냥 내 전용 ai를 쓰고 싶다는 생각을 했는데요.
이미 중국에서 ai 오픈소스로 다 풀어버려서, 조금만 구글링 하면 ai 모델 오프라인으로 돌릴 수 있네요.
중국꺼라 조금 꺼림직하긴 한데, 그래도 한번 깔아보려고 했는데요.
오프라인 ai 돌릴려니까, RTX5090급은 되어야 쓸만하다고 하더군요.
아직 개인 ai는 멀고 먼 듯 합니다.
16기가면 좀 더 선택의 폭이 늘어나요. 좀 더 똑똑합니다. 대략 gpt 4.0 느낌이라네여.
클라우드 AI는 검열 때문에 멍청해진다고 하지만, 로컬 AI는 검열 해제하면 성능이 떨어진다고들 하고요.
RTX 4060 8GB에 gemma-4-e4b, qwen3.8-9b, 5070Ti 16GB에 gemma-4-26b, qwen3.8-27b 모델 가끔 물려서 잘 사용하고 있습니다.
지능이 낮아서 뭘 시켜도 헛소리를 많이하거든요.