AI 만들고 싶은것이 있다면?
저한테 GPU 카드가 하나 있습니다.. 80기가짜리요.
이걸로 지금 로컬 LLM을 구성하려고 작업 준비중인데요.
긍데..살짝 뭔가 3% 부족한 느낌이 나서요.
이글을 보시는 님이.. 만약 80기까짜리 GPU가 있다면...
만들고 싶은 것이 있을까요?
정말 좋은 아이디어를 제공해주시면.. 제가 쪽지로 커피 쿠폰 쏴드리겠습니다.
하드웨어 사양 입니다
GPU: 80기가
CPU: i9, 메모리 128기가
SSD: 1TB, HDD:4T
감사합니다.
후려차
물약빠는곰돌이
알리타
RiceKiller
방구석모험가
쟈니킴
호러
공략성공1234
굴러랏콩자반
후려차
장주


원본 모델 사용할텐데 막 50~100기가짜리 모델들을 hhd는 정보저장용이고 ssd로 사용할텐데
운영체제 프로그램등등 깔고 나머지로 사용한다 쳐도
코딩, 이미지, 동영상 <-- 이렇게 만 한뭉텅어리로 볼수있는데 여기에서도
세분화로 어느거에 강점이고 어느거는 추런이고 등등 다 모델들 특기 사용 등 생각하면 최소 2~4tb이상 nvme가 있어야 본다고 생각합니다.
nsfw[부적절한 콘텐츠 애매하게 걸려내서 답변 삐구되는거]까지 생각하면 모델 여러개에 몇개월마다 혁신적인 모델들 나올텐데 이거 바꾸고 테스트하기도
1tb로 힘들러고 봅니다.
참고로 현재 어쩔수없시 엔디비아가 이미지, 영상, llm 호환 최상인걸로 알고있음