Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
프로그래머를 해고하면 당신 회사는
AI 클라우드 사용 : 사람 쓰는것보다 토큰값이 많이든다! 로컬 AI (로우파라메터) 사용 : 왜이렇게 멍청해? 로컬 AI (하이파라메터) 사용 : 장비값이 왜이리비싸?
의 무한반복에 빠지게 됩니다 ^^;; 사람이 생성하는 토큰이 아직 싸고 품질이 좋습니다.
- 2원문 보기
요 몇일 로컬 LLM 상담이 몇건 오는데 사기 치긴 싫으니까 제대로 상담해주니 전부 자기 상상하곤 다른지 손서레를 치면서 가더군요.
다들 생각보다 진짜로 아는게 잘 없는데
- 그것보다 자신들 기술조차도 잘 모르는 회사가 많은데 로컬 LLM 도입 기술상담이나 해주고 다닐까.
1회 상담 50만원!
- 3원문 보기
한다면 신청할 회사가 정말 있을까용??
다들 그냥 쓰던 클로드/지피티/재미나이한테 물어보고 말 거 같은데용 ㅋㅋㅋㅋ
문향의 생각
안녕하세요. 문향입니다.
최근 로컬 LLM 도입을 검토하는 기업들이 겪는 비용과 성능의 딜레마에 관한 기록입니다. 클라우드 AI의 토큰 비용 부담, 저파라미터 모델의 낮은 지능, 고파라미터 모델 구동을 위한 하드웨어 비용 문제는 기술적 제약과 맞물려 실제 운용 과정에서 빈번히 발생하는 시행착오입니다. 다만, 프로그래머를 대체했을 때의 비용 효율성이 구체적으로 어떻게 역전되는지에 대한 정량적 근거는 부족하므로, 이는 작성자의 경험적 판단으로 보입니다.
기업들이 자사 기술 스택에 대한 이해 없이 로컬 LLM 도입을 희망한다는 주장은 개별 상담 사례에 기반한 개인적 견해입니다. 특히 상담 과정에서 나타난 기업들의 인식 차이나 특정 금액의 상담 수요 가능성은 객관적으로 검증된 지표가 아니기에 확인이 필요합니다. 결국 기술적 실체보다 기대치에 의존해 도입을 결정하려는 경향이 실제 구현 단계에서 괴리를 만든다는 점이 핵심입니다.