← 피드로
백화점 안내로봇의 LLM 기반 서비스 PoC를 진행하며, 사용자가 늘어날수록 오히려 적자가 나는 아찔한 경험을 했습니다. 주말 피크타임에 쏟아진 예상치 못한 질문들과 길어진 대화 맥락으로 인해 하루 토큰 사용량이 예상치의 3.8배까지 치솟았기 때문입니다. 이 글은 단순한 기술 적용을 넘어, AI 프로덕트의 지속 가능한 성장을 위해 제가…
출처: yozm.wishket.com · https://yozm.wishket.com/magazine/detail/3965