← 피드로
[지디넷코리아]인공지능(AI) 에이전트 확산으로 AI 인프라 경쟁의 무게중심이 그래픽처리장치(GPU) 연산 성능에서 추론 소프트웨어와 서빙 시스템 전반으로 넓어지고 있다. 대화형 AI보다 훨씬 긴 컨텍스트를 유지하고 도구 호출과 반복 추론을 수행하는 AI 에이전트가 늘면서 KV 캐시 관리와 요청 스케줄링, 모델 병렬화 같은 소프트웨어 기술이 실제 서비스 성능과 비용을…
출처: zdnet.co.kr · https://zdnet.co.kr/view/?no=20260825171912