Show GN: Ephemeral System Prompt – 실행마다 달라지는 지시사항을 넣고도 프롬프트 캐시 유지하기

← 피드로

LLM 에이전트를 만들다 보면 시스템 프롬프트는 유지하면서도 현재 시각, 세션 상태, 호스트 정책처럼 실행마다 달라지는 지시사항을 추가해야 할 때가 있습니다. 하지만 이런 내용을 시스템 프롬프트에 직접 합치면 매번 프롬프트 prefix가 달라져 provider의 prompt caching을 제대로 활용

원문 보기 ↗