DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법

#AI 에이전트

LLM의 내장 웹 검색을 별도의 검색 API로 분리해, 검색어의 의도를 분류하는 평가에서 정확도를 유지하면서 검색 요금을 98% 이상 절감함. 모델 추론 비용은 제외한 수치임여러 AI 에이전트가 하나의 검색 게이트웨이를 공유하며, 모델과 검색 업체를 독립적으로 교체할 수 있음.

원문의 저작권은 GeekNews에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.