Perplexity “WANDR” 벤치마크 공개 – AI 리서치 에이전트의 ‘넓이·깊이’ 한계

출처: newsletter ·

Perplexity “WANDR” 벤치마크 공개 – AI 리서치 에이전트의 ‘넓이·깊이’ 한계

Perplexity AI가 자체 개발한 WANDR(‘Wide & Deep Research’) 벤치마크를 공개했다. 500개 과제에 대해 50개 기업·인물·문서 등을 찾고, 각각을 검증 가능한 출처와 연결하도록 요구한다. 현재 최고 성능인 Perplexity 자체는 soft F1 0.363, hard F1 0.133에 머물며, 전체 상용 에이전트들의 정확도와 재현율이 모두 0.2 ~ 0.4 수준에 불과함을 보여준다. 쉬운 설명: AI가 ‘누구를 찾아라·왜 그게 맞는지 증명해라’ 라는 일을 얼마나 잘 하는지 시험하는 새로운 시험을 만들었다. 가장 잘 하는 AI도 전체 과제 중 10 % 정도만 완벽히 맞추었다. 아직 많이 부족하다는 뜻이다. 관련분야: AI 자동 리서치·에이전트 평가·정보 검증 원문 보기 →