Perplexity, 새로운 Embedding 모델 오픈소스 공개: 전체 문서를 한 번에 읽고, 청크로 나눠도 맥락을 유지한다

동찰 Beating AI 속보, Perplexity가 새로운 컨텍스트 임베딩 모델 pplx-embed-v2-context-9b-preview를 오픈소스로 공개했으며, 주로 RAG 검색에 사용됩니다. 일반 임베딩은 보통 긴 문서를 작은 청크로 나눈 후 각각 이해하지만, 새 모델은 이 청크들을 함께 인코딩하여 각 청크가 벡터를 생성할 때 전체 문서의 컨텍스트를 참조할 수 있게 합니다. 모델은 이미 Hugging Face에 공개되었으며 MIT 라이선스를 채택했습니다.

예를 들어 어떤 텍스트에 「그것이 20% 성장했다」라고만 쓰여 있다면, 그것이 무엇을 가리키는지 단독으로는 알기 어렵습니다. 새 모델은 문서의 다른 부분과 결합하여 이 문장을 이해할 수 있습니다. 훈련 시에는 답변과 답변을 뒷받침하는 다른 단락을 동시에 찾아내는 것도专门 학습하여, 이후 AI가 답변뿐만 아니라 답변 검증에 필요한 증거도 얻을 수 있게 합니다.

turbopuffer가 설계한 context-bench 블라인드 테스트에서 새 모델의 Answer@10은 45.5%에 도달하여 Voyage Context 4보다 14.4%포인트 높았고, Evidence Recall@10은 40.6%로 5%포인트 높았습니다. 테스트에는 38,894편의 긴 문서와 2,099개의 쿼리가 포함되어 있으며, 문제가 공개되지 않아 테스트 세트가 훈련 데이터로 오염될 위험을 줄일 수 있습니다.

모델은 현재 아직 Preview 버전입니다. Perplexity는 향후 가중치, 인터페이스 및 생성되는 임베딩이 모두 변경될 수 있으므로 현재 생성된 벡터가 미래 버전과 직접 혼용되지 않을 수 있다고 경고했습니다.