Perplexity 开源多模态嵌入模型 pplx-embed-v2-late：文本与图像共用一个检索空间

10 月 7 日，以 AI 搜索闻名的 Perplexity 在 Hugging Face 开源发布 pplx-embed-v2-late——一组采用 ColBERT 后期交互（late-interaction）架构的多模态嵌入模型，包含 0.6B 与 9B 两个版本，权重以 MIT 许可证开放，允许商用自托管。

事件背景

嵌入模型负责把内容映射为可检索的向量，是 RAG（检索增强生成）与知识库检索的底层基础设施。传统稠密嵌入把整段文本压缩成单一向量，细节容易在“压缩”中丢失；而多模态文档（PDF、幻灯片、扫描件）在 OCR 环节又常常丢表丢版式。

核心内容

• 后期交互架构：为每个 token（或图像块）保留一个 128 维向量，检索时用 MaxSim 打分（每个查询 token 寻找文档中最匹配的 token 再累加），长查询与技术文档匹配更精准。
• 多模态、免 OCR：模型可同时检索文本、图像及渲染后的 PDF 页面，页面被当作图像编码，无需先做 OCR 即可检索，保留表格与版式。
• 大小模型共享空间：9B 与 0.6B 均基于 Qwen3.5 构建、使用双向注意力，并由一个内部 18B ColBERT 教师模型逐 token 蒸馏而来。开发者可用 9B 在云端离线建索引，再用 0.6B 在设备端实时查询，大幅降低查询成本。

测评数据

据模型卡，在公开的 ViDoRe v3 视觉文档检索测试（nDCG@10）中，9B 模型在图像类文档上 65.2%、Markdown 类 64.7%，0.6B 分别为 62.3% 与 61.2%；官方称 0.6B 可匹敌约 5 倍活跃参数量的同类模型，并在 MADQA 上取得 92.4% 的成绩。

影响与解读

对企业 RAG 而言，最直观的落点是合同、手册、报告这类“图文混杂”知识库的检索：不必在 OCR 环节先丢一轮信息，端侧小模型发查询、大模型建索引的分工也能压低在线服务成本。当然，后期交互需要为每篇文档存储大量向量，索引体积远大于传统嵌入，召回延迟也需重新评估。

信息来源：AICoder 技术解析、DoNews 报道、Perplexity 官方博客