你问一个客服这款设备报警代码 E-07 是什么意思答案可能藏在一张故障排除示意图里。你问财务去年华东区各品类毛利率是多少数据在一张 PDF 财务报表的表格里不在任何一段文字中。你问新员工这个流程怎么操作老员工给你发了一段 15 分钟的培训录像。纯文本 RAG 对这类问题基本是瞎子。它把文档里的图、表、音视频要么丢掉要么当成无法理解的附件。可企业真正值钱的知识恰恰大量以非文字形态存在。这一篇我们聊多模态 RAG——让检索系统也看得懂图、读得懂表、听得懂话。为什么多模态这么难文字好处理。切成段、变成向量、存进库一套流程顺溜得很。非文字内容不行。一张产品架构图你不能直接切分它一段会议录音你没法直接向量化它。它们要先被看懂才能进入检索链路。难点的核心叫跨模态对齐怎么让用文字问的问题命中一张图里画的答案怎么让财务报表里的数字和问句里的’毛利率’对上号这不是把图片塞进向量库就完事而是要让不同形态的知识落进同一套可检索、可溯源的体系。三类最典型的多模态知识第一类是图像与图表。产品手册里的爆炸图、系统架构图、仪表盘截图、车间设备照片、手绘草图。它们的信息密度极高但几乎不出现在文字里。第二类是表格与复杂版式。PDF 里的双栏论文、带合并单元格的财务报表、跨页的投标书。纯文本解析会把表格结构打散数字和表头错位检索出来就是一团乱码。第三类是音视频。会议录音、客服通话、培训视频、产品演示。它们的知识藏在说了什么、演示了什么里需要转写和关键帧提取才能被检索。技术路径先看懂再检索对图像主流有两条路。一条是图生文用视觉语言模型VLM给图片生成文字描述或结构化摘要再把这段描述当普通文本走常规 RAG。好处是复用成熟管线坏处是描述可能丢细节、甚至编造图里没有的东西。另一条是图像向量用 CLIP 这类模型把图片和文字映射到同一向量空间直接做以文搜图、以图搜图。适合找长得像的那张图这类任务但对图表里的精确数字无能为力。实际系统往往是两条路并用图表用图生文转成结构化数据产品照片用图像向量做相似检索。对表格和版式靠版式感知解析模型先认出这是表、那是标题、左边是图注再按区域抽取。比普通 PDF 转文本强在保留结构不会把表头和数值拆散。对音视频分两段处理ASR 转写把语音变成带时间戳的文字按话题切分后走文本 RAG视频则抽关键帧对每帧用 VLM 出描述再和转写文字一起建索引。用户问视频里第几分几秒演示了 XX能直接定位。跨模态检索与重排真正的多模态 RAG不是各管一摊而是统一入口。用户用一句自然语言提问系统同时在文本、图片向量、表格摘要、音视频转写里并行检索再用混合检索和重排把不同模态的结果拉到同一把尺子上比相关性。问报警代码 E-07可能同时召回一段文字说明、一张示意图、一段培训视频的第 8 分钟。难点在重排阶段一张图和一句文字相关性怎么量化比较这通常要借助多模态重排模型或者把非文字结果也转成文字表征后再比。工程上先保证召回得全再慢慢打磨排得准。工程里的坑图生文幻觉。VLM 把图表里的37%“读成73%”检索时没人发现答案就错了。关键图表宁可走结构化解析也不要完全依赖自由描述。表格解析错位。合并单元格、跨页表、嵌套表是版式解析的重灾区。错一个格子整行数据的含义就歪了。音视频切分粒度。按固定时长切可能把一句话拦腰斩断按说话人切又可能把同一个话题拆进两段。切分策略直接影响检索质量。存储与成本。图像和视频的向量维度高、数据量大向量库的存储和查询成本远高于纯文本。需要分级存储、冷热分离这正好接我们第 ⑫ 篇要聊的成本工程。多模态 Faithfulness 更难评。文本 RAG 还能用引用是否对应原文衡量多模态里这张图是否真支持这个结论更难自动判断评估体系要专门设计。软接 OakRAG把非文字也变成可信知识资产多模态不是给 RAG 加个花活而是把企业散落各处的非文字知识纳入同一套资产管理。OakRAG 的可信知识基础天然要覆盖这些形态版式感知解析把图表、表格变成可检索、可引用的结构化内容跨模态混合检索让文字查询也能命中图片和视频片段而前面讲过的可信四关——溯源、权限、时效、质量评估——对图片和视频同样适用一张过期的技术图纸要被时效治理拦下一段涉密录音要被权限隔离挡住。换句话说多模态 RAG 把知识的边界从文字扩到了企业全部信息资产而 OakOne 的治理逻辑OakRAG 承载接入与检索、OakBrain 承载权限时效与质量不需要为它另起炉灶。小结与预告多模态 RAG 的核心不是能不能处理图片而是非文字知识能不能被检索、被溯源、被治理。先把图看懂、把表读准、把话转写再统一进混合检索——这一步迈过去RAG 才真正配得上企业知识库四个字。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】