RAG 落地總踩坑?AI PM 復(fù)盤 4 大迭代方向(附落地 checklist,直接抄作業(yè))

0 評論 893 瀏覽 7 收藏 22 分鐘

RAG 產(chǎn)品在落地時常被用戶吐槽,其迭代并非堆技術(shù)參數(shù),而是圍繞企業(yè)用戶真實(shí)場景,解決核心痛點(diǎn)。本文分享 4 個關(guān)鍵迭代方向,全是實(shí)操干貨,助您打造好用的 RAG 產(chǎn)品。

做 AI 產(chǎn)品的都懂,RAG 產(chǎn)品最尷尬的不是技術(shù)不夠炫,而是落地時被用戶吐槽 “看著厲害,用著鬧心”:

  • 財務(wù)說 “解析后的財報表格行列錯亂,還得手動核對”;
  • 客服說 “用戶問‘這個方案 ROI 多少’,系統(tǒng)搜不到對應(yīng)的 A/B 方案數(shù)據(jù)”;
  • 工程師說 “產(chǎn)品手冊里的裝配圖,系統(tǒng)完全讀不懂,還得自己翻幾十頁”……

其實(shí) RAG 產(chǎn)品的迭代,從來不是堆技術(shù)參數(shù),而是圍繞 “企業(yè)用戶真實(shí)使用場景”,解決 “讀不懂、搜不準(zhǔn)、答不靠譜、覆蓋不全” 的核心痛點(diǎn)。結(jié)合我們團(tuán)隊的落地經(jīng)驗(yàn),分享 4 個關(guān)鍵迭代方向,全是從用戶反饋里摳出來的實(shí)操干貨:

迭代方向 1:放棄 “文字提取” 執(zhí)念,轉(zhuǎn)向 “結(jié)構(gòu)化重建”—— 解決 “文檔讀不懂” 的底層痛點(diǎn)

迭代背景(用戶痛點(diǎn))

早期 RAG 產(chǎn)品跟風(fēng)做 “OCR 文字提取”,但企業(yè)用戶的文檔根本不是 “整潔文本”:多欄排版、圖文環(huán)繞、跨頁表格、無線少線表、數(shù)學(xué)公式隨處可見。

用戶反饋 “提取出來的文字邏輯斷裂,比如三欄文檔的內(nèi)容亂湊在一起,表格數(shù)據(jù)對應(yīng)不上,公式更是完全沒法用”—— 相當(dāng)于給后續(xù)檢索、生成環(huán)節(jié)喂了 “垃圾數(shù)據(jù)”,再先進(jìn)的算法也白搭。

① 復(fù)雜排版:做 “生成式解析”,而非 “規(guī)則拼湊”

產(chǎn)品邏輯:模仿人讀報告的習(xí)慣,讓系統(tǒng) “先理解語義,再排序內(nèi)容”,而不是死守版面位置

具體優(yōu)化:上線 “文檔邏輯重建” 功能,通過自回歸并行解碼技術(shù),讓系統(tǒng)先讀懂前文,再順著語義 “續(xù)寫” 下一個元素(段落、表格、標(biāo)題),哪怕是圖文環(huán)繞、跨欄段落等 8 類復(fù)雜排版,也能按閱讀邏輯排序。

用戶價值:再也不用手動調(diào)整解析后的文檔順序,比如圖文環(huán)繞的圖注不會插到其他段落里。

② 復(fù)雜表格:單工具覆蓋全場景,拒絕 “多組件適配”

產(chǎn)品邏輯:企業(yè)用戶的表格類型太多(有線 / 無線 / 少線 / 合并單元格),傳統(tǒng)產(chǎn)品靠多個組件適配,用戶切換麻煩還容易出錯,所以迭代時聚焦 “單工具全兼容”。

具體優(yōu)化:上線 “智能表格復(fù)原” 功能,通過融合行列關(guān)系和元素特征,自動預(yù)測行列間隔線并重組結(jié)構(gòu),不管是財務(wù)無線數(shù)據(jù)表,還是業(yè)務(wù)少線統(tǒng)計表格,都能精準(zhǔn)還原。

落地效果:業(yè)務(wù)測試集準(zhǔn)確率達(dá) 89%,用戶反饋 “表格解析后直接能用,不用再手動修正行列關(guān)系”。

③ 子元素識別:直接輸出結(jié)果,砍掉 “多環(huán)節(jié)拼接”

產(chǎn)品邏輯:公式、子圖和文字耦合度高,傳統(tǒng) “定位 + 識別 + 拼接” 的流程容易傳遞誤差,用戶吐槽 “公式識別后語義丟失,子圖位置錯亂”。

具體優(yōu)化:迭代后,系統(tǒng)在文字識別時直接輸出公式的 LaTeX 內(nèi)容,同時精準(zhǔn)標(biāo)注子圖坐標(biāo),砍掉中間拼接環(huán)節(jié)。

落地效果:圖像識別準(zhǔn)確率 95%,公式識別準(zhǔn)確率 85%,用戶不用再手動補(bǔ)全公式語義。

迭代核心價值

給后續(xù)環(huán)節(jié)喂入 “邏輯連貫、結(jié)構(gòu)完整、元素齊全” 的干凈數(shù)據(jù) ——

這是 RAG 產(chǎn)品 “好用” 的前提,也是用戶從 “吐槽解析垃圾” 到 “愿意用” 的關(guān)鍵轉(zhuǎn)折。

迭代方向 2:檢索前先 “猜透用戶心思”—— 把 “搜非所問” 變成 “精準(zhǔn)命中”

迭代背景(用戶痛點(diǎn))

早期產(chǎn)品直接把用戶提問丟進(jìn)檢索系統(tǒng),結(jié)果發(fā)現(xiàn):用戶的提問從來不是為 “向量搜索” 設(shè)計的 —— 多輪對話省略主語(“這個方案的 ROI 多少?” 沒說清 A/B 方案)、一個問題藏多個需求(“A 和 B 的星數(shù)分別是多少?哪個更多?”)、用內(nèi)部縮寫(“ROE”“CRM”)…… 用戶反饋 “搜了半天找不到想要的,還不如自己翻文檔”。

① 查詢改寫:補(bǔ)全上下文,解決 “斷章取義”

產(chǎn)品邏輯:用戶在多輪對話中容易省略關(guān)鍵信息,系統(tǒng)需要自動補(bǔ)全,而不是讓用戶重新提問

具體優(yōu)化:上線 “上下文補(bǔ)全” 功能,結(jié)合歷史對話和當(dāng)前問題,自動完成指代消解(比如把 “你最喜歡哪一種?” 改寫為 “你最喜歡 2024 年甜品新品中的哪一種?”)。

技術(shù)選型:沒有用復(fù)雜的 seq2seq 方法,而是采用 “大模型 + 小樣本 + 思維鏈” 訓(xùn)練,平衡準(zhǔn)確率和效率 —— 產(chǎn)品經(jīng)理要的是 “用戶能用”,不是技術(shù)炫技。

② 查詢分解:拆解復(fù)雜問題,避免 “遺漏需求”

產(chǎn)品邏輯:用戶的復(fù)雜問題(多主體、多需求)如果直接檢索,容易只命中部分信息,所以需要先拆解再檢索。

具體優(yōu)化:上線 “復(fù)雜問題拆解” 功能,比如把 “A 和 B 的 GitHub 星數(shù)分別是多少?哪個更多?” 拆為 3 個子任務(wù):查 A 星數(shù)→查 B 星數(shù)→對比大小,分別檢索后再整合答案。

用戶價值:“一次提問就能拿到完整答案,不用分多次問”。

③ 術(shù)語映射:彌合 “術(shù)語鴻溝”,解決 “搜不到”

產(chǎn)品邏輯:企業(yè)用戶常用內(nèi)部縮寫、專業(yè)術(shù)語,知識庫中可能沒有對應(yīng)的關(guān)鍵詞,導(dǎo)致檢索失效。

具體優(yōu)化:上線 “專業(yè)術(shù)語智能映射” 功能,當(dāng)用戶輸入 “ROE” 這類知識庫沒有的術(shù)語時,系統(tǒng)自動生成完整定義(“ROE 即股東權(quán)益回報率……”),用這個 “偽文檔” 向量去檢索,哪怕文檔里只提過 “股東權(quán)益回報率”,也能精準(zhǔn)召回。

④ 多級切分:兼顧 “精準(zhǔn)” 與 “完整”,解決 “長文本語義破碎”

產(chǎn)品邏輯:長文本切分是行業(yè)痛點(diǎn) —— 切太細(xì)會丟語義,切太粗會影響檢索精準(zhǔn)度,用戶反饋 “要么搜不到關(guān)鍵信息,要么搜到的內(nèi)容不完整”。

具體優(yōu)化:迭代 “生成式多級切分” 功能,輸出 “粗粒度一級片段(完整語義)+ 細(xì)粒度二級片段(精準(zhǔn)檢索)”,檢索時先匹配二級片段,再關(guān)聯(lián)一級片段補(bǔ)充完整語義。

⑤ 多策略搜索:兜底 “精準(zhǔn)召回”,拒絕 “一刀切”

產(chǎn)品邏輯:不同場景(短文本 / 長文本 / 低頻次關(guān)鍵詞)需要不同的檢索策略,單一向量搜索無法覆蓋所有需求。

具體優(yōu)化:組合 “向量搜索 + 關(guān)鍵詞搜索 + 相關(guān)性排序” 三大策略,比如查詢 “特斯拉人形機(jī)器人硬件成本”(短文本 + 低頻次),用關(guān)鍵詞搜索兜底;查詢長文本需求,用向量搜索匹配語義。

迭代核心價值

檢索的核心不是 “搜得快”,而是 “搜得對”—— 通過優(yōu)化 “用戶意圖理解”,讓系統(tǒng)從 “被動檢索” 變成 “主動匹配”,檢索精準(zhǔn)度提升后,用戶使用意愿直接翻倍。

迭代方向 3:打破 “RAG vs 校準(zhǔn)” 二選一 , 用 “協(xié)同設(shè)計” 解決 “輸出不靠譜” 的信任危機(jī)

迭代背景(用戶痛點(diǎn))

早期產(chǎn)品要么只做 RAG(外掛知識庫),要么只做模型校準(zhǔn)(內(nèi)化規(guī)則),結(jié)果用戶反饋:“RAG 能快速拿新信息,但答案經(jīng)常瞎編”“純校準(zhǔn)的模型不會亂編,但知識更新慢,新政策、新產(chǎn)品信息查不到”—— 核心矛盾是 “既要新,又要準(zhǔn)”。

產(chǎn)品迭代決策:“RAG + 校準(zhǔn)” 協(xié)同架構(gòu)

先明確迭代邏輯:校準(zhǔn)的核心不是 “記知識”,是 “守規(guī)矩”

產(chǎn)品設(shè)計時,我們把 RAG 定位為 “知識引擎”(負(fù)責(zé)找最新、最全的信息),把校準(zhǔn)定位為 “規(guī)則引擎”(負(fù)責(zé)教系統(tǒng) “怎么用知識”),二者協(xié)同而非對立 —— 這是從 “用戶需要靠譜答案” 出發(fā)的核心決策。

① 行業(yè)適配:做 “垂直場景校準(zhǔn)”,拒絕 “通用型理解”

用戶痛點(diǎn):通用 RAG 產(chǎn)品讀不懂行業(yè)術(shù)語,比如金融用戶問 “物聯(lián)網(wǎng)企業(yè)政策扶持”,輸出的答案遺漏申報條件;政務(wù)用戶問 “辦事流程”,回復(fù)不符合官方范式。

具體優(yōu)化:用垂直行業(yè)數(shù)據(jù)(金融、政務(wù)、教育等)做有監(jiān)督校準(zhǔn),同時構(gòu)造 RAG 場景訓(xùn)練樣本(問題 + 檢索片段 + 上下文 + 標(biāo)注答案),讓系統(tǒng)既懂專業(yè)知識,又符合行業(yè)回復(fù)規(guī)范。

② 邏輯計算:加 “思維鏈訓(xùn)練”,解決 “不會推理、不會算”

用戶痛點(diǎn):面對保險保費(fèi)核算、財務(wù)數(shù)據(jù)對比等需求,系統(tǒng)要么直接給錯誤答案,要么不會拆解邏輯。

具體優(yōu)化:上線 “分步推理” 功能,通過思維鏈訓(xùn)練讓系統(tǒng) “先理解意圖→定位關(guān)鍵信息→生成推理步驟→計算結(jié)果”,復(fù)雜計算時調(diào)用計算 API,比如用戶問 “給父母買兩款保險總保費(fèi)多少”,系統(tǒng)會拆解 “單人保費(fèi) ×2 + 疊加規(guī)則”,算出結(jié)果并說明預(yù)算缺口。

③ 表格理解:從 “看懂” 到 “會用”,滿足 “數(shù)據(jù)分析需求”

用戶痛點(diǎn):零售、金融用戶需要分析銷售看板、產(chǎn)品數(shù)據(jù)表,但早期產(chǎn)品只能提取表格文字,不會總結(jié)、對比、推理。

具體優(yōu)化:針對表格設(shè)計 4 類指令訓(xùn)練:知識抽?。ㄖС趾喜卧瘢⒈砀窨偨Y(jié)、邏輯推理、數(shù)值比較,超長表格結(jié)合 Text2SQL 精準(zhǔn)提取數(shù)據(jù),比如用戶問 “2024 年 Q3 各產(chǎn)品銷售額 Top3”,系統(tǒng)能直接從表格中篩選并生成新表格。

④ 信任構(gòu)建:加 “拒答 + 來源標(biāo)注”,解決 “瞎編問題”

  • 用戶痛點(diǎn):系統(tǒng)遇到不會的問題也硬答,答案沒有來源,不敢用在工作中。具體優(yōu)化:
  • 無關(guān)內(nèi)容拒答:構(gòu)造正負(fù)樣本訓(xùn)練,讓系統(tǒng) “沒答案就直說”,比如查詢與知識庫無關(guān)的問題,回復(fù) “根據(jù)現(xiàn)有資料,我無法回答這個問題”;
  • 來源引用:生成答案時標(biāo)注參考來源(如 “答案來自《2024 年 Q3 財報》P12”),支持多來源關(guān)聯(lián);
  • 指令適配:響應(yīng) “反問澄清、格式規(guī)范、角色設(shè)定” 等需求,比如用戶要求 “以行業(yè)專家身份用表格輸出”,系統(tǒng)能精準(zhǔn)執(zhí)行。

迭代核心價值

用戶用 RAG 產(chǎn)品,本質(zhì)是 “信任驅(qū)動”—— 只有讓用戶覺得 “答案靠譜、可追溯、符合需求”,才會持續(xù)使用?!癛AG + 校準(zhǔn)” 的協(xié)同設(shè)計,正是解決了 “信任危機(jī)”。

迭代方向 4:從 “讀文字” 到 “讀圖文視頻”—— 拓展 “知識覆蓋邊界”

迭代背景(用戶痛點(diǎn))

早期純文本 RAG 產(chǎn)品,遇到企業(yè)里的圖表、圖紙、視頻就 “歇菜”:財務(wù)要分析財報 K 線圖,工程師要查產(chǎn)品裝配圖,客服要學(xué)培訓(xùn)視頻里的操作步驟,但系統(tǒng)只能處理文字,用戶吐槽 “核心知識藏在視覺里,系統(tǒng)看不到,等于沒用”。

產(chǎn)品迭代決策:上線 “端到端多模態(tài) RAG”

核心邏輯:不是 “看圖說話”,是 “圖文視頻深度融合推理”

產(chǎn)品設(shè)計時,我們拒絕 “圖片轉(zhuǎn)文字” 的簡單方案(容易丟失語義),而是打造 “解析 – 檢索 – 生成” 全鏈路閉環(huán),讓系統(tǒng)真正 “看懂” 視覺信息。

① 多模態(tài)解析:綁定 “文字 – 視覺” 關(guān)系,避免 “圖文脫節(jié)”

具體優(yōu)化:用戶上傳 PDF、PPT、圖片、視頻后,系統(tǒng)解析為 Markdown 格式,精準(zhǔn)記錄 “文字 – 圖像 / 視頻片段” 的對應(yīng)關(guān)系,比如圖表標(biāo)題、坐標(biāo)軸含義、子圖位置、視頻關(guān)鍵幀對應(yīng)的文字說明。

用戶價值:檢索時不會只召回文字,還能同步找到對應(yīng)的圖表、視頻片段,比如查 “2024 年 Q3 營收”,會同時召回財報文字 + 對應(yīng)的 K 線圖。

② 視覺理解訓(xùn)練:讓系統(tǒng) “看清、鎖定、答準(zhǔn)”

產(chǎn)品思考:視覺信息容易出現(xiàn) “識別錯誤”“張冠李戴”,所以訓(xùn)練時重點(diǎn)解決 3 個問題:

  1. 看清:動態(tài)分辨率訓(xùn)練,哪怕是低清晰度圖表,也能抓準(zhǔn)小數(shù)點(diǎn)后兩位數(shù)據(jù);
  2. 鎖定:多尺度混合訓(xùn)練,通過 “全局場景識別 + 局部細(xì)節(jié)匹配” 雙重校驗(yàn),在相似視覺素材中精準(zhǔn)定位核心信息。比如工程師上傳 5 張同系列產(chǎn)品裝配圖查詢 “零件 A 安裝位置”,系統(tǒng)能快速排除干擾圖,鎖定包含零件 A 的圖紙并標(biāo)注具體坐標(biāo);
  3. 答準(zhǔn):魯棒性訓(xùn)練結(jié)合 “答案 – 視覺源綁定” 機(jī)制,一方面將推理結(jié)論與原始圖片 ID 強(qiáng)關(guān)聯(lián)(如 “結(jié)論基于圖 3-2 裝配圖推導(dǎo)”),方便用戶溯源核對;另一方面構(gòu)造模糊圖像、關(guān)鍵信息缺失等負(fù)樣本,讓系統(tǒng)學(xué)會主動拒答。比如面對模糊的手寫圖紙,系統(tǒng)會明確回復(fù) “圖像清晰度不足,無法識別零件尺寸信息”。

③ 落地效果:3 類核心用戶效率質(zhì)變

  • 財務(wù)崗:財報 K 線圖分析效率提升 75%,過去需手動比對圖表與文字?jǐn)?shù)據(jù) 2 小時,現(xiàn)在系統(tǒng)可直接輸出 “Q3 營收環(huán)比增長 15%,K 線顯示月末增速放緩(見圖 2)” 的整合結(jié)論;
  • 研發(fā)崗:裝配圖查詢耗時從平均 15 分鐘壓縮至 2 分鐘,零件定位準(zhǔn)確率達(dá) 91%,工程師反饋 “不用翻幾十頁手冊,搜關(guān)鍵詞就有帶標(biāo)注的圖紙”;
  • 客服崗:培訓(xùn)視頻內(nèi)容檢索覆蓋率從 30% 提升至 88%,新人可直接查詢 “設(shè)備故障排查步驟”,系統(tǒng)自動提取視頻關(guān)鍵幀 + 文字說明,上手周期縮短 40%。

迭代核心價值

多模態(tài)迭代徹底打破了 RAG 產(chǎn)品 “只懂文字” 的天花板 —— 從 “覆蓋文字知識” 升級為 “覆蓋企業(yè)全形態(tài)知識”,讓財報圖表、產(chǎn)品圖紙、培訓(xùn)視頻等藏在視覺里的核心信息真正可用。這不是技術(shù)炫技,而是解決了 “企業(yè)一半知識無法被 AI 利用” 的根本痛點(diǎn),也讓 RAG 從 “輔助工具” 變成了 “全場景知識中樞”。

結(jié)尾:RAG 產(chǎn)品迭代的 3 個底層邏輯與落地建議

01 核心邏輯復(fù)盤:從 “踩坑” 到 “落地” 的關(guān)鍵認(rèn)知

  1. 用戶驅(qū)動優(yōu)先于技術(shù)驅(qū)動:早期所有踩坑(OCR 解析混亂、檢索跑偏、瞎編答案),本質(zhì)都是沒先解決 “用戶怎么用” 的問題。真正的迭代起點(diǎn),是把財務(wù)、工程師、客服的吐槽變成需求清單;
  2. 系統(tǒng)閉環(huán)重于單點(diǎn)優(yōu)化:文檔解析的 “干凈數(shù)據(jù)” 是檢索精準(zhǔn)的前提,檢索精準(zhǔn)是校準(zhǔn)落地的基礎(chǔ),多模態(tài)是知識覆蓋的延伸 —— 四個環(huán)節(jié)環(huán)環(huán)相扣,缺一個都會讓用戶體驗(yàn)斷層;
  3. 信任構(gòu)建是留存核心:用戶愿意持續(xù)用的不是 “技術(shù)最先進(jìn)” 的產(chǎn)品,而是 “敢用、好用” 的產(chǎn)品。從表格識別準(zhǔn)確率 89% 到答案來源標(biāo)注,從術(shù)語召回率提升 60% 到視覺信息拒答機(jī)制,所有優(yōu)化都在回答一個問題:“如何讓用戶相信這個系統(tǒng)?”

02 給 AI PM 的落地建議:從小切口啟動迭代

如果你的 RAG 產(chǎn)品也卡在落地期,不用追求 “一步到位做全鏈路”,可以按這個順序切入:

  1. 先抓解析:用 “表格識別準(zhǔn)確率”“公式提取可用率” 兩個指標(biāo)驗(yàn)收,先讓財務(wù)、工程師愿意用;
  2. 再優(yōu)化檢索:重點(diǎn)打磨 “術(shù)語映射” 和 “查詢分解” 功能,用 “客服檢索成功率” 驗(yàn)證效果;
  3. 最后補(bǔ)信任與多模態(tài):先通過 “拒答 + 來源標(biāo)注” 降低用戶質(zhì)疑,再根據(jù)行業(yè)需求拓展視覺能力(金融先做圖表解析,制造先做裝配圖識別)。

RAG 產(chǎn)品的價值從來不是 “檢索 + 生成” 的技術(shù)組合,而是通過技術(shù)解決

人在企業(yè)知識中低效穿梭” 的痛點(diǎn)。當(dāng)系統(tǒng)能像老員工一樣 “讀懂文檔、猜透需求、靠譜回答、看懂圖文” 時,真正的效率革命才會發(fā)生。

本文由 @王俊 Teddy 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!