知識庫切段怎麼定
知識庫切段先按文件有沒有固定結構來選邊界,寫明頁首頁尾和浮水印要不要拿掉、表格是否和標題留在同一段、固定長度連同重疊是多少。切完之後檢索有沒有取回該段,是另一篇的驗法;這裡定的是進索引之前每一段的邊界。
目錄
切段和搭建、版本、驗檢索分開
搭建知識庫時定的是哪一批文件可以當準則、誰可以讀、現行路徑在哪。版本定的是哪一份檔案標成現行。驗檢索定的是已知出處的題目有沒有取回那一段。切段定的是進索引之前,一份現行檔案按什麼邊界切開。四件事不要併成「放進去再看」。分別見 企業知識庫怎麼搭建、知識庫文件版本怎麼管、知識庫檢索效果怎麼驗。
被切開的是存放處上標成現行的那一份。停用版本不拿來重切後再送進索引。交付範圍見 企業知識庫與內部助理。
先看這類文件的結構有多固定
2026年10月22日閱讀的 Microsoft Learn:RAG 切段階段 寫明,切段是把文件分成大小合適、各自含有語意相關內容的塊;做法要按文件類型和結構來選,該頁沒有給一套固定規則。它把結構從高到低分成有固定版面、半結構、可推斷結構、幾乎沒有結構,並說結構程度是選擇做法的起點。該頁沒有刊登日期。
有固定版面的文件,同一欄位每次都在同一位置,例子是表格化的稅務表單或保險卡;該頁寫明這類複雜版面不適合只用基本文字切割,常見做法是用模型抽出資料並標上語意。半結構的文件沒有完全固定的版面,但欄位大致一致,例子是發票:版面不同,仍預期有發票編號和帳單抬頭;網頁則常有標題和段落這類標記。可推斷結構的文件沒有標記語言,但人讀得出編號和條列,例子是法規或製造規格,該頁寫明這時要自己寫程式按結構切開,是否另做模型視同類文件的數量而定。幾乎沒有結構的筆記,該頁寫明較合適的是按句子切,或按固定長度並保留重疊。知識庫為每一類文件在切段紀錄上圈其中一檔,不把四類合成一個長度。
頁首、頁尾和浮水印先標成不進入切段
同一頁寫明,載入和切段可以分開。載入階段可以先標出或移除分析時要忽略的部分,例子是浮水印、頁首和頁尾,也可以重排表格,或按標題、副標題和其他結構元素界定文件結構。該頁寫明,敏感資料不能送到外部系統時,在本地處理。忽略清單寫在該類文件的切段紀錄上:頁首、頁尾、浮水印、版權行,哪些刪掉、哪些只標註仍保留。
沒有這張忽略清單,頁碼和免責聲明會變成獨立的一段,檢索可能取回頁碼而取不回條款。忽略清單由該份文件的負責人簽,日期和現行版本的日期寫在一起。負責人沒簽之前,這類文件不進索引。
表格和它的標題留在同一段
切段頁把「重排表格,使它較容易處理」列為載入階段可以做的事。2026年10月22日閱讀的 Microsoft Learn:RAG 準備階段 在表格問題裡寫明,長表可能需要在切段時重複標題。該頁沒有刊登日期。知識庫的規則是:一張表和它的欄位標題在同一段;表長到必須切開時,每一段都重複欄位標題,並寫上表的名稱。
切段頁另寫明,塊太小、不足以回答查詢時結果會差,跨在多塊上的相關上下文可能取不齊。標題和第一列被分到兩段,就屬於這種切開。圖片若要留下,該頁寫明可在載入時換成文字描述,並把周圍有用的文字一起交給描述;描述若再被切開,每一段仍要帶得出原來的圖。沒有描述、也沒有標題的圖,不單獨成為一段。
固定長度要連同重疊一起寫下
切段頁把固定長度並保留重疊,寫成按固定的字元數或 token 數切開,段與段之間可以重疊若干字元。它寫明這種做法和按句子切有不少相同的利弊,好處是一段可以含有跨過數句的語意。長度和重疊都必須選定。不同文件類型結果不同,該頁建議先用視覺化方式看實際切在哪裡。它並寫明,固定長度宜用 BERT token,而不是字元數,因為 BERT token 對應語言裡有意義的單位,比字元數保留更多語意。該頁沒有給出一個通用的 token 數。
切段紀錄為這類文件寫兩個數:每段多少 token、相鄰兩段重疊多少,並附一頁樣本,標出切點落在句號、表格還是標題中間。切點落在標題中間,就改長度或改回按結構切,不把這個長度套到另一類文件。該頁把固定長度的適用情況寫成結構很少的散文,或文件類型多到無法逐類另做策略。制度、合約這類已經有標題的文件,不因為這個適用情況就改用同一個長度。
按句子切是其他做法都不合適時的退路
切段頁把按句子切寫成:段由完整句子組成;若該頁所述的其他做法都不合適,用它作退路。它寫明這種做法實作和處理的成本相對較低,也能用在含有散文或完整句子的文字上。同一頁開頭寫明,頁內對工程量和處理成本的標註是主觀的,只供該頁相互比較。這裡不把「較低」讀成報價,也不比較工具品牌。
該頁寫明的缺點是:一段不一定裝得下一個意思的全部上下文,語意常常要連看數句。所以按句子切的紀錄要寫相鄰句子是否允許併成一段、併到什麼標題為止。只按句號機械切開、不看標題,條款的條件和結論會落在兩段。該頁沒有指定必須使用哪一個斷句工具。紀錄只寫這次用的規則,不寫工具排行。
切段方式定了再改,會牽動後面的索引
切段頁寫明,切段方式是整體設計裡一個半永久的選擇;改策略可能明顯影響下游,並要沿工作流程一併修改。在正式採用前,應把做法和文件類型對過。知識庫因此把「這類文件用哪一種邊界」寫成版本,和現行文件的版本互相指到。改邊界的那一天,舊段從索引移除,按新邊界重切現行檔再寫入。
驗檢索那一篇用來檢查新邊界有沒有把已知段落切開。題目、出處和命中紀錄不在這裡重寫。見 知識庫檢索效果怎麼驗。邊界還沒寫進切段紀錄,不用題目集的命中率來代替這次決定。
每一類都寫下邊界,才進索引
一類文件沒有結構分類、沒有忽略清單、沒有表格規則,也沒有「按結構」或「固定長度加重合」的選擇,這類文件不進索引。選擇固定長度卻沒寫重疊,同樣不進。樣本頁上看不見切點,等於邊界還沒定。
token 數、工具價格和模型名稱的排序留在公司自己的紀錄和當次報價,並註明日期。切段頁沒有指定一個通用長度,也沒有宣布哪一種做法適用於所有文件。索引打開之前,用三件事看:這類文件的結構有沒有標明、頁首頁尾和表格的規則有沒有簽名、長度和重疊或者結構邊界有沒有寫成版本。三件事都在切段紀錄上,才把現行檔按這個邊界寫進索引。
