實體擷取的目標是將非結構化文字轉為結構化資料，工作流程通常如下方所示：

1. 文字預先處理：準備好要分析的文字。
2. 實體識別：找出文字中的潛在實體。
3. 實體分類：將識別出的實體分類。
4. 輸出內容：以結構化格式呈現擷取的資訊。

第一步是準備要分析的文字。這通常包括以下技術：

• 斷詞：將文字拆成較小的單位，例如字詞或詞組。
• 詞性標註：為每個字詞指派文法標記 (例如名詞、動詞、形容詞)。這有助於模型解讀文法結構，因為實體通常是名詞或名詞片語。
• 詞形還原/詞幹提取：將字詞還原為基本或字根的形式，將變化形式標準化。詞形還原會考量字詞的意義，是一般較常用的做法。
• 移除停用詞 (選用)：篩除「the」、「and」和「a」等常見字詞，因為這些字詞可能對實體辨識沒有太大幫助。這個步驟為選用，因為部分停用詞可能是具名實體的一部分 (例如「United States of America」)。
• 句子分段：將文本分成個別句子，有助於維持當下情境資訊。
• 正規化 (選用)：將文字標準化，例如轉換為小寫或處理特殊字元。

具體做法會因實體擷取方法和文字資料的性質而異。舉例來說，雖然從屬剖析 (瞭解字詞之間的關係) 是實用的自然語言處理工作，但其並非所有實體擷取方法的核心預先處理步驟。

在這個步驟中，系統會在預先處理的文字中尋找潛在實體。找出並分類這些實體的核心工作，就是具名實體辨識 (NER)。用於執行 NER 的技術包括：

• 模式比對：尋找特定模式或字詞序列，這些模式或序列通常表示實體 (例如「Mr.」後接姓名，或是日期或電子郵件地址的特定格式)。
• 統計模型：使用條件隨機場 (CRF)、循環類神經網路 (RNN) 或 Transformer 等訓練好的模型，根據實體的脈絡和周圍的字詞來識別實體。這些模型會從文字中擷取特徵，例如字形、詞性標記和上下文字詞嵌入，並從中學習。

識別出潛在實體後，AI 分類演算法 (通常以機器學習模型或規則型系統為基礎) 會將這些實體歸入預先定義的類別。如前所述，常見的類別包括：

• 人物：個人姓名
• 組織：公司、機構或團體的名稱
• 地點：城市、國家/地區或地理區域的名稱
• 日期/時間：文字中提及的特定日期或時間
• 其他：可能與您特定需求相關的額外類別 (例如產品、金錢或活動)

最後，擷取的實體及其分類會以結構化格式呈現，例如：

• 清單：精簡列出實體及其類型
• JSON/XML：儲存及交換結構化資料的常見格式
• 知識圖譜：以視覺化方式呈現實體間的關係

如要瞭解實體擷取在實際應用中的運作方式，請看以下句子：「2024 年 8 月 29 日，Optimist Corp. 在芝加哥宣布，執行長 Brad Doe 將在成功完成 500 萬美元的募資後卸任。」實體擷取系統處理完這段文字後，會輸出下列結構化資料：

• 人員：Brad Doe
• 組織：Optimist Corp.
• 地點：芝加哥
• 日期：2024 年 8 月 29 日
• 金錢：$500 萬美元

有很多種技術可用來執行實體擷取，各有優缺點。

這些方法會根據預先定義的規則和模式，來識別實體。特點包括：

• 實作相對簡單
• 透明
• 定義規則需要領域專業知識
• 在規則明確的特定用途中較有效，但可能難以處理語言中出現的變化或複雜句構，導致召回率不高
• 規則漸趨複雜時，難以擴充及維護

這些技術會運用以大型資料集訓練而成的統計模型，識別並分類實體。特色包括：

• 可因應新資料和語言變化
• 需要大量加上標籤的訓練資料和特徵工程 (如為深度學習，則需求較少)
• 訓練模型的運算成本可能相當高
• 常見模型包括循環類神經網路 (RNN) 和 Transformer (例如 BERT) 等現代深度學習系統。這類模型以大型資料集訓練而成，能根據脈絡辨識實體

這些方法結合了規則式和機器學習做法的優點，特色包括：

• 兼具彈性和效率，有助於提高準確率
• 需要仔細設計和實作，才能整合不同元件

舉例來說，混合式系統可能會使用規則型方法，找出具有明確模式 (例如日期或 ID) 的潛在實體，然後套用機器學習模型，來分類較不明確的實體 (例如人名或組織名稱)。

實體擷取固然強大，但務必留意這項工具的潛在挑戰和限制：

• 歧義：實體可能會因情境而產生歧義或多重含義 (例如「華盛頓」可以指人、地點或組織)。因此，必須充分瞭解上下文，才能準確識別及分類這些內容。
• 資料雜亂且不完整：現實世界的文字資料通常很雜亂 (包含錯誤、拼寫錯誤、俚語、不合常規的文法)，且可能缺乏足夠脈絡，進而影響實體擷取系統的成效。
• 超出詞彙範圍 (OOV) 的實體/新實體：模型可能難以辨識訓練期間未曾出現的實體或字詞 (OOV 字詞)，或是新造的詞彙和名稱。子詞斷詞和字元層級嵌入可協助減輕這個問題。
• 實體界線偵測錯誤：準確找出實體範圍的開頭和結尾並不容易，處理長實體、複雜實體或特定領域的實體時更是如此，而這類錯誤會直接影響分類正確性。
• 資料稀少和註解成本：監督式機器學習模型 (尤其是深度學習模型) 通常需要大量高品質、已加上註解的資料，而建立這些資料既耗時又昂貴。對資源較少的語言或專業領域來說，這是個重大瓶頸。
• 領域調整：由於詞彙、語法和實體類型不同，在某個領域訓練的模型，套用至其他領域時通常成效不佳。遷移學習 (微調預先訓練模型) 等技術在調整模型時至關重要。
• 特定語言難題：由於文法、構詞學 (例如豐富的聲調變化)、書寫系統 (例如某些語言的名稱沒有大寫) 和語言資源的可用性不同，實體擷取成效會因語言而異。
• 擴充性和運算資源：訓練及部署複雜的深度學習模型需要大量運算資源、強大處理能力 (例如 GPU)，且耗時較長。
• 偏誤與公平性：實體擷取模型可能會繼承訓練資料中的偏誤，導致輸出內容不公平或帶有歧視。因此，務必使用多元且具代表性的資料，並採用偏誤偵測和消除技術。

實體擷取作業通常包含下列步驟：

清楚定義要擷取的實體類型和相關類別，並說明 NER 系統的目標，以及將如何使用擷取的實體。這個步驟至關重要，可確保實體擷取系統符合您的特定需求。

收集與待處理領域相關的文字資料集。對於監督式機器學習做法，這類資料必須由真人註解者根據預先定義的指南，仔細標註 (加上標籤)。這些註解的品質和一致性，對訓練高效能模型至關重要。

根據需求、資料可用性、期望的準確率和運算資源，選擇適當的實體擷取技術 (規則式、機器學習、深度學習或混合式)，並考量這些方法的優缺點。

清理並預先處理文字資料，移除雜訊和不一致的部分。這可能包括處理拼字錯誤、標點符號和特殊字元等問題，以及先前提及的預先處理步驟 (斷詞、詞性標記等)。

如果採用機器學習或深度學習做法，下一步將會是選取及訓練模型。這包括選擇適當的模型架構 (例如 RNN 或 Transformer)，然後使用加上標籤的資料來訓練模型。在訓練過程中，模型會接收文字範例和對應的實體，從中學習模式和關係。

利用保留的測試集，根據精確度、召回率和 F1 分數等指標評估實體擷取系統的效能，瞭解系統識別和分類實體的表現。錯誤分析也有助於找出系統弱點。

根據評估結果和錯誤分析，修正模型。這可能包括調整超參數、修改或擴增訓練資料，甚至是變更模型架構。這是疊代性的流程。

部署系統，以即時或批次方式處理新的文字資料並擷取實體。這可能需要將實體擷取系統整合至更大的應用程式或工作流程，例如以 API 形式整合。

持續監控模型在正式環境中的效能。資料特徵可能會隨時間改變 (「資料偏移」)，進而降低效能。可能需要定期使用新資料，重新訓練或更新模型。

實體擷取在各種實際應用中扮演重要角色，包括：

• 資訊擷取與知識圖譜：協助從非結構化文字擷取結構化資訊，然後用來建構知識圖譜。這些知識圖譜代表實體及其關係，可實現進階搜尋、回答問題和資料分析。
• 客戶關係管理 (CRM) 與支援：實體擷取技術可用於分析電子郵件、社群媒體貼文及支援單等客戶互動內容。組織可藉此瞭解顧客情緒、追蹤問題、將要求分類，並提供更個人化的支援。
• 情報與資安：可用於分析新聞報導、社群媒體和其他來源的大量文字資料，找出潛在威脅、追蹤感興趣的個人並蒐集情報。
• 搜尋引擎：瞭解查詢和文件中的實體，提升搜尋相關性和速度。
• 內容分類和推薦：根據擷取的實體，將內容分類並推薦相關的文章、產品或媒體。

實體擷取技術也可用於下列領域：

• 醫療照護：從病患記錄、臨床記錄和研究論文中擷取醫療實體 (疾病、症狀、藥物、病患資訊)，用於分析和研究
• 金融：在新聞報導和報告中找出金融實體 (公司名稱、股票代碼、金額價值) 和事件，用於市場分析、風險評估和詐欺偵測
• 電子商務：從評論和說明中擷取產品資訊、品牌和特色，以改善搜尋、推薦系統和市場分析
• 人力資源：透過擷取技能、經驗和資格等資訊，自動篩選履歷