software

完美提取：使用 Docling + LangExtract 解锁非结构化数据 🚀

发布: (2025年12月25日 GMT+8 14:45)
6 分钟阅读
原文: Dev.to

I’m ready to translate the article for you, but I’ll need the full text you’d like translated. Could you please paste the content (excluding the source line you already provided) here? Once I have it, I’ll translate it into Simplified Chinese while preserving all formatting, markdown, and technical terms.

结构基础：IBM Docling 📑

在任何抽取流水线中，首要挑战是将“混乱”的格式转换为机器可读的数据，同时不丢失结构化元数据。Docling 是一个开源工具包，简化了此过程，将非结构化文件转换为 JSON 或 Markdown，便于大型语言模型（LLM）轻松处理。

不同于传统的 OCR（可能慢且易出错），Docling 使用专门的计算机视觉模型，如 DocLayNet 进行版面分析，TableFormer 用于恢复复杂的表格结构。它能够识别标题、列表项，甚至公式，同时保持它们的层级关系。

如何开始使用 Docling

from docling.document_converter import DocumentConverter

source = "https://arxiv.org/pdf/2408.09869"  # PDF path or URL
converter = DocumentConverter()
result = converter.convert(source)

# Export to Markdown for LLM readiness
print(result.document.export_to_markdown())

语义引擎：Google 的 LangExtract 🧠

一旦拥有了干净的文本，就需要一种方法来提取特定的结构化信息。LangExtract 是一个 Python 库，旨在根据用户定义的模式和少量示例，将原始文本转换为严格结构化的数据。

它的核心特性是 精确来源定位，即将每个提取的实体映射到原始文本中的确切字符偏移位置。这在医疗（临床笔记）或法律服务等敏感领域尤为关键，因为每个数据点都必须可审计。

设置 LangExtract 任务

import langextract as lx

# 1. 定义抽取规则
prompt = "Extract characters and their emotional states."

# 2. 提供少量示例以强制模式
examples = [
    lx.data.ExampleData(
        text="ROMEO. But soft! What light through yonder window breaks?",
        extractions=[
            lx.data.Extraction(
                extraction_class="character",
                extraction_text="ROMEO",
                attributes={"emotional_state": "wonder"}
            )
        ]
    )
]

# 3. 运行抽取
result = lx.extract(
    text_or_documents="Lady Juliet gazed longingly at the stars...",
    prompt_description=prompt,
    examples=examples,
    model_id="gemini-2.5-flash"
)

实现 100 % 可追溯性：集成流水线 🔍

真正的魔力在于将这两种工具结合使用。LangExtract 只能处理原始文本字符串，这通常需要手动文件转换，并且可能会丢失文档的布局和来源信息。通过使用 Docling 作为前端，你可以将各种格式解析为包含页码和边界框的丰富统一表示。

这种集成创建了一个无缝的流水线，LangExtract 提取的语义数据可以通过 Docling 的元数据映射回 PDF 页面上的精确物理位置，从而实现 100 % 可追溯性——既在文本层面，也在可视化层面。

概念性集成工作流

# Conceptual: Using Docling for provenance‑aware extraction
from docling.document_converter import DocumentConverter
import langextract as lx

# Step 1: Convert with Docling to preserve metadata
converter = DocumentConverter()
conv_result = converter.convert("report.pdf")
text = conv_result.document.export_to_text()

# Step 2: Extract with LangExtract
result = lx.extract(text_or_documents=text, ...)

# Step 3: Map offsets back to Docling's page/bbox metadata
# (Conceptual integration for visual auditability)

Production Benefits and Industry Impact 📈

  • RAG & Graph‑RAG: 高召回率、结构化输出非常适合用于喂入知识图谱或高级检索增强生成系统。
  • Auditability: 交互式 HTML 可视化让人工审阅者点击提取的实体，即可在原始上下文中直接看到高亮显示。
  • Domain Adaptability: 该流水线可适配放射学报告（RadExtract）、金融摘要或简历解析，而无需昂贵的模型微调。

结论：文档智能的未来 ✨

通过将 Docling 的结构化布局分析与 LangExtract 的扎实语义推理相结合，开发者可以摆脱“碎片化”的提取。这种协同作用将非结构化文档转化为“结构化的金子”，为每个数据点提供完整、可验证的审计追踪。

管道比喻
Docling 是一位细致入微的图书管理员，他把一堆松散、未编号的页面整理成一本装订好的书，并配有详细的目录。LangExtract 是那位专家研究员，他阅读这本书，用荧光笔标记每一个重要事实，并留下一个精确的书签，准确指向作为证据的句子。没有图书管理员，研究员的桌面就是一团乱；没有研究员，图书管理员的工作也只是一堆有序却未被阅读的信息。

Back to Blog

相关文章

阅读更多 »