Recaptioning：升级您的 Image-Text 数据以实现更佳模型对齐 🚀

Source: Dev.to

Recaptioning：为多模态模型打造高质量描述 🚀

在多模态 AI 中，我们常常面临 “Garbage In, Garbage Out” 的问题：抓取的图像标题过于模糊（比如 “a pretty cup”），过长（超过 77‑token 限制），或根本不正确。Recaptioning 是对这些描述进行重写或重新生成的过程，以确保它们能够直接用于模型并且语义密集。

基于 data_engineering_book，本文将介绍为什么需要 Recaptioning、实现它的核心策略以及如何评估结果。

为什么重新配字幕是游戏规则的改变者

• 提升语义对齐 – 修正模糊或虚构的描述，使其 100 % 匹配图像内容。
• 适应模型约束 – 将长句缩短以符合令牌限制（例如 CLIP 的 77‑令牌瓶颈），但不丢失核心信息。
• 多维度覆盖 – 生成覆盖 外观、纹理 和 上下文 的多个标题，以提升检索鲁棒性。
• 标准化风格 – 清理俚语、错别字和不规则格式。

Core Strategies

A. 基于规则的重新标注（低成本）

适用于拥有元数据（例如 OCR 或目标检测标签）的小型数据集。使用 Python 和正则表达式将标签标准化并合并为干净的字符串。

B. 基于模型的重新标注（高性能）

利用视觉语言模型（VLM），如 BLIP‑2 或 LLaVA，自动生成详细、准确的标题。

使用 BLIP‑2 的实现示例

from transformers import Blip2Processor, Blip2ForConditionalGeneration
import torch
from PIL import Image

class Recaptioner:
    def __init__(self, model_id="Salesforce/blip2-opt-2.7b"):
        self.device = "cuda" if torch.cuda.is_available() else "cpu"
        self.processor = Blip2Processor.from_pretrained(model_id)
        self.model = Blip2ForConditionalGeneration.from_pretrained(
            model_id, torch_dtype=torch.float16
        ).to(self.device)

    def generate(self, image_path):
        image = Image.open(image_path).convert("RGB")
        prompt = (
            "Question: Describe this image accurately including color, material, and context. "
            "Answer:"
        )
        inputs = self.processor(
            images=image, text=prompt, return_tensors="pt"
        ).to(self.device, torch.float16)

        # Generate 3 diverse captions
        outputs = self.model.generate(
            **inputs, num_return_sequences=3, do_sample=True, temperature=0.7
        )
        return [self.processor.decode(o, skip_special_tokens=True) for o in outputs]

C. 人工参与（最高质量）

对于生产数据集，采用混合方法：

1. 大规模生成 – 使用 LLM 为每张图片生成 5 条候选标题。
2. CLIP 过滤 – 根据 CLIP 相似度分数自动保留前 2 条标题。
3. 人工审计 – 随机抽样 5‑10 % 进行人工校正。

评估：你的新标题更好吗？

Don’t guess—measure. Use CLIP Similarity and other metrics to quantify alignment between the new text and the image.

Engineering Pitfalls & Tips

• Hallucination – 模型可能会描述图像中不存在的对象。
  Solution: 使用限制模型只能“只描述你看到的东西”的提示。
• Homogeneity – 模型经常重复相同的短语。
  Solution: 提高 temperature（0.7–1.0）并使用 repetition_penalty。
• Throughput – 生成数百万条标题速度慢。
  Solution: 使用 FP16/INT8 量化和批量推理。

结论

Recaptioning 将“原始数据”转化为多模态模型的“高辛烷燃料”。无论你使用简单规则还是先进的 VLM，目标始终如一：精准、适应性和多样性。

欲获取完整的实现指南以及更多多模态数据技巧，请访问仓库：

👉 GitHub: datascale‑ai/data_engineering_book