AI相似搜索 for OF 创作者 — 需要关于更好面部模型的建议

Source: Dev.to

我正在构建的内容（快速概览）

• 用户上传图片（参考照片 / 名人图片）
• 系统寻找具有相似面部特征的 OF 模特
• 使用面部嵌入 + 向量相似度搜索对结果进行排序
• 当前所有操作均在 CPU 上运行，但考虑为规模化和实验迁移到 GPU

我正在构建的内容（更详细）

系统允许用户上传图片并收到一份具有相似面部特征的 OF 模特列表。
其目的是支持视觉发现，其中感知相似度比精确身份匹配更重要。

关键约束

• 相似性优先于身份 – 根据感知相似度进行排名，而非严格的身份验证
• 对误报容忍度低 – 将视觉上不同的面孔标记为“相似”比漏掉潜在匹配更有害
• 真实世界图像 – 数据集由非工作室拍摄的图像组成，光照、姿势、分辨率和整体质量各不相同
• 可扩展性 – 解决方案需在超过 100 k+ 图像的规模下仍保持准确性和性能，不出现显著下降

当前流水线（基于 CPU）

1. 人脸检测与对齐
2. 使用预训练人脸模型进行特征提取
3. 将嵌入存储在向量索引中
4. 使用余弦相似度进行最近邻搜索

在此规模下，系统运行尚可，但准确性和性能都已成为限制因素。

当前模型设置（InsightFace）

面部嵌入使用 InsightFace 生成，具体采用 buffalo_l 模型包。

• 通过 InsightFace 进行人脸检测和对齐
• 使用 buffalo_l 模型进行特征提取
• 将嵌入存储用于相似度搜索
• 使用余弦相似度对相似人脸进行排序

提供了坚实的基线，但在相似人脸匹配时，细小的误差会非常明显。

系统的困难之处

• 视觉上相似的面孔有时排名低于预期
• 具有相同面部特征的不同个体可能出现误报
• 光照、姿势和图像质量会引入噪声
• 在重新索引和实验过程中，CPU 推理成为瓶颈

因为这是一个相似人脸的使用场景，即使是小错误也会显著影响感知质量。

CPU 与 GPU — 迁移值得吗？

我计划将流水线迁移到基于 GPU 的推理，但希望确保模型选择能够证明此举的合理性。

• 哪些人脸模型在 视觉相似度（而非身份识别）方面提供最佳结果？
• GPU 推理是否能带来 显著更高的准确率，还是主要提升速度？
• 是否有模型在这种规模下根本不适合在 CPU 上运行？

如果我要重新处理超过 10 万张模型图像，我希望使用合适的模型来完成。

我在更好的面部模型中寻找的特性

• 为相似度搜索生成 高质量嵌入
• 在非理想、真实世界的图像上表现良好
• 能高效扩展至超过 100 k 张图像
• 能利用 GPU 加速
• 可以微调（或开箱即用）以实现相似人脸匹配

同时接受 开源 和 商业 解决方案。

实际背景

此工作是一个发现平台的一部分，用户可以上传图片并使用基于 AI 的面部相似度查找视觉上相似的 OF 模型。
该项目名为 Explore.Fans，面部相似度搜索是其核心组件之一。

社区提问

如果您在大规模使用人脸相似度或人脸识别模型，期待您的意见：

• 哪些模型在相似外观匹配上效果最佳？
• GPU 推理是提升了准确率，还是主要提升了性能？
• 有进行过基于相似度排序的模型微调经验吗？
• 根据实际经验，有哪些是您会避免使用的？

提前感谢——如有需要，我可以提供更多细节。

参考文献

InsightFace (DeepInsight)