Microsoft 在 Replicate 上的 Omniparser-V2 模型入门指南
发布: (2026年1月5日 GMT+8 11:32)
2 min read
原文: Dev.to
Source: Dev.to
Overview
Omniparser‑V2 扩展了 OmniParser——微软的屏幕解析工具，它能够将图形用户界面转换为结构化数据。该版本由微软构建，提供了更佳的性能和更丰富的 AI 驱动界面交互能力。
How It Works
该模型以截图作为输入，生成界面元素的结构化表示，识别可点击区域并描述其功能。它通过对象检测和视觉理解模型的组合来处理图像。
Parameters
- Image – 要分析的截图或界面图像。
- Box threshold – 检测 UI 元素的置信度阈值（0.01 – 1.0）。
- IOU threshold – 合并检测到的元素时的重叠阈值（0.01 – 1.0）。
- Image size – 图标检测的分辨率（640 – 1920 像素）。
- Elements – 描述检测到的 UI 组件的结构化文本。
Visualization
系统可以生成可视化叠加层，在原始截图上突出显示检测到的元素，便于查看已识别的 UI 组件以及它们的分类方式。