텍스트 프롬프트에서 이미지 내 객체 감지 (고정 클래스 아님)

Source: Dev.to

Background

대부분의 객체 탐지 시스템은 고정된 라벨 집합을 가정합니다: COCO, Open Images 또는 사용자 정의 데이터셋으로 모델을 학습하고, 학습한 클래스에만 제한됩니다.

Prompt‑Based Object Detection

저는 다른 접근 방식을 탐구하고 있습니다: 프롬프트 기반 객체 탐지. 입력은

1. 이미지
2. 자유 형식의 자연어 프롬프트

이며, 출력은 프롬프트와 일치하는 지역화된 탐지 결과 집합입니다. 개념이 단일 사전 정의된 객체 클래스가 아니어도 작동합니다.

제가 만든 도구는 복합적이고 구성적인 프롬프트를 지원합니다. 단순한 객체 이름뿐 아니라 속성, 관계, 텍스트, 세계 지식 등을 결합할 수 있습니다—표준 탐지기 클래스와 깔끔하게 매핑되지 않는 것들입니다.

What It’s Not Designed For

• 매우 작은 객체
• 희미하게 보이는 객체
• 즉시 사용할 수 있는 고밀도 실시간 탐지

이 도구는 작은 목표에 대한 픽셀 수준의 정밀도보다 추론과 세계 지식이 필요한 개념에서 더 좋은 성능을 보입니다.

Motivation

지금까지의 주요 동기는 매우 구체적인 탐지기를 위한 학습 데이터 생성이었습니다. 각 틈새 개념마다 수동으로 라벨링하거나 새로운 탐지기를 학습하는 대신, 이 접근 방식을 사용하여:

• 데이터셋 부트스트랩
• 개념이 학습 가능한지 탐색
• 전체 학습 파이프라인에 투입하기 전 프롬프트 검증

을 할 수 있습니다.

Demo

저는 이 도구를 공개 데모로 제공하고 있습니다:

Detect Anything – Free AI Object Detection Online

• 로그인 필요 없음.
• 이미지는 일시적으로 처리되며 저장되지 않음.
• (남용하지 말아 주세요; 추론 비용이 비교적 높습니다.)

Open Questions

특히 관심 있는 부분은:

• 사람들이 보는 좋은 실제 활용 사례
• 스트레스 테스트와 실패 모드
• 작업‑특정 탐지기와 비교했을 때 이 접근 방식이 무너지는 상황

그라운딩, 지시 표현 이해, 혹은 프롬프트 기반 비전 모델을 다뤄본 경험이 있다면 의견을 듣고 싶습니다.