# VLM 검수 벤치 골든세트 — 2026-09-04 · dock-inbox (앵커 t_840859cd1ff0)

## ★CEO 가 봐 줄 것 = `CEO-확인-이견31/대조판.jpg` (한 장 · 31칸)
**현직 detect_censors 는 「성기 없음」이라 했고, Qwen3-VL 은 「성기 보인다」고 한 프레임 31장**입니다.
둘 중 하나가 틀렸는데 **정답 라벨이 없어 기계로는 못 가릅니다.** 이 31칸만 봐 주시면 갈립니다.

- **VLM 이 맞다** ⇒ 현직이 이 재료에서 31/261 = **11.9% 를 놓치고 있다**(교체 근거)
- **현직이 맞다** ⇒ VLM 이 과탐이다(검수함이 부풀어 CEO 부담이 는다)

칸 번호 ↔ 파일·양쪽 판정 = `CEO-확인-이견31/목록.txt`

## 세트 구성 (435장)
| 군 | 수 | 출처 | 성격 |
|---|---|---|---|
| `frames/` | 261 | `h3-lora-matrix` 성행위 영상 87개 × 3프레임(1.0·2.6·4.2초) | 성행위 |
| `adult/` | 96 | dockaiq 보관함 「성인 -」 6종에서 균등 표본 | 노출은 있으나 성행위 아님(경계) |
| `none/` | 78 | 얼굴·아티스트 보관함 | 비성적 |

★**라벨을 눈으로 안 붙였습니다** — 출처를 둘로 나눴습니다:
- 성행위 여부 ← **그 영상을 만든 프롬프트**(디렉터리·파일명이 곧 행위)
- 성기·유두 노출 ← **현직 detect_censors 의 bbox**(전문 검출기)
그래서 두 축이 어긋나는 자리(위 31칸)만 사람이 보면 됩니다.

## 판정 원본
- `detect_censors.jsonl` — 현직 435건 (700ms/장 · 동시4)
- `qwen3vl.jsonl` — Qwen3-VL 8B abliterated Q8_0 435건
- `qwen3vl-v2.jsonl` — ★플래그를 **독립**으로 고쳐 재판정한 판(아래 「고칠 것」)

## ★1차 프롬프트의 결함 (내가 만든 것 · v2 로 고침)
1차 정의에 *"성기가 보이면 sex_act_without_exposure=false"* 를 넣어 **두 플래그를 배타로 묶었습니다.**
그 결과 435장 전건에서 `sex_act_without_exposure` 가 **0건** — 결정 축이 원리적으로 켜질 수 없었습니다.
⇒ v2 는 세 플래그를 **독립**으로 판정시킵니다(`genitals_visible`·`nipple_visible`·`sex_act`).

## 지금까지의 수치
| | 현직 detect_censors | Qwen3-VL 8B |
|---|---|---|
| 속도 | 700ms/장(동시4·CPU) | 0.62s/장(동시8·384x672) · 큰 스틸은 더 느리다 |
| frames 261 중 성기 판정 | 228 | 255 |
| none 78 중 오탐 | 2 | 1 |
| 출력 고정성 | — | 재판정 전건 동일(temperature 0) |