A2A Success Criteria

A2A Success Criteria Pyramid

이 문서는 A2A가 “동작한다”고 말하기 위한 기준을 정의한다. 단순히 route accuracy 하나만 보지 않고, 제품/라우터/워크플로우/기기 실행/evidence를 함께 본다.

1. 성공 판정 원칙

원칙	설명
정확도만 보지 않는다	실행형 AI는 과실행, 과차단, 실패 복구 비용이 다르다.
정답지 version을 고정한다	benchmark 결과는 answer set version 없이는 비교 불가하다.
정상 event는 local 처리한다	모든 progress마다 Cloud LLM을 다시 돌리면 실패다.
실패는 구조화한다	자연어 reason이 아니라 reason_code와 params가 필요하다.
실기기 evidence가 최종 증거다	dry-run은 필요하지만 제품 완료 증거는 아니다.

2. Routing 성공 기준

Family	성공 기준	주요 실패 감시
`ODL`	즉시 기기 제어/상태 확인이 올바르게 선택됨	`STT_NULL -> ODL` 과실행
`SCH`	등록/수정/삭제/조회 workflow가 선택됨	단순 알람 켜줘/꺼줘를 SCH로 오분류
`DQR`	제품/기기 설명과 사용법 질문이 선택됨	외부 제품/일반 지식을 DQR로 흡수
`FRG`	public/freshness/일반 지식 조회가 선택됨	노이즈 조각을 FRG로 과확장
`DEF`	즉답 가능한 대화가 유지됨	짧은 대화를 STT_NULL로 과차단
`STT_NULL`	지배 해석 없는 노이즈를 안전하게 재질문	복구 가능한 발화를 hard retry
`UNS`	명확히 미지원 실행 요청을 차단	일반 대화/지식 질문을 UNS로 과차단

3. Schedule 1차 성공 기준

단계	PASS 조건
Gate	schedule 관련 발화만 Cloud schedule workflow로 진입
STT	Gemini STT transcript가 workflow에 저장
Slot extraction	`schedule_function`, `operation`, time/repeat/target slot 추출
Follow-up	missing slot만 질문하고 `slot_state` 포함
Multiturn	기존 on-device Cloud 멀티턴 상태로 다음 발화가 이어짐
API call	필수 slot 완료 전에는 호출하지 않고, 완료 후 fixed cleaning API 호출
Completion	schedule_id 또는 생성 확인값으로 종료

4. Task Orchestration 성공 기준

단계	PASS 조건
Plan	Planner output에 step, dependency, input/output key가 존재
Bridge	On-device가 Cloud step을 local task/workflow로 변환
Submit	DeviceAgent TaskManager에 task/workflow 등록
Progress	정상 event는 local lifecycle에서 진행
Failure	실패/차단 event에 reason_code, reason_params 포함
Replan	`requires_cloud_decision=true`일 때만 Cloud replan 후보
Trace	cloud_plan_id/workflow_id/step_id/output_key 유지

5. Vendor Acceptance 성공 기준

항목	PASS 기준
API	명세된 request/response fixture 제출
Event	정상/실패/cancel workflow trace 제출
Reason	reason code matrix 제출
AAR	외부 모듈이 사용할 public API surface 확인
Regression	기존 command path가 깨지지 않음
실기기	ADB logcat과 artifact validator evidence 제출

6. Release Gate

Gate	Required
Wiki	PRD, UX spec, vendor one-pager, success criteria가 팀 허브에 연결
Benchmark	최신 answer set과 result artifact 고정
Unit/Contract	runtime, mapper, event verifier test PASS
Dry-run	device_task_requests와 task event fixture PASS
Real-device	ADB E2E evidence 확보
Handoff	업체 open question P0 닫힘

7. 아직 성공으로 보지 않는 상태

문서만 있고 실기기 event trace가 없다.
route accuracy는 높지만 STT_NULL -> ODL 과실행이 늘었다.
schedule slot은 채웠지만 API 생성 성공값이 없다.
TaskManager가 task를 실행하지만 reason contract가 없다.
업체가 API를 구현했지만 기존 command regression 결과가 없다.

관련 문서