← Docs hub
Vendor Test Evidence Template
이 문서는 DeviceAgent/SoC 업체가 구현 완료를 주장할 때 제출해야 하는 테스트 증거 양식이다.
제출 요약
| 항목 |
값 |
| 업체명 |
|
| 제출 일자 |
|
| DeviceAgent branch/tag |
|
| SoC build version |
|
| APK/firmware version |
|
| 테스트 단말 |
|
| 담당자 |
|
API별 결과
| API |
PASS/FAIL |
증거 파일 |
비고 |
submitTask |
|
|
|
submitWorkflow |
|
|
|
getTaskStatus |
|
|
|
cancelTask |
|
|
|
getDevicePlanningContext |
|
|
|
onTaskEvent |
|
|
|
| Reason Contract |
|
|
|
| Trace Metadata |
|
|
|
소스/빌드 기준
| 항목 |
값 |
| 기준 source commit |
|
| 기준 branch |
|
| 변경 파일 목록 |
|
| 테스트 실행 명령 |
|
| 테스트 로그 경로 |
|
| logcat 원본 경로 |
|
필수 테스트 케이스
TC-DA-001 단일 task 성공
입력:
submitTask(taskMethod=...)
기대:
accepted=true
taskId 존재
COMPLETED event 수신
cloud trace field 보존
증거:
Bundle dump / logcat / test result
TC-DA-002 3-step workflow 성공
입력:
submitWorkflow(subTasks=[step_1, step_2, step_3])
기대:
step_1 완료 후 step_2 시작
step_2 완료 후 step_3 시작
WORKFLOW_COMPLETED 수신
증거:
step event log sequence
TC-DA-003 workflow 중간 실패
입력:
step_2에서 실패를 강제하는 workflow
기대:
FAILED 또는 BLOCKED event
failed step id 식별 가능
reason_code / reason_params 존재
requires_cloud_decision 정책 확인
증거:
event payload dump
TC-DA-004 cancel
입력:
running task 또는 workflow에 cancelTask 호출
기대:
cancellable policy 반영
CANCELLED event 수신
child task 정리 정책 확인
증거:
task status before/after
TC-DA-005 planning context
입력:
getDevicePlanningContext
기대:
schema_version=device_context.v1
battery/map/location/cleaning/movement/task_manager/capabilities 포함
snapshot_ts / updated_at_ms 포함
증거:
context payload dump
Logcat 증거 양식
timestamp:
tag:
task_id:
taskMethod:
eventName/status:
cloud_workflow_id:
cloud_step_id:
cloud_plan_id:
cloud_output_key:
reason_code:
requires_cloud_decision:
raw log line:
Failure Injection 결과
| 실패 조건 |
기대 reason_code |
실제 reason_code |
requires_cloud_decision |
PASS/FAIL |
| target room 없음 |
ROOM_NOT_FOUND |
|
true |
|
| 경로 막힘 |
PATH_BLOCKED |
|
true |
|
| 배터리 부족 |
LOW_BATTERY |
|
false 또는 정책값 |
|
| 기기 busy |
DEVICE_BUSY |
|
false 또는 정책값 |
|
| 지원 기능 없음 |
CAPABILITY_UNAVAILABLE |
|
true |
|
완료 판정
업체 제출물이 아래 조건을 모두 만족해야 PASS로 본다.
- API 호출 결과와 event callback이 모두 있다.
- 정상 workflow의 순차성이 log sequence로 증명된다.
- 실패 event가 구조화 reason을 포함한다.
- Cloud trace field가 누락되지 않는다.
- planning context snapshot이 실제 값과 freshness를 포함한다.
- known limitation이 별도로 명시되어 있다.
첨부 파일 목록
| 파일 |
설명 |
필수 여부 |
api-fixtures/submitTask-success.json 또는 Bundle dump |
단일 task 성공 입력/출력 |
필수 |
api-fixtures/submitWorkflow-3step-success.json 또는 Bundle dump |
3-step workflow 성공 입력/출력 |
필수 |
api-fixtures/workflow-step2-failed.json 또는 Bundle dump |
중간 실패 입력/출력 |
필수 |
logs/taskmanager-e2e.logcat |
실기기 task lifecycle 로그 |
필수 |
reports/artifact-validator-result.txt |
Cloud trace/reason field 검증 결과 |
필수 |
reports/known-limitations.md |
미지원/제약사항 |
필수 |