← Docs hub

Semantic Boundary Calibration Playbook

이 문서는 A2A Planner에서 우리가 “축 조정”이라고 부른 작업을 제품/기술 언어로 설명하기 위한 기준서다.

핵심은 rule을 늘리는 것이 아니라, 발화가 어떤 의미축에 가까운지 판단할 수 있도록 evidence를 정리하고, LLM Planner가 과추론하지 않게 decision boundary를 보정하는 것이다.

이 그림은 DEF/STT_NULL, ODL/SCH, DQR/FRG, UNS 경계를 하나의 label table이 아니라 target, clarity, recoverability, risk, reply shape, capability grounding 축의 조합으로 다뤄야 한다는 점을 보여준다.

1. 한 줄 정의

Semantic decision boundary calibration은
발화를 특정 family로 강제 매핑하는 작업이 아니라,
context, target, speech act, recoverability, execution risk를 기준으로
family 사이의 의미 경계를 조정하는 작업이다.

2. 왜 필요한가

음성/STT 환경에서는 같은 단어가 항상 같은 의미가 아니다.

따라서 알람, 설정, 하이나무, 날씨, 영어, 어떻게 같은 표면 단어만으로 family를 결정하면 성능이 흔들린다.

3. 하위 cue의 역할

cue는 정답을 고르는 rule이 아니다. cue는 Planner가 볼 evidence 후보를 만든다.

recognized_text
-> lexical/surface cue
-> target/scope cue
-> speech-act cue
-> capability/catalog cue
-> risk/recoverability cue
-> planner evidence
-> final family decision

잘 설계된 cue는 아래 조건을 만족한다.

4. 주요 판단 축

5. 경계별 조정 기준

5.1 DEF <> STT_NULL

이 경계의 질문은 “첫 반응이 자연스럽게 가능한가”다.

DEF로 살릴 수 있는 경우:

• 인사, 반응, 감정, 불만, 간단한 메타 대화처럼 첫 응답이 가능하다.
• 짧더라도 말하는 행위가 분명하다.
• STT가 조금 깨졌지만 의미 복구가 minor repair 수준이다.

STT_NULL로 닫아야 하는 경우:

• 긴 전사 잔여물인데 질문/요청/감정 목적이 없다.
• 단어는 많지만 지배 해석이 없다.
• 답하려면 대상, 행동, 의도를 새로 만들어야 한다.

예시:

5.2 ODL <> SCH

이 경계의 질문은 “즉시 제어인가, schedule workflow인가”다.

ODL로 보는 경우:

• 켜줘/꺼줘/멈춰/돌아가/청정해/체크해 같은 즉시 실행 의도
• 공간명, 기기명, 기능명이 action과 결합
• 알람도 단순 켜기/끄기면 immediate control

SCH로 보는 경우:

• 등록/수정/삭제/조회/반복/시간 slot이 있는 schedule workflow
• “몇 시부터 몇 시까지”, “매일/평일만”처럼 slot filling 대상
• active schedule workflow 중 들어온 짧은 slot answer

예시:

5.3 DQR <> FRG

이 경계의 질문은 “제품/기기 지식인가, 외부/public 지식인가”다.

DQR로 보는 경우:

• 하이나무/정수기/공기청정기/기기 기능/설정/업데이트/사용법
• 현재 제품 catalog나 manual RAG로 답해야 하는 질문
• 기기 연결, 시리얼, 제품 상태 설명처럼 device support 성격

FRG로 보는 경우:

• 외부 제품, 공인, 지역, 사회 이슈, 일반 상식, 수학/과학 문제
• 최신성/검색/공개 정보 조회가 답변 품질을 높이는 질문
• 번역/단어 뜻/외부 엔티티 설명

예시:

5.4 ODL <> STT_NULL

이 경계의 질문은 “복구 가능한 기기 실행인가, 위험한 과실행인가”다.

ODL로 살릴 수 있는 경우:

• 기기 호출어 또는 공간명과 실행/상태 확인이 결합된다.
• STT 오타가 있어도 catalog 기능으로 minor repair가 가능하다.
• 사용자가 실행을 요구하는 speech act가 명확하다.

STT_NULL로 닫아야 하는 경우:

• 기기/날씨/공기 단어가 긴 narration 안에 묻혀 있다.
• 실행 동사처럼 보이는 단어가 일상 문장에 쓰였다.
• 실제 실행하려면 target/action을 새로 invent해야 한다.

6. 튜닝 프로세스

축 조정은 아래 순서로 진행한다.

1. full-run 또는 holdout에서 오분류를 family transition으로 묶는다.
2. transition별로 정답지 오류, 중복정답 가능성, router 오류를 분리한다.
3. cue가 너무 넓은지, 너무 좁은지, 잘못된 축에 붙었는지 본다.
4. 특정 row 문자열 추가가 아니라 일반 발화 부류 단위로 cue를 조정한다.
5. prompt에서 LLM이 복구해야 할 의미 경계를 설명한다.
6. focused set으로 먼저 확인하고, full-run/holdout으로 회귀를 본다.
7. 변경 reason을 benchmark artifact와 함께 남긴다.

7. Rule-based와의 경계

아래는 피해야 한다.

• 특정 row를 맞추기 위한 고유 오타 문자열 추가
• 단어 하나로 family를 강제하는 shortcut
• catalog에 없는 기능을 cue만으로 실행 가능하다고 판단
• holdout 검증 없이 현재 test set에만 맞춘 cue 확장

아래는 허용 가능하다.

• 여러 발화에 반복되는 semantic pattern 추가
• catalog 기능명/도메인 기반 anchor 추가
• context가 있을 때만 승격되는 weak cue 분리
• prompt에 “minor repair 가능하면 살리되, 과실행은 피하라”는 경계 설명 추가

8. 운영 산출물

Boundary calibration은 코드 변경만으로 끝나지 않는다. 아래 산출물이 같이 있어야 한다.

관련 문서

• A2A Planner Research Reading List
• A2A Planner Deep Dive
• Benchmark and Router Evolution
• A2A Product PRD