← Docs hub

Experience Goal × 지식 그래프: 문맥에서 목표와 실행으로

A2A·RAG·Planner의 현재 구현과 채택 순서는 A2A 지식 그래프·RAG 연동 설계를 메인 기준으로 본다. 이 문서는 화자·개인 기억·제품 관계·실행 이력을 연결하는 장기 지식 구조를 보강한다.

문맥 통합 → 목표 형성 → 근거 기반 계획 → 실행 생명주기 관리 → 증거 반영 → 학습

이 문서는 화자에서 실행까지 이어지는 제품 구조를 한 흐름으로 설명한다. 출발점은 검증 중인 Device RAG이며, 그다음은 같은 기기 표현을 실행·제품 지식·일반 대화로 구분하는 라우팅이다. 이 기반 위에 Product KG와 User KG를 더해 관계와 근거를 관리하고, Experience Goal은 현재 요청에 필요한 문맥만 받아 목표와 성공 기준을 만든다. 플래너와 TaskManager는 계획을 물리 실행으로 닫고, 검증된 결과만 다음 판단에 반영한다.

핵심 흐름은 다음과 같다.

Device RAG → 3단계 라우팅 → Product KG → User KG
           → Experience Goal → Planner → TaskManager → 완료 증거 → 검증된 학습

한눈에 보는 구조

이 문서의 읽는 순서

그림 1 · Experience Goal과 지식 문맥 순환 구조. 지식 그래프가 관계·권위·유효 기간을 정리하고, 목표별 투영을 통해 계획·작업·증거·학습으로 연결한다. SVG 크게 보기

1. 출발점: Device RAG와 3단계 라우팅

report.html의 출발점은 지식 그래프 자체가 아니라 제품 질문에 정확히 답하는 Device RAG와 같은 기기 키워드를 목적에 따라 구분하는 라우팅이다. 검색이 틀리면 제품 지식 그래프도 틀린 근거를 제공하고, 라우팅이 틀리면 설명 요청이 실행되거나 실행 요청이 검색으로 끝난다.

Device RAG 개선 기법과 제품 문제의 연결

이 표는 기술을 많이 쌓는 순서가 아니다. 질문 유형에 따라 가장 싼 경로부터 사용하고, 근거가 부족할 때만 다음 단계를 연다. 정확 용어 질문에는 BM25가, 자연어 변형에는 밀집 검색이, 기능 간 관계에는 Product KG가 우선될 수 있다.

같은 기기 키워드, 서로 다른 처리 목적

이 구분은 키워드 사전이 아니라 요청의 효과를 본다. 상태를 바꾸려는지, 제품 사실을 묻는지, 일반 지식을 묻는지, 실행에 필요한 대상이 빠졌는지를 의미적으로 판단한다. 성능 검증도 단일 문장이 아니라 위와 같은 대조 발화 쌍으로 진행해야 한다.

2. 현재 품질 기준선과 남은 게이트

현재 DQR RAG 품질 게이트

현재 수치는 “RAG가 완성됐다”가 아니라 다음 구조를 검토할 수 있는 기준선이다. Product KG와 User KG를 도입해도 상태조건형·정보조회형을 포함한 기존 품질과 지연이 나빠지면 승격하지 않는다.

전략 변화에서 확인한 것

따라서 다음 단계는 더 큰 모델 하나로 교체하는 일이 아니다. 검색 후보가 왜 생겼는지, 어떤 제품 관계와 문서 근거가 답을 지지하는지, 실행 요청과 설명 요청이 왜 갈리는지를 계약으로 남겨야 한다.

3. Product KG와 User KG로 확장

지식 그래프가 Experience Goal에 추가하는 것

Experience Goal은 이미 문맥을 조합한다. 지식 그래프가 더하는 것은 사람·공간·기기·기능· 기억·작업 사이의 관계, 그 관계의 출처와 최신성, 충돌과 누락을 구조화하는 일이다. 지식 그래프는 목표를 생성하지 않는다. 목표 판단의 입력을 개선하고, 실행 권한은 플래너·TaskManager·기기 정책에 남긴다.

그림 2 · 지식 그래프가 Experience Goal에 추가하는 것. 기존 문맥 판단은 유지하고 관계 결합·권위·유효 기간·충돌·누락·실행 이력을 보강한다. SVG 크게 보기

관계 경로가 곧 설명 경로가 된다

지식 그래프의 중요한 제품 효과는 정확도 향상에만 있지 않다. 설명 가능성은 사후 문장 생성이 아니라, 실제 답변·목표·계획·결과 판정에 사용한 관계와 근거를 다시 읽을 수 있다는 데 있다. 모델이 결론을 낸 뒤 그럴듯한 이유를 붙이는 방식과 달리, 같은 관계 경로가 판단과 설명에 함께 사용된다.

사용자A → USES_ROOM → 안방
안방 → HAS_OBSERVATION → 공기질_나쁨
공기청정기A → SUPPORTS → 저소음_청정
저소음_청정 → REQUIRES → 배터리_충분
저소음_청정 → COMPLETES_WITH → cleaning.stopped

설명 결과에는 관계 경로뿐 아니라 출처, 권위, 관찰 시각과 유효 기간을 함께 남긴다. 사용자에게는 내부 ID나 원시 파라미터를 그대로 읽지 않고 자연어로 요약하며, 운영 추적에서는 동일한 claim_id, source_id, task_id, evidence_id로 판단을 재현한다. 이 구조를 통해 “무엇을 했는가”뿐 아니라 “왜 이 판단이었고 어떤 증거로 끝났는가”까지 검증할 수 있다.

지식 그래프의 최소 구성 단위

지식의 기본 단위는 subject–predicate–object, 즉 주체–관계–대상이다. 관계 하나만 저장하지 않고 source, authority, observed_at, valid_until, confidence를 붙여 검증 가능한 주장으로 만든다.

사용자A -> USES_ROOM -> 안방
공기청정기A -> CAN_MOVE_TO -> 안방
공기청정기A -> SUPPORTS -> 저소음_청정
저소음_청정 -> REQUIRES -> 배터리_충분
저소음_청정 -> COMPLETES_WITH -> cleaning.stopped
작업17 -> EXECUTES -> 저소음_청정
작업17 -> TARGETS -> 안방

관계를 쉽게 읽는 방법

그림 3 · 지식 그래프의 기본 단위와 신뢰 구조. 주체–관계–대상에 출처·권위·관찰 시각·유효 기간과 형식 검증을 더한다. SVG 크게 보기

제품 지식 그래프의 최소 관계 예시

Product KG는 기능 이름 목록이 아니다. 기능이 바꾸는 상태, 제한되는 기능, 선행조건, 문서 근거와 완료 증거를 연결한다.

프라이버시 모드 → SETS_STATE → 카메라 OFF
프라이버시 모드 → SETS_STATE → 마이크 OFF
마이크 OFF → LIMITS → 음성 명령
카메라 OFF → LIMITS → 사용자 인식
제품 기능 → SUPPORTED_BY → 매뉴얼 근거
기기 상태 → PRECONDITION_FOR → 실행

이 구조는 “프라이버시 모드를 켜면 카메라는 어떻게 돼?”에는 관계와 원문 근거를 제공하고, “프라이버시 모드 켜줘”에는 실행 경로가 확인할 상태 변화와 제약을 제공한다.

그림 4 · SKIX 제품 지식 그래프. 안정적인 제품 관계와 실행 시점의 사실을 분리하고, 목표 하나에 필요한 관계만 연결한다. SVG 크게 보기

지식 그래프 + 임베딩 RAG

그래프는 명시 관계와 읽기 범위를 좁히고, 벡터 검색은 표현이 다른 문서·기억·사례를 찾는다. 둘을 결합하되 전체 그래프나 모든 기억을 프롬프트에 넣지 않는다.

그림 5 · 그래프 + 벡터 검색. 사전·증분 색인과 목표별 실시간 조회를 분리하고, 권한 범위를 통과한 관계 경로와 벡터 상위 후보로 작은 투영을 만든다. SVG 크게 보기

개인별 기억에서 사용자 지식 그래프로 확장하는 기준

모든 기억에는 출처와 생성 이력, 신뢰도, 유효 기간, consent_scope를 둔다. 현재 요청이 과거 선호와 충돌하면 현재 요청이 우선한다. 화자 식별은 권한 승인이 아니다.

문맥은 한 저장소가 아니라 권위가 다른 계층이다

그림 6 · 문맥 지도. 화자·기억·제품 기능·환경·실행 증거를 한 저장소가 아니라 권위가 분리된 여러 문맥 계층으로 구성한다. SVG 크게 보기

StateMirror는 실시간 값의 권위다. 현재 위치와 배터리처럼 빠르게 바뀌는 값을 장기 관계로 고정하지 않는다. 제품 그래프는 “조회할 수 있음”을, StateMirror는 “지금 값”을, TaskManager는 “진행 중인 작업과 최종 상태”를 소유한다. 하나의 거대한 그래프로 합치지 않는다.

4. Experience Goal에 지식 그래프를 연결

Experience Goal은 이미 문맥을 활용한다. 발화·현재 상태·지원 기능·작업 흐름·관찰 결과를 조합해 상위 목표, 기대 효과, 제약과 성공 기준을 보존한다. 지식 그래프는 이 구조를 대체하지 않고 평면 상태 묶음의 관계·권위·최신성을 보강한다.

Experience Goal은 새로운 라우팅 분류가 아니다. 기존 DEF, ODL, FRG, DQR, SCH의 담당 주체를 유지한다. 대화만으로 충분하면 DEF로 마감하고, 단일 실행이면 기존 ODL 경로를 사용한다. 여러 효과를 조정하고 결과를 관찰해야 할 때만 목표 생명주기를 연다.

현재 목표 판단용 문맥 투영

문맥 그래프 투영은 현재 요청에 필요한 관계만 읽기 전용으로 묶는다. 이 절의 계약이 범위 한정 문맥 투영의 정본이다.

{
  "speaker_scope": {"person_id": "person-a", "role": "adult", "consent": ["comfort"]},
  "goal_hint": "quiet_rest",
  "current_state": {"location": "station", "battery": 72, "cleaning": "idle"},
  "capabilities": ["night_mode", "quiet_cleaning", "tts"],
  "constraints": ["volume_min_1", "privacy_respected"],
  "memory_candidates": [{"claim": "prefers_low_volume", "source": "explicit", "valid": true}],
  "missing_or_conflicts": []
}

투영은 권한을 확대하지 않으며, 만료되거나 충돌한 주장을 숨기지 않는다. 기억 후보와 현재 상태를 같은 사실로 합치지 않고, 현재 요청에 관계없는 가족 정보와 과거 작업은 제외한다.

5. 문맥 투영에서 실행 계획까지

한 요청은 다음 순서로 변환된다.

사용자 발화
  → 라우팅과 목표 진입 판단
  → 범위 한정 투영
  → 목표·기대 효과·제약
  → 기능에 연결된 계획
  → TaskManager 작업 흐름
  → 물리 결과와 사용자 응답

“나 피곤해. 조용히 쉬게 도와줘”

그림 7 · 문맥 기반 목표 판단 예시. 같은 발화도 화자·상태·지원 기능·동의 범위에 따라 대화 마감, 제안 또는 실행 계획으로 달라진다. SVG 크게 보기

기기에 음악 기능이 없으면 지원되지 않는 음악을 제안하지 않는다. 대화만으로 충분하면 응답으로 끝내며, 현재 공기질이나 사용자의 명시 요청이 환경 조정을 뒷받침할 때만 실제 기능을 계획한다.

6. 실행·재계획·학습 순환

계획은 시작일 뿐이다. 계획이 다가 아니라 결과가 돌아올 때 한 사이클이 끝난다. 실행 중에는 빠르고 결정적인 로컬 실행과 의미가 바뀔 때의 재계획을 분리한다.

그림 8 · 실행 제어 순환 구조. 정상 사건은 기기 안에서 이어지고, 의미 경계에서만 플래너가 제한적으로 다시 판단한다. SVG 크게 보기

두 개의 회귀 루프

정상 사건마다 플래너를 재호출하지 않는다. 진행률 10%·20% 같은 사건은 로컬 상태만 갱신한다. 기능 미지원, 필수 전제 소실, 안전 정책 차단, 사용자의 목표 변경처럼 계획의 의미가 달라질 때만 질문·대체·축소·종료를 판단한다.

목표 -> 계획 -> 작업 -> 결과 / 증거
                ↘ 정상 사건: 로컬 실행 지속
                 ↘ 의미 경계: 제한적 재계획

검증된 결과만 배우는 순환

그림 9 · 증거 기반 학습 순환. 물리 결과를 목표와 단계에 귀속하고, 검증된 실행 기록·기억 주장·기능 신뢰도만 다음 투영에 반영한다. SVG 크게 보기

학습 흐름은 증거 → 평가 → 학습 → 투영이다. 먼저 experience_id, workflow_id, step_id, task_id, trace_id로 결과 귀속을 수행한다. 그다음에만 실행 기록, 기억 후보, 기능 신뢰도 갱신 후보를 만든다.

기억 가중치는 하나의 숫자가 아니다. 직접 진술 여부, 반복 횟수, 최신성, 반례, 동의, 적용 범위와 출처를 함께 본다. 이것은 실시간 모델 가중치 업데이트가 아니다. 검증된 주장과 검색 우선순위를 조정하는 운영 학습이다.

사용자 취소는 실패 학습으로 기록하지 않는다. 사용자가 목적을 바꾼 것, 안전 정책이 차단한 것, 기능이 실제 실패한 것을 다른 사유로 남겨야 기억 오염과 잘못된 기능 신뢰도 하락을 막을 수 있다.

그림 10 · 기억의 신뢰 생명주기. 기억 후보는 화자·권한·동의·유효 기간·충돌 검증을 거친 뒤에만 다음 목표의 제한된 문맥으로 사용된다. SVG 크게 보기

최종 완료 증거가 없는 요청 수락 응답은 성공이 아니다. 측정 앱 실행과 측정 완료, 복귀 요청과 도킹, 청정 시작과 청정 종료를 각각 분리해 기록한다.

7. 권위·기억·책임 경계

이 절은 주장과 출처, 현재 상태, 목표 해석, 실행과 학습의 소유권을 한 표로 정리한다.

그림 11 · 목표에서 증거까지의 책임 경계. 목표 해석, 계획, 실행 수명, 물리 증거와 후속 판단의 소유권을 분리한다. SVG 크게 보기

TaskManager는 사용자 목표를 해석하지 않는다. 플래너 계획은 실행 의도이고, 실제 완료는 기기 도메인과 TaskManager가 가진 terminal evidence로 확정한다. 모델이 만든 확률이나 관계 후보는 DeviceAgent의 admission과 기존 제품 정책을 우회할 수 없다.

8. 검색 전략과 운영 비용

그래프와 검색은 질문마다 같은 경로를 타지 않는다. 그래프는 관계 범위를 좁히고, 벡터 검색은 표현의 폭을 넓힌다.

벡터 검색은 사실 판정기가 아니다. 유사 후보는 원문, 관계, 최신성과 권위를 통과해야 한다. 확률 점수는 실행 권한이 아니다. 점수는 후보 순위, 제안, 확인 질문에 사용할 수 있지만 민감 실행·권한 확대·완료 판정에는 사용할 수 없다.

비용과 지연을 통제하는 원칙

Microsoft GraphRAG의 색인 구조처럼 문서 분할, 개체·관계 추출, 임베딩과 요약 색인은 사전 또는 변경분 처리로 분리한다. 실시간 기기 상태는 문서처럼 색인하지 않는다. 전역 검색을 매 대화의 기본값으로 쓰지 않고, 특정 사용자·공간·기능 주변의 짧은 관계 경로부터 사용한다.

그래프 엔지니어링은 보조적 해석 틀이다. 에이전트 구조를 설명하는 관심사는 프롬프트 → 문맥 → 하네스 → 순환 → 그래프로 넓어지지만, 그래프 자체가 제품 목표는 아니다.

그림 12 · 에이전트 시스템 설계 관점. 프롬프트·문맥·하네스·순환·그래프를 독립 유행어가 아니라 제품 판단과 실행을 지지하는 설계 관심사로 배치한다. SVG 크게 보기

9. 제품 로드맵과 검증 게이트

확장은 한 번에 진행하지 않는다. 검색 품질과 라우팅 기준선을 먼저 고정하고, 제품 관계, 화자별 기억, 통합 문맥, 실행 전체 흐름 순으로 승격한다.

그림 13 · Device RAG에서 개인화 실행까지의 단계별 진화. 검색 기준선을 보존하면서 제품 지식·화자별 구획·기억·문맥 투영·작업 전체 흐름을 순차 검증한다. SVG 크게 보기

현재와 목표를 구분한다

Product KG·User KG와 증거 학습은 목표 구조다. 코드나 문서가 있다는 사실만으로 실제 운영 승인을 의미하지 않는다. 단계별 비개입 검증(shadow), holdout, 실기기 검증을 통과해야 계획 입력에 영향을 줄 수 있다.

성공 기준은 네 계층으로 나눈다

사용자 효과는 더 적은 반복 요청, 근거 있는 제품 답변, 잘못된 개인화 감소, 실행 진행과 실패 이유의 설명 가능성으로 측정한다. 운영 효과는 라우팅·검색·기억·실행 문제를 서로 다른 지표와 소유자로 분리해 원인을 빠르게 찾는 데 있다.

다음 단계에서 답해야 할 질문

• 화자 confidence가 어느 수준일 때 개인 기억을 읽을 수 있는가?
• 명시 선호와 관찰 선호가 충돌하면 어떤 범위에서 누구에게 확인할 것인가?
• Cloud 연결이 없을 때 로컬 기능·기억·상태를 어디까지 사용할 것인가?
• 가족 역할별 민감정보와 실행 권한은 어떻게 구분할 것인가?
• 제품 기능 관계가 버전 변경으로 바뀌면 어떤 목표·기억·색인을 무효화할 것인가?

10. 그래프 엔지니어링의 위치와 외부 근거

지식 그래프의 최소 단위와 운영 원칙은 이미 검증된 표준에서 가져오되, SKIX 실행 권한과 현재 상태의 책임은 제품 계약으로 유지한다.

지식 그래프 외부 기술 근거

이름 있는 그래프(named graph)는 물리 저장소를 강제하지 않는다. 같은 저장소에서도 제품 지식·사용자 기억·실행 이력·실시간 관찰의 출처와 접근 범위를 논리적으로 나누는 방법이다. 또한 그래프 설계와 실행 시점의 사실을 분리한다. “이동 기능이 위치를 제공한다”는 제품 정의와 “지금 안방에 있다”는 관찰값은 저장 수명과 권위가 다르다.

그래프 엔지니어링은 아직 하나의 고정된 산업 표준이나 구현 완료 명칭이 아니다. 모든 추론을 그래프 탐색으로 바꾸는 것도 아니다. 이 설계에서 그래프는 문맥과 목표·작업·증거의 관계를 명시하고, 필요한 정보만 플래너에 전달하는 보조 구조다.

11. 결론

Experience Goal은 여러 문맥을 분석해 무엇을 달성할지와 언제 성공인지 보존한다. 지식 그래프는 사람·제품·환경·기억·실행의 관계와 근거를 제공하고, 플래너와 TaskManager는 이를 실행 가능한 단계와 물리 완료로 닫는다. 검증된 결과는 다음 목표의 문맥을 개선하지만, 권한·안전 정책·현재 상태의 권위를 대신하지 않는다.

한 문장으로 요약하면 다음과 같다.

문맥 통합 → 목표 형성 → 근거 기반 계획 → 실행 생명주기 관리 → 증거 반영의 기존 구조에 관계·권위·유효 기간과 통제된 학습을 더해, 더 적은 추측으로 개인화된 실행을 완성한다.

부록 A. 실험 이력과 근거 범위

부록 A. report.html 원문 추적

검토 원본은 /home/silogood/work/8.cloudLLM/backend-cloud-llm-lambda/report.html의 기기 지식에서 개인화 실행까지 보고서다. 원문의 Device RAG·3단계 라우팅·제품 지식 그래프·사용자 기억·도입 로드맵을 본문 1~3절과 9절에 직접 반영했다. 이 부록은 원본의 실험 이력과 현재 근거 범위만 남긴다.

검색 전략 이력

OCR 전략 이력

근거 범위와 해석 제한

• S-016은 현재 최고 후보이며 제품 runtime 승격 완료 상태가 아니다.
• MR8의 로컬·Cloud 경계는 확인했지만 모든 backend·AAR 내부를 검증했다는 뜻은 아니다.
• Product KG·User KG·Home KG와 증거 학습은 목표 구조이며 단계별 검증이 필요하다.
• 제품 문서를 외부 API로 전송하지 않는 경계를 유지한다.
• 외부 논문의 성능 수치를 SKIX 제품 성능으로 전이해 주장하지 않는다.

관련 기준 문서는 Device RAG 전체 체계, Experience Goal 개요, A2A 문서 모음, 화자 식별 서비스, TaskManager 프레임워크, 검증과 품질에서 이어서 볼 수 있다.