PPI-1227 — LiveKit agent AI 미발화·기계음 3계층 진단 로그 추가 (Typecast 회신 반영) 분석로깅 추가

결론 — 잡으려는 범인은 "관측 공백"이다

livekit 런타임에서 "AI 발화 이벤트는 났는데 소리가 안 났다"가 신고되면 원인 구간을 좁힐 근거가 없었다. 세션 로그에는 아동측 기록만 있고, agent가 남기던 boundary 이벤트는 단계 도달 여부만 알려줬다.

1. 배경 — Typecast 문의 회신 요약

두 가지 현상을 문의했고 회신으로 원인이 갈렸다. 우리가 먼저 물은 코드 검토 항목(1·2·4)과 증상 자체를 겨냥한 항목(3·5)이 섞여 있다.

2. 관측 공백 — 세션 로그 실측

livekit 런타임 세션 로그 1건(15,759줄)을 실측해 무엇이 없는지 확인했다.

// 실제 기록된 레코드 — 수치가 전부 사라진다
{ "topic": "agent-event-log", "kind": 0,
  "participantIdentity": "agent-AJ_nhYRU79Egg7U",
  "eventType": "agent_response_terminal_boundary" }
//                          ↑ 어느 boundary인지, 성공인지 실패인지 알 수 없다

3. 추가한 3계층 진단 로그

계층 ① provider — Typecast HTTP 응답의 실체

apps/livekit-agent/typecast_tts.py

계층 ② tts_node — 실제로 몇 ms가 흘렀나

apps/livekit-agent/agent.py · HalfDuplexInputGuardAgent.tts_node

계층 ③ 룸·트랙 — publish는 됐나

agent.py · _audio_output_snapshot() — 계층 ② payload에 병합된다

계층 ④(보완) 클라이언트 payload 보존

apps/web/lib/voice-agent/livekit-client-session.ts

버려지던 boundary / outcome / error_class / agent_response_id / elapsed_ms를 세션 로그에 포함한다. transcript·delta 같은 대용량 본문은 제외한다(delta만 2,034건).

4. 판별 매트릭스

A. AI 미발화 — 소리가 아예 안 남

A-3단계. 아동측 로그 (세션 로그 · LogRocket)

B. 기계음 · 지지직

5. 조회 위치

# 발화별 오디오 송출량
{service_name="ppi-livekit-agent"} |= "tts_node_audio_output"

# 발화 이벤트는 났는데 프레임 0
{service_name="ppi-livekit-agent"} |= "tts_node_audio_output_empty"

# Typecast가 200 주고도 PCM 0
{service_name="ppi-livekit-agent"} |= "typecast_tts_synthesis_empty_audio"

# 샘플레이트 오판 (기계음 후보)
{service_name="ppi-livekit-agent"} |= "format_source" |= "fallback"

6. 함정 — payload가 조용히 사라질 수 있었다

# json 모드
{"timestamp":"...","level":"INFO","logger":"typecast-tts",
 "message":"typecast_tts_synthesis","pcm_bytes":64000,"audio_ms":1000}

# 비-json 모드 (이번에 보강)
INFO:typecast-tts:typecast_tts_synthesis {"pcm_bytes": 64000, "audio_ms": 1000, "format_source": "header"}

7. 함께 적용한 Typecast 회신 대응 (같은 PR)

WAV 끝 길이 검증 — 죽어 있던 검사가 처음으로 동작한다

스트리밍 응답은 RIFF size가 항상 0xFFFFFFFF였다. 그래서 기존 잘림 검증의 첫 조건이 영구히 false였고, 응답이 중간에 끊겨 와도 그대로 통과했다. 일반 API로 바꾸면서 정확한 size가 오므로 두 겹으로 검사한다.

// data(200바이트) + 뒤에 붙은 LIST chunk(11바이트)
잘못된 계산: 211 − 44 = 167  → 홀수 → wav_body_truncated → 502
수정 후    : 선언된 data size 200 사용 → 짝수 → 통과

8. 적용 범위와 한계 (정직하게)

• 이 PR은 지지직·기계음을 고치지 않는다. seed는 요청 간 변동만 제거하고, 웹 API 전환·WAV 검증은 LiveKit 모드 경로 밖이며, 검증은 손상을 거부할 뿐 복구하지 않는다. 지지직은 별도 티켓이 필요하다.
• 과거 세션은 소급되지 않는다. 계층 ①②③ 로그는 배포 후 발생한 발화부터 기록된다. 기존 사례는 아동측 로그만 있다.
• Loki 라벨 키·값 미검증 — 5절 참조.
• prod task definition의 LIVEKIT_TEST_LOG_FORMAT 값 미확인 — json이면 Grafana에서 | json 필드 필터가 되고, 아니면 문자열 검색만 된다.
• 실 Typecast 일반 API 응답 미검증 — 응답 포맷·seed 효과는 실기기·실 API 확인이 필요하다.

9. 검증

관련 문서