HC 판독 불가 7일 유형별 집계
11월 1일 급증 분석

마지막 업데이트 2026-11-04

기간: 2026-10-28 18:43 ~ 11-04 18:43 KST (7일)분석: 2026-11-04자료: prod LiveKit agent WARN 로그 agent-warn-7d.log (101만 행)분석 소스: ppi develop 846ed5ed · 운영 배포 SHA 미확인

1. 결론

7일간 HC 판독 불가 트리거는 817건입니다. 그중 2.5초 커밋 응답 타임아웃이 원인인 것은 120건, ID 매핑 실패는 1건이고, 나머지 696건(85%)은 원인 로그가 없습니다. 11/1 09시부터 room 100개당 발생률이 약 2건에서 6건으로 약 3배 계단식으로 올라 4일째 유지되고 있습니다. 그 시점에는 prod 배포가 없었습니다.
817판독 불가 트리거 전체
1202.5초 커밋 응답 타임아웃 (14.7%)
1ID 매핑 실패 (0.1%)
696원인 로그 없음 (85.2%)

조사 결과 문서입니다. 코드·설정 변경은 하지 않았습니다.

2. 판독 불가가 만들어지는 코드 경로

HC 모드에서 아동 발화를 PPI가 마감(commit)하면, vendor SDK가 OpenAI Realtime에서 그 commit의 item_id와 최종 전사(provider final)를 받아 정확히 같은 item인지 확인한 뒤 턴을 수락합니다. 수락에 실패하면 SDK가 턴을 버리고, agent가 그 턴을 (판독 불가)로 복구합니다.

아동 발화 마감 (PPI 로컬 commit)
  → OpenAI에 input_audio_buffer.commit 전송, 응답(item_id) 대기 — 기한 2.5초
  → provider final 수신 · item_id 일치 확인
     ├ 성공 → 정상 응답
     └ 실패 → skipping Half Cascade turn without exact provider final  (provider_final_not_admitted)
              → user_input_transcription_failed 이벤트
              → agent.py _maybe_schedule_provider_final_fallback
              → user_stt_segment "(판독 불가)" + 되묻기 응답
위치역할
vendor/.../voice/agent_activity.py _REALTIME_INPUT_TRANSCRIPTION_TIMEOUT = 2.5commit 응답·provider final 대기 기한
agent_activity.py commit 응답 대기 (약 3505~3536행)기한 초과 시 commit acknowledgement timed out, 예외 시 commit acknowledgement failed(provider_commit_error)
vendor/.../llm/_realtime/openai.py _quarantine_audio_commit_correlationcommit과 item_id 대응이 모호해지면 격리하고 재연결, 대기 중이던 commit을 모두 실패 처리
agent_activity.py _admit_realtime_audio_for_eotitem_id 없음, final 미도착, item_id 불일치, 빈 전사이면 로그 없이 false 반환
apps/livekit-agent/agent.py _on_user_input_transcription_failed → _deliver_unreadable_recovery(판독 불가) 말풍선과 되묻기 응답 생성

3. 유형 판정 기준 (로그 메시지)

판독 불가 1건은 skipping Half Cascade turn without exact provider final 1건으로 셉니다. 같은 room에서 이 메시지 앞뒤 1초 이내에 찍힌 메시지로 유형을 정했습니다.

유형같은 room · 1초 이내 로그 메시지건수
2.5초 타임아웃realtime input audio commit acknowledgement timed out (timeout: 2.5) → realtime input audio commit correlation quarantined; reconnecting120
ID 매핑 실패realtime input audio commit correlation quarantined; reconnecting → 4ms 뒤 realtime input audio commit acknowledgement failed (provider_commit_error), 타임아웃 없음1
나머지앞뒤에 원인 로그 없음696
합계817
  • 중복 제거: 이벤트마다 로그가 3줄씩(평문 2줄, 구조화 JSON 1줄) 기록됩니다. room 필드가 있는 구조화 줄만 셌습니다. 같은 room·같은 timestamp로 겹친 skip은 0건이었습니다.
  • 2.5초 타임아웃 120건은 모두 타임아웃 → 격리 → skip이 같은 시각에 찍힌 하나의 연쇄였습니다. 격리 로그도 함께 있지만, 먼저 일어난 타임아웃을 원인으로 분류했습니다.
  • 나머지 696건은 2.5초 안에 final이 오지 않았거나, item_id가 달랐거나, 전사가 비어 있던 경우입니다. 셋 다 로그 없이 버려지는 경로라서 이 로그로는 서로 구분할 수 없습니다.

4. 일별 집계 (KST)

날짜전체2.5초 타임아웃ID 매핑 실패나머지활성 roomroom 100개당
10-28 수*4800482,0682.3
10-29 목5411523,5561.5
10-30 금3600362,3221.6
10-31 토4290331,6412.6
11-01 일122240982,0126.1
11-02 월2263501913,3516.7
11-03 화2243601883,4976.4
11-04 수*65150501,1505.7
합계8171201696

* 10-28은 18:43 이후, 11-04는 18:43까지만 들어 있습니다. 두 날을 합치면 빈 구간 없이 7일입니다. 활성 room은 WARN 로그에 한 번이라도 찍힌 room 수이며 HC와 VP를 모두 포함합니다.

5. 11월 1일 급증

수업량 착시가 아닌 비율 증가

시작 시점

10-31 12~17시   판독 불가 0~4건/시간 · room 100개당 약 2~3건
    (10-31 18시 ~ 11-01 08시: 수업 없음, prod 배포 없음)
11-01 09시      33건 / 478 room = 6.9   ← 첫 수업 시간부터 바로 상승
11-01 10시      30건 / 440 room
11-01 11시      29건 / 440 room
11-02 ~ 11-04   room 100개당 5.7~6.7 유지

특정 room에 몰리지 않음

하루 판독 불가 중 상위 5개 room이 차지하는 비율은 10-28 31%(15/48)에서 11-02 12%(26/226)로 오히려 줄었습니다. 판독 불가가 난 room 수도 하루 31~47개에서 67~130개로 늘었습니다. 일부 아동이나 기기 문제가 아니라 전체적으로 퍼진 현상입니다.

배포와의 관계: 시점이 맞지 않음

prod 배포 (KST)릴리스agent 변경배포 후 room 100개당
10-28 22:303.12.0VP STT 선택(#1200), 빈 room job 종료(#1226)10-29 1.5
10-30 11:233.13.0없음 (3.12.0과 agent diff 0)10-30 1.6 · 10-31 2.6
11-01 09시 급증—배포 없음6.1~6.9
11-02 12:043.13.1정정 전송(#1241), commit/ack 경로와 무관이미 오른 뒤
11-03, 11-043.14.0, 3.15.0확인 안 함이미 오른 뒤

판독 불가로 이어지는 로그(commit acknowledgement timed out, correlation quarantined)는 8/31(#1041)과 10/19(#1180)에 들어온 vendor 코드에서 나오고, 그 뒤로 이 경로를 바꾼 PR은 없습니다. 그래서 우리 코드보다는 외부 요인이 먼저 의심됩니다. 후보는 OpenAI Realtime의 지연, 또는 수업 설정(HC 비중·model) 변경입니다(추정).

6. 한계와 미확정

  • 분모에 VP 포함: 활동 room 수는 HC와 VP를 합친 값입니다. 11-01부터 HC 수업 비중이 늘었다면 비율 상승은 착시일 수 있습니다. 이 WARN 로그로는 room별 모드를 구분할 수 없습니다.
  • 트리거 건수 = 상한값: 실제로 (판독 불가) 말풍선이 나갔는지는 WARN 로그에 없습니다. 복구 조건(입력 OFF, 정상 응답 보호 등)에서 걸러진 턴이 있을 수 있습니다.
  • 나머지 696건의 세부 원인: final 미도착, item_id 불일치, 빈 전사를 구분하려면 _admit_realtime_audio_for_eot에 실패 원인 로그가 필요합니다.
  • 배포 확인 범위: 배포 workflow 성공을 기준으로 봤고, 실행 중인 task의 이미지 버전은 확인하지 않았습니다. 10-28 이전 상태는 로그 범위 밖입니다.

7. 다음 확인 항목

  1. 10-31과 11-01 사이에 수업의 conversationMode나 model 설정이 바뀌었는지 DB에서 확인
  2. HC room만 따로 분모로 잡아 비율을 다시 계산 (세션 로그 또는 session config 기준)
  3. OpenAI Realtime 상태 페이지와 지연 지표 확인 (11-01 전후)
  4. 원인 로그 없는 판독 불가를 나누도록 _admit_realtime_audio_for_eot의 false 분기별 실패 원인 로그 추가 검토