HC 판독 불가 7일 유형별 집계
11월 1일 급증 분석
마지막 업데이트 2026-11-04
1. 결론
조사 결과 문서입니다. 코드·설정 변경은 하지 않았습니다.
2. 판독 불가가 만들어지는 코드 경로
HC 모드에서 아동 발화를 PPI가 마감(commit)하면, vendor SDK가 OpenAI Realtime에서 그 commit의 item_id와 최종 전사(provider final)를 받아 정확히 같은 item인지 확인한 뒤 턴을 수락합니다. 수락에 실패하면 SDK가 턴을 버리고, agent가 그 턴을 (판독 불가)로 복구합니다.
아동 발화 마감 (PPI 로컬 commit)
→ OpenAI에 input_audio_buffer.commit 전송, 응답(item_id) 대기 — 기한 2.5초
→ provider final 수신 · item_id 일치 확인
├ 성공 → 정상 응답
└ 실패 → skipping Half Cascade turn without exact provider final (provider_final_not_admitted)
→ user_input_transcription_failed 이벤트
→ agent.py _maybe_schedule_provider_final_fallback
→ user_stt_segment "(판독 불가)" + 되묻기 응답
| 위치 | 역할 |
|---|---|
vendor/.../voice/agent_activity.py _REALTIME_INPUT_TRANSCRIPTION_TIMEOUT = 2.5 | commit 응답·provider final 대기 기한 |
agent_activity.py commit 응답 대기 (약 3505~3536행) | 기한 초과 시 commit acknowledgement timed out, 예외 시 commit acknowledgement failed(provider_commit_error) |
vendor/.../llm/_realtime/openai.py _quarantine_audio_commit_correlation | commit과 item_id 대응이 모호해지면 격리하고 재연결, 대기 중이던 commit을 모두 실패 처리 |
agent_activity.py _admit_realtime_audio_for_eot | item_id 없음, final 미도착, item_id 불일치, 빈 전사이면 로그 없이 false 반환 |
apps/livekit-agent/agent.py _on_user_input_transcription_failed → _deliver_unreadable_recovery | (판독 불가) 말풍선과 되묻기 응답 생성 |
3. 유형 판정 기준 (로그 메시지)
판독 불가 1건은 skipping Half Cascade turn without exact provider final 1건으로 셉니다. 같은 room에서 이 메시지 앞뒤 1초 이내에 찍힌 메시지로 유형을 정했습니다.
| 유형 | 같은 room · 1초 이내 로그 메시지 | 건수 |
|---|---|---|
| 2.5초 타임아웃 | realtime input audio commit acknowledgement timed out (timeout: 2.5) → realtime input audio commit correlation quarantined; reconnecting | 120 |
| ID 매핑 실패 | realtime input audio commit correlation quarantined; reconnecting → 4ms 뒤 realtime input audio commit acknowledgement failed (provider_commit_error), 타임아웃 없음 | 1 |
| 나머지 | 앞뒤에 원인 로그 없음 | 696 |
| 합계 | 817 |
- 중복 제거: 이벤트마다 로그가 3줄씩(평문 2줄, 구조화 JSON 1줄) 기록됩니다.
room필드가 있는 구조화 줄만 셌습니다. 같은 room·같은 timestamp로 겹친 skip은 0건이었습니다. - 2.5초 타임아웃 120건은 모두 타임아웃 → 격리 → skip이 같은 시각에 찍힌 하나의 연쇄였습니다. 격리 로그도 함께 있지만, 먼저 일어난 타임아웃을 원인으로 분류했습니다.
- 나머지 696건은 2.5초 안에 final이 오지 않았거나, item_id가 달랐거나, 전사가 비어 있던 경우입니다. 셋 다 로그 없이 버려지는 경로라서 이 로그로는 서로 구분할 수 없습니다.
4. 일별 집계 (KST)
| 날짜 | 전체 | 2.5초 타임아웃 | ID 매핑 실패 | 나머지 | 활성 room | room 100개당 |
|---|---|---|---|---|---|---|
| 10-28 수* | 48 | 0 | 0 | 48 | 2,068 | 2.3 |
| 10-29 목 | 54 | 1 | 1 | 52 | 3,556 | 1.5 |
| 10-30 금 | 36 | 0 | 0 | 36 | 2,322 | 1.6 |
| 10-31 토 | 42 | 9 | 0 | 33 | 1,641 | 2.6 |
| 11-01 일 | 122 | 24 | 0 | 98 | 2,012 | 6.1 |
| 11-02 월 | 226 | 35 | 0 | 191 | 3,351 | 6.7 |
| 11-03 화 | 224 | 36 | 0 | 188 | 3,497 | 6.4 |
| 11-04 수* | 65 | 15 | 0 | 50 | 1,150 | 5.7 |
| 합계 | 817 | 120 | 1 | 696 |
* 10-28은 18:43 이후, 11-04는 18:43까지만 들어 있습니다. 두 날을 합치면 빈 구간 없이 7일입니다. 활성 room은 WARN 로그에 한 번이라도 찍힌 room 수이며 HC와 VP를 모두 포함합니다.
5. 11월 1일 급증
수업량 착시가 아닌 비율 증가
- room 100개당 판독 불가가 10-28~10-31에는 1.5~2.6건이었고, 11-01~11-04에는 5.7~6.7건입니다.
- 10-29(3,556 room)와 11-02(3,351 room)는 수업량이 비슷한데 판독 불가는 54건에서 226건으로 늘었습니다.
- 2.5초 타임아웃과 원인 로그 없는 건이 함께 늘었습니다. OpenAI Realtime의 commit 응답과 final 전사가 전반적으로 느려졌을 가능성이 있습니다(추정).
시작 시점
10-31 12~17시 판독 불가 0~4건/시간 · room 100개당 약 2~3건
(10-31 18시 ~ 11-01 08시: 수업 없음, prod 배포 없음)
11-01 09시 33건 / 478 room = 6.9 ← 첫 수업 시간부터 바로 상승
11-01 10시 30건 / 440 room
11-01 11시 29건 / 440 room
11-02 ~ 11-04 room 100개당 5.7~6.7 유지
특정 room에 몰리지 않음
하루 판독 불가 중 상위 5개 room이 차지하는 비율은 10-28 31%(15/48)에서 11-02 12%(26/226)로 오히려 줄었습니다. 판독 불가가 난 room 수도 하루 31~47개에서 67~130개로 늘었습니다. 일부 아동이나 기기 문제가 아니라 전체적으로 퍼진 현상입니다.
배포와의 관계: 시점이 맞지 않음
| prod 배포 (KST) | 릴리스 | agent 변경 | 배포 후 room 100개당 |
|---|---|---|---|
| 10-28 22:30 | 3.12.0 | VP STT 선택(#1200), 빈 room job 종료(#1226) | 10-29 1.5 |
| 10-30 11:23 | 3.13.0 | 없음 (3.12.0과 agent diff 0) | 10-30 1.6 · 10-31 2.6 |
| 11-01 09시 급증 | — | 배포 없음 | 6.1~6.9 |
| 11-02 12:04 | 3.13.1 | 정정 전송(#1241), commit/ack 경로와 무관 | 이미 오른 뒤 |
| 11-03, 11-04 | 3.14.0, 3.15.0 | 확인 안 함 | 이미 오른 뒤 |
판독 불가로 이어지는 로그(commit acknowledgement timed out, correlation quarantined)는 8/31(#1041)과 10/19(#1180)에 들어온 vendor 코드에서 나오고, 그 뒤로 이 경로를 바꾼 PR은 없습니다. 그래서 우리 코드보다는 외부 요인이 먼저 의심됩니다. 후보는 OpenAI Realtime의 지연, 또는 수업 설정(HC 비중·model) 변경입니다(추정).
6. 한계와 미확정
- 분모에 VP 포함: 활동 room 수는 HC와 VP를 합친 값입니다. 11-01부터 HC 수업 비중이 늘었다면 비율 상승은 착시일 수 있습니다. 이 WARN 로그로는 room별 모드를 구분할 수 없습니다.
- 트리거 건수 = 상한값: 실제로
(판독 불가)말풍선이 나갔는지는 WARN 로그에 없습니다. 복구 조건(입력 OFF, 정상 응답 보호 등)에서 걸러진 턴이 있을 수 있습니다. - 나머지 696건의 세부 원인: final 미도착, item_id 불일치, 빈 전사를 구분하려면
_admit_realtime_audio_for_eot에 실패 원인 로그가 필요합니다. - 배포 확인 범위: 배포 workflow 성공을 기준으로 봤고, 실행 중인 task의 이미지 버전은 확인하지 않았습니다. 10-28 이전 상태는 로그 범위 밖입니다.
7. 다음 확인 항목
- 10-31과 11-01 사이에 수업의
conversationMode나 model 설정이 바뀌었는지 DB에서 확인 - HC room만 따로 분모로 잡아 비율을 다시 계산 (세션 로그 또는 session config 기준)
- OpenAI Realtime 상태 페이지와 지연 지표 확인 (11-01 전후)
- 원인 로그 없는 판독 불가를 나누도록
_admit_realtime_audio_for_eot의 false 분기별 실패 원인 로그 추가 검토