판독 불가 이후 AI 무응답
Realtime 대체 응답 요청의 연속 시간 초과
마지막 업데이트 2026-11-02
1. 판정과 사용자 증상
(판독 불가)를 표시한 뒤, 대체 응답을 요청했다. 그러나 문맥 업데이트 확인이 5초, 응답 생성 시작 확인이 10초 만에 각각 시간 초과되어 대체 응답이 음성 출력으로 이어지지 않았다.화면에는 마지막 AI 답변과 이후 아동 메시지, (판독 불가)만 남아 있다. 마지막 AI 응답 완료부터 다음 응답 시작까지 서버 기준 약 71.8초가 벌어졌다. 이는 전체 구간에 대한 로그상 간격이며, 실제 녹음을 청취해 측정한 무음 길이는 아니다.
조사 결과 문서이며 애플리케이션 코드·설정 변경, 수정 전후 비교, 수정 검증은 없다. 대체 응답 경로가 누락된 것으로 판정하지 않는다.
2. 핵심 타임라인 — 서버 시계 기준
| KST | 사실 | 근거 |
|---|---|---|
| 20:47:19.479 | 마지막 AI 응답 response-4 시작 | 서버 L23762 · agent_response_started |
| 20:47:28.088 | 해당 응답 완료 | L34570 · agent_response_completed |
| 20:47:55.375 | turn-7 발화 종료 확정 | L70044 · user_turn_committed |
| 20:47:57.875 | 정확한 최종 전사 수락 실패, 정상 응답 생략 | L74085 · skipping Half Cascade turn without exact provider final |
| 20:47:57.878 | 대체 처리 실행 및 판독 불가 표시 이벤트 발행 | L74096 · user_stt_provider_final_fallback / L74105 · user_stt_segment |
| 20:48:02.885 | 대체 응답용 문맥 업데이트 확인 시간 초과 | L80591 · update_chat_ctx timed out. |
| 20:48:12.885 | 이어서 요청한 응답의 시작 확인도 시간 초과 | L96132 · failed to generate a reply: generate_reply timed out. |
| 20:48:29.823 | 다음 입력 commit ACK 2.5초 시간 초과, 상관관계 격리 및 연결 재설정 | L118875 / L118877 |
| 20:48:30.923 | 연결 교체 중 입력 commit identity 사용 불가 예외 | L120271 · provider epoch replacement |
| 20:48:39.906 | 후속 turn-10에서 AI response-5 시작 | L129795 · agent_response_started |
원본 서버 로그의 물리적 행 번호. JSONL 브라우저 로그의 동일 이벤트는 서버보다 약 0.72~0.74초 이르게 기록된다. 예: provider final 실패는 브라우저 20:47:57.147 / 서버 20:47:57.875. 두 시계를 섞어 지연 시간을 계산하지 않았다. 원본 수집 경로의 중복 행은 별도 장애로 세지 않았다.
3. 실제 실행 경로와 시간 초과의 의미
아동 오디오 → Half Cascade 최종 전사 수락 실패 → 정상 응답 생략 → 판독 불가 표시 + 대체 응답용 user_input → Realtime 문맥 업데이트 확인 대기 [5초 시간 초과] → best-effort 정책에 따라 응답 생성은 계속 시도 → response.create 요청 → 대응하는 응답 시작 확인 대기 [10초 시간 초과] → 응답 생성 실패 처리 → TTS로 이어지는 새 응답 없음 → 다음 입력에서도 commit ACK 실패 → 연결 재설정 → 후속 응답 재개
generate_reply timed out은 답변 전체 완성이 늦다는 의미가 아니다. SDK가 response.create를 전송 큐에 넣은 뒤 대응하는 생성 시작 이벤트를 10초 안에 처리하지 못했다는 뜻이다. 이 로그만으로 OpenAI가 실제 요청을 수신했는지, 응답을 보냈으나 처리되지 않았는지는 알 수 없다.
대체 응답 지시는 “아동의 방금 발화를 알아듣지 못했으니, 답이 필요하면 다시 말해 달라고 하고, 없어도 괜찮으면 추측하지 말고 자연스럽게 이어가라”는 취지다. 고정된 재질문 음성이 아니다.
| PPI 저장소 상대 경로 | 확인한 역할 |
|---|---|
| apps/livekit-agent/agent.py | _on_user_input_transcription_failed → _maybe_schedule_provider_final_fallback → _deliver_unreadable_recovery. 표시 이벤트 발행 뒤 입력 정리·interrupt 후 session.generate_reply(user_input=…, tool_choice="none"). |
| apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py | 최종 전사 미수락 시 정상 턴 생략. 대체 user_input의 update_chat_ctx 오류는 경고 후 계속 진행하고, 응답 생성 오류는 실패로 종료. |
| apps/livekit-agent/vendor/livekit-agents/livekit/agents/llm/_realtime/openai.py | update_chat_ctx의 확인 대기 5초, generate_reply의 생성 시작 확인 대기 10초. 시간 초과는 로컬 SDK가 기록한다. |
위 경로는 분석 시점 develop 소스와 서버 메시지를 대조했다. 운영 배포 SHA 및 provider 원본 이벤트는 확보하지 않아 코드 전체가 동일했다고 단정하지 않는다.
4. 같은 시간대의 다른 세션과 비교
| KST | 세션 구분 | 로그와 해석 |
|---|---|---|
| 20:47:28.345 | 다른 job …GihqtSa8 | 문맥 업데이트 확인 시간 초과, L35370 |
| 20:47:32.458 | 같은 다른 job | discarding response that arrived after it was timed out or interrupted. 지연 또는 중단 뒤 도착한 응답 폐기이며, 이 문구만으로 시간 초과 여부를 확정하지 않는다. |
| 20:48:02~29 | 대상 job …ejMgeStr | 문맥 업데이트·응답 생성·입력 ACK 시간 초과 3건 |
파일 전체의 timed out 포함 행은 11줄이다. 중복을 합치면 실제 시간 초과 4건(2개 job)과 지연·중단 후 응답 폐기 1건이다. 모두 Realtime 연동 경로의 로그이나 같은 원인이라는 증거는 아니다. 서로 다른 job에서 가까운 시각에 실패해 공통 장애 가능성을 높이지만, 실행 호스트·CPU·이벤트루프 상태는 확인하지 않았다.
5. 배제 가능한 해석과 남은 한계
- 대체 요청 누락: 문맥 업데이트 경고와 뒤이은 생성 시간 초과로 요청 경로 실행이 확인되어 기각한다.
- 스피커·TTS가 직접 원인: 이 대체 응답은 생성 시작 확인 단계에서 실패했다. 브라우저 재생 문제를 이 무응답의 주원인으로 볼 근거가 없다.
- 타임아웃이 너무 짧음: 여러 종류의 요청이 연속 실패해 단순 임계값 문제로 단정할 수 없다. 시간 연장만 하면 무응답 대기가 길어질 수 있다. 지연된 확인 이벤트의 실제 도착 시간 없이 적정 값을 정하지 않는다.
- OpenAI 전체 장애: 공식 상태 이력에서 해당 시간과 연결할 Realtime 공지는 확인되지 않았다. 10월 26일 공지는 Ads POST 오류이며 Realtime 영향 근거가 아니다. 공지 부재는 개별 연결 장애 부재를 뜻하지 않는다.
- 재연결이 원인을 입증: 연결 재설정 후 후속 응답은 관측되지만 네트워크·OpenAI·SDK 중 원인을 특정하지 못한다. turn-7 대체 응답의 뒤늦은 성공으로 취급하지 않는다.
OpenAI 상태 이력 · 10월 26일 Ads API 공지 (확인: 2026-10-27)
6. 검증 자료와 다음 조치
| 자료 | 사용 범위 |
|---|---|
| lesson-log-20261026.jsonl.gz | 38,077행. 확장자는 gz이나 실제 내용은 일반 JSONL. 대상 브라우저 이벤트·마이크 복원·응답 부재 구간 대조. |
| ppi-livekit-agent-prod-20261026_2047-2050.log | 20:47~20:50 서버 로그. 대상 job/voice session 필터, 메시지 및 event_id 중복 제거, 전체 timed out 메시지 분류. |
| 제공 스크린샷 | 찬성 활동 10/15, 마지막 AI 답변 이후 아동 발화와 판독 불가 표시 대조. 아동 이름·화면 원본은 문서에 복제하지 않음. |
상관 식별자: job suffix …ejMgeStr, voice session suffix …10dc3c24, turn-7, 전후 response-4/5. 로그 검색은 원본에서 동일 job을 필터한 뒤 수행했다. 관찰 검증이며 자동 테스트 실행·수정 검증은 해당하지 않는다.
- provider 이벤트 ID와 연결 epoch를 기준으로 요청 큐 등록·실제 송신·수신·이벤트 처리 시각을 대조해 정지 경계를 확정한다. 발화 본문을 추가로 수집하지 않는 계측을 우선한다.
- 두 job의 호스트·네트워크·이벤트루프 메트릭과 WebSocket 상태를 비교해 공통 원인을 분리한다.
- 백로그 후보: Realtime 연속 시간 초과 후 연결 복구·응답 재시도 정책. 재시도 시 이전 응답 중복 생성, 새 아동 발화 끼어들기, 활동 전환 후 stale 응답을 막는 검증이 필요하다. 아직 구현 승인·수정 없음.
7. 인수인계용 요약
2026-10-26 20:47~20:49 KST, 2회기 Half Cascade. turn-7 exact provider final 미수락 후 unreadable fallback 실행. 20:48:02 update_chat_ctx(5초), 20:48:12 generate_reply(10초) 시간 초과. 다음 입력 ACK도 20:48:29에 실패해 reconnect, 20:48:39 후속 turn-10 응답 재개. 대체 요청 누락 아님. OpenAI 귀책 미확정. 다른 job에서도 20:47:28 문맥 업데이트 시간 초과. 코드 변경·회귀 테스트 없음. 근거는 원본 서버 로그 및 브라우저 JSONL. 시간축은 서버 기준으로 통일.
8. 10월 31일 후속 사례
13회기 HC 응답 69초 지연 분석에서도 최종 전사 수락 실패, 대체 응답의 5초·10초 시간 초과, 다음 입력 확인 실패와 재연결 중 예외가 관측됐다. 같은 시간 다른 아동 22명의 음성 송출과, 별도 아동의 10:02경 동일 실패 묶음도 대조했다. 증상 순서는 유사하지만 동일 원인은 미확정이다.