판독 불가 이후 AI 무응답
Realtime 대체 응답 요청의 연속 시간 초과

마지막 업데이트 2026-11-02

발생: 2026-10-26 20:47~20:49 KST · 2회기 HC분석: 2026-10-27 · 이슈 ID 미발급코드 확인: develop 45e571b9 · 배포 SHA 미확인

1. 판정과 사용자 증상

확정: 아동 발화의 최종 전사를 수락하지 못해 (판독 불가)를 표시한 뒤, 대체 응답을 요청했다. 그러나 문맥 업데이트 확인이 5초, 응답 생성 시작 확인이 10초 만에 각각 시간 초과되어 대체 응답이 음성 출력으로 이어지지 않았다.

화면에는 마지막 AI 답변과 이후 아동 메시지, (판독 불가)만 남아 있다. 마지막 AI 응답 완료부터 다음 응답 시작까지 서버 기준 약 71.8초가 벌어졌다. 이는 전체 구간에 대한 로그상 간격이며, 실제 녹음을 청취해 측정한 무음 길이는 아니다.

미확정: OpenAI 서비스 자체의 장애 여부. 확인된 장애 경계는 에이전트와 OpenAI Realtime 사이의 응답·확인 이벤트 처리다. 네트워크, SDK 송수신·이벤트 처리, 외부 서비스 중 귀책을 분리할 증거가 없다.

조사 결과 문서이며 애플리케이션 코드·설정 변경, 수정 전후 비교, 수정 검증은 없다. 대체 응답 경로가 누락된 것으로 판정하지 않는다.

2. 핵심 타임라인 — 서버 시계 기준

KST사실근거
20:47:19.479마지막 AI 응답 response-4 시작서버 L23762 · agent_response_started
20:47:28.088해당 응답 완료L34570 · agent_response_completed
20:47:55.375turn-7 발화 종료 확정L70044 · user_turn_committed
20:47:57.875정확한 최종 전사 수락 실패, 정상 응답 생략L74085 · skipping Half Cascade turn without exact provider final
20:47:57.878대체 처리 실행 및 판독 불가 표시 이벤트 발행L74096 · user_stt_provider_final_fallback / L74105 · user_stt_segment
20:48:02.885대체 응답용 문맥 업데이트 확인 시간 초과L80591 · update_chat_ctx timed out.
20:48:12.885이어서 요청한 응답의 시작 확인도 시간 초과L96132 · failed to generate a reply: generate_reply timed out.
20:48:29.823다음 입력 commit ACK 2.5초 시간 초과, 상관관계 격리 및 연결 재설정L118875 / L118877
20:48:30.923연결 교체 중 입력 commit identity 사용 불가 예외L120271 · provider epoch replacement
20:48:39.906후속 turn-10에서 AI response-5 시작L129795 · agent_response_started

원본 서버 로그의 물리적 행 번호. JSONL 브라우저 로그의 동일 이벤트는 서버보다 약 0.72~0.74초 이르게 기록된다. 예: provider final 실패는 브라우저 20:47:57.147 / 서버 20:47:57.875. 두 시계를 섞어 지연 시간을 계산하지 않았다. 원본 수집 경로의 중복 행은 별도 장애로 세지 않았다.

3. 실제 실행 경로와 시간 초과의 의미

아동 오디오 → Half Cascade 최종 전사 수락 실패
  → 정상 응답 생략
  → 판독 불가 표시 + 대체 응답용 user_input
  → Realtime 문맥 업데이트 확인 대기 [5초 시간 초과]
  → best-effort 정책에 따라 응답 생성은 계속 시도
  → response.create 요청 → 대응하는 응답 시작 확인 대기 [10초 시간 초과]
  → 응답 생성 실패 처리 → TTS로 이어지는 새 응답 없음
  → 다음 입력에서도 commit ACK 실패 → 연결 재설정 → 후속 응답 재개

generate_reply timed out은 답변 전체 완성이 늦다는 의미가 아니다. SDK가 response.create를 전송 큐에 넣은 뒤 대응하는 생성 시작 이벤트를 10초 안에 처리하지 못했다는 뜻이다. 이 로그만으로 OpenAI가 실제 요청을 수신했는지, 응답을 보냈으나 처리되지 않았는지는 알 수 없다.

대체 응답 지시는 “아동의 방금 발화를 알아듣지 못했으니, 답이 필요하면 다시 말해 달라고 하고, 없어도 괜찮으면 추측하지 말고 자연스럽게 이어가라”는 취지다. 고정된 재질문 음성이 아니다.

PPI 저장소 상대 경로확인한 역할
apps/livekit-agent/agent.py_on_user_input_transcription_failed → _maybe_schedule_provider_final_fallback → _deliver_unreadable_recovery. 표시 이벤트 발행 뒤 입력 정리·interrupt 후 session.generate_reply(user_input=…, tool_choice="none").
apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py최종 전사 미수락 시 정상 턴 생략. 대체 user_input의 update_chat_ctx 오류는 경고 후 계속 진행하고, 응답 생성 오류는 실패로 종료.
apps/livekit-agent/vendor/livekit-agents/livekit/agents/llm/_realtime/openai.pyupdate_chat_ctx의 확인 대기 5초, generate_reply의 생성 시작 확인 대기 10초. 시간 초과는 로컬 SDK가 기록한다.

위 경로는 분석 시점 develop 소스와 서버 메시지를 대조했다. 운영 배포 SHA 및 provider 원본 이벤트는 확보하지 않아 코드 전체가 동일했다고 단정하지 않는다.

4. 같은 시간대의 다른 세션과 비교

KST세션 구분로그와 해석
20:47:28.345다른 job …GihqtSa8문맥 업데이트 확인 시간 초과, L35370
20:47:32.458같은 다른 jobdiscarding response that arrived after it was timed out or interrupted. 지연 또는 중단 뒤 도착한 응답 폐기이며, 이 문구만으로 시간 초과 여부를 확정하지 않는다.
20:48:02~29대상 job …ejMgeStr문맥 업데이트·응답 생성·입력 ACK 시간 초과 3건

파일 전체의 timed out 포함 행은 11줄이다. 중복을 합치면 실제 시간 초과 4건(2개 job)과 지연·중단 후 응답 폐기 1건이다. 모두 Realtime 연동 경로의 로그이나 같은 원인이라는 증거는 아니다. 서로 다른 job에서 가까운 시각에 실패해 공통 장애 가능성을 높이지만, 실행 호스트·CPU·이벤트루프 상태는 확인하지 않았다.

5. 배제 가능한 해석과 남은 한계

OpenAI 상태 이력 · 10월 26일 Ads API 공지 (확인: 2026-10-27)

6. 검증 자료와 다음 조치

자료사용 범위
lesson-log-20261026.jsonl.gz38,077행. 확장자는 gz이나 실제 내용은 일반 JSONL. 대상 브라우저 이벤트·마이크 복원·응답 부재 구간 대조.
ppi-livekit-agent-prod-20261026_2047-2050.log20:47~20:50 서버 로그. 대상 job/voice session 필터, 메시지 및 event_id 중복 제거, 전체 timed out 메시지 분류.
제공 스크린샷찬성 활동 10/15, 마지막 AI 답변 이후 아동 발화와 판독 불가 표시 대조. 아동 이름·화면 원본은 문서에 복제하지 않음.

상관 식별자: job suffix …ejMgeStr, voice session suffix …10dc3c24, turn-7, 전후 response-4/5. 로그 검색은 원본에서 동일 job을 필터한 뒤 수행했다. 관찰 검증이며 자동 테스트 실행·수정 검증은 해당하지 않는다.

  1. provider 이벤트 ID와 연결 epoch를 기준으로 요청 큐 등록·실제 송신·수신·이벤트 처리 시각을 대조해 정지 경계를 확정한다. 발화 본문을 추가로 수집하지 않는 계측을 우선한다.
  2. 두 job의 호스트·네트워크·이벤트루프 메트릭과 WebSocket 상태를 비교해 공통 원인을 분리한다.
  3. 백로그 후보: Realtime 연속 시간 초과 후 연결 복구·응답 재시도 정책. 재시도 시 이전 응답 중복 생성, 새 아동 발화 끼어들기, 활동 전환 후 stale 응답을 막는 검증이 필요하다. 아직 구현 승인·수정 없음.
애플리케이션: 변경 없음. 문서: 조사 결과 추가. 타임아웃 연장이나 재연결 정책 변경은 이 문서의 구현 결과가 아니라 후속 검토 대상이다.

7. 인수인계용 요약

2026-10-26 20:47~20:49 KST, 2회기 Half Cascade. turn-7 exact provider final 미수락 후 unreadable fallback 실행. 20:48:02 update_chat_ctx(5초), 20:48:12 generate_reply(10초) 시간 초과. 다음 입력 ACK도 20:48:29에 실패해 reconnect, 20:48:39 후속 turn-10 응답 재개. 대체 요청 누락 아님. OpenAI 귀책 미확정. 다른 job에서도 20:47:28 문맥 업데이트 시간 초과. 코드 변경·회귀 테스트 없음. 근거는 원본 서버 로그 및 브라우저 JSONL. 시간축은 서버 기준으로 통일.

8. 10월 31일 후속 사례

13회기 HC 응답 69초 지연 분석에서도 최종 전사 수락 실패, 대체 응답의 5초·10초 시간 초과, 다음 입력 확인 실패와 재연결 중 예외가 관측됐다. 같은 시간 다른 아동 22명의 음성 송출과, 별도 아동의 10:02경 동일 실패 묶음도 대조했다. 증상 순서는 유사하지만 동일 원인은 미확정이다.