13회기 HC 응답 69초 지연
최종 전사 미확보와 Realtime 연속 시간 초과

마지막 업데이트 2026-11-02

발생: 2026-10-31 10:17~10:18 KST분석: 2026-11-02 · 이슈 ID 미발급아동 식별자 …4bb4a89d · 활동 newpp13_sadv1분석 소스: ppi develop 91dcfff7 · 운영 배포 SHA 미확인

1. 확인된 실패 경계와 사용자 증상

확정: PPI가 아동 발화를 마감한 뒤 최종 전사를 정상 입력으로 수락하지 못해 정상 응답을 중단했다. 대체 응답도 문맥 갱신과 응답 생성 시작 확인에서 연속 시간 초과됐다. 다음 발화의 입력 확인 실패로 재연결을 시작했고, 재연결 중 발화 처리 예외를 거친 뒤 후속 응답이 재개됐다.
68.8초발화 마감 → 후속 응답 시작
22명같은 구간 다른 아동의 음성 송출 확인
미확정OpenAI·통신·SDK 중 최초 정지 원인

지연은 user_turn_committed가 기록된 10:17:02.281부터 후속 agent_response_started가 기록된 10:18:11.072까지 68.791초다. 직전 AI 응답 완료 10:16:42.739부터 계산하면 응답 사이 간격은 88.333초다. 두 값은 시작 기준이 다르며, 녹음을 청취해 측정한 실제 무음 길이가 아니다.

미확정: OpenAI 서버 내부 장애 여부. 제공 자료는 에이전트 로그이며 OpenAI 내부 로그, 원본 WebSocket 송수신 기록, 클라이언트 재생 증거는 없다. 전사 미확보가 뒤의 통신 시간 초과를 유발했는지, 공통 세션 문제가 여러 실패를 일으켰는지도 구분되지 않는다.

조사 결과 문서다. 애플리케이션 코드·설정 변경과 수정 검증은 수행하지 않았다. 운영 배포 SHA를 확보하지 않아 분석 시점 소스와 배포 코드의 전체 일치를 보장하지 않는다.

2. 69초 지연의 시간순 흐름

모든 시각은 2026-10-31 한국시간이다. 근거의 행 번호는 ppi-livekit-agent-prod-20261031_1000-1030.log 기준이며 중복 출력 행은 별도 장애로 세지 않았다.

KST관측 이벤트정확한 의미원본 행
10:16:43.535user_state_changed → speaking에이전트가 아동 음성 활동을 감지했다.아동별 추출본 L7015
10:17:02.281user_turn_committedPPI의 침묵 타이머가 turn-1을 마감했다. OpenAI 입력 수신 확인이 아니다.L590458
10:17:04.780~04.781skipping Half Cascade turn without exact provider final
provider_final_not_admitted
약 2.5초 뒤 해당 발화의 유효한 최종 전사를 수락하지 못해 정상 응답을 생략했다.L591431, L591435
10:17:04.785~04.786user_stt_provider_final_fallback
user_stt_segment
판독 불가 대체 처리를 실행했다. 이때의 final 표시 이벤트는 로컬 대체 표시이며 OpenAI 최종 전사 수신의 증거가 아니다.L591440, L591447
10:17:09.794update_chat_ctx timed out.대체 응답용 문맥 갱신 확인이 5초 시간 초과됐다. SDK는 응답 생성 시도를 계속한다.L594285
10:17:19.795failed to generate a reply: generate_reply timed out.대응하는 응답 생성 시작 이벤트를 SDK가 10초 안에 처리하지 못했다. 대체 답변도 TTS로 이어지지 않았다.L601993
10:17:30.530~39.731다음 발화 감지 → user_turn_committed아동 음성 활동은 계속 감지됐다. turn-2를 마감했다.아동별 L7078, 전체 L612391
10:17:42.223~42.225input audio commit acknowledgement timed out
commit correlation quarantined; reconnecting
다음 입력의 commit 확인이 2.5초 시간 초과됐다. 세션을 격리하고 재연결을 시작했다. turn-2의 최종 전사 수락도 실패했다.L613329, L613333, L613342
10:18:00.725Error in _bounce_eou_task
provider epoch replacement
연결 교체 중 입력 식별자를 사용할 수 없어 turn-3의 발화 종료 처리가 예외로 실패했다.L626643
10:18:10.224~10.226최종 전사 이벤트와 user_stt_segment후속 전사 수신·처리가 다시 관측됐다.아동별 L7167, 전체 L632424
10:18:11.072agent_response_started후속 response-2가 TTS 경로에서 시작했다. 원래 실패한 turn-1 대체 답변의 뒤늦은 성공이라고 해석하지 않는다.L633655
10:18:12.879tts_audio_outbound_sample1초 표본에서 패킷 49개, 11,403바이트 송출이 확인됐다. 아동 기기의 실제 재생은 미확인이다.L636753
최종 전사 하나를 69초 동안 기다린 것이 아니다. 전사 수락 실패 후 대체 응답의 5초·10초 대기, 다음 발화, 입력 확인 실패와 재연결, 재연결 중 처리 실패가 이어진 구간이다. 2.5 + 5 + 10초만 더해서 전체 지연 시간을 설명할 수 없다.

3. 발화 마감과 OpenAI 확인 이벤트의 차이

이벤트발생 주체·방향증명하는 것
user_turn_committedPPI 내부침묵 타이머에 따른 로컬 발화 마감. 전사 완료나 OpenAI 수신을 증명하지 않는다.
input_audio_buffer.commit에이전트 → OpenAI음성 버퍼를 사용자 입력으로 확정해 달라는 요청.
input_audio_buffer.committedOpenAI → 에이전트입력 commit 확인과 해당 입력의 item_id.
conversation.item.input_audio_transcription.completedOpenAI → 에이전트아동 입력 음성의 최종 전사. AI 답변 텍스트와 다르다.
response.create에이전트 → OpenAI새 응답 생성을 요청한다.
response.createdOpenAI → 에이전트응답 객체 생성과 처리 시작. 답변 전체 완료를 뜻하지 않는다.

현재 SDK의 generate_reply는 response.create를 전송 큐에 넣고 대응하는 response.created를 기다린다. 10초 뒤 미해결이면 generate_reply timed out을 기록한다. 이번 10:17:09경의 요청 시점은 이 코드와 시간 초과 로그를 연결한 해석이다. 실제 WebSocket 송신 시각이나 OpenAI 도착 시각은 기록에 없다.

공식 API 의미: Realtime 클라이언트 이벤트 · Realtime 서버 이벤트.

4. 이번 HC 경로가 최종 전사를 기다리는 이유

로그의 설정은 gpt-realtime, engine=livekit_vad, interruptions=False다. OpenAI Realtime이 음성을 이해하고 답변 텍스트를 생성하며, Typecast가 출력 음성을 만든다. 현재 PPI SDK는 이 경로에서 최종 전사를 수락해야 아동 발화의 정상 응답을 진행한다.

아동 입력 음성
→
동일 발화의 최종 전사 검증
→
Realtime 답변 텍스트
→
Typecast 음성 송출

SDK는 입력 commit 확인의 item_id와 최종 전사의 item_id가 일치하는지, is_final=true인지, 전사가 비어 있지 않은지, 현재 세션·발화에 수락 가능한지 검사한다. 기본 2.5초 대기 안에 검증을 통과하지 못하면 provider_final_not_admitted로 정상 응답을 중단한다.

이 실패 분류는 전사 미도착만 뜻하지 않는다. 입력 확인 미도착, 전사 지연, 식별자 불일치, 세션 교체·검증 실패도 구분해야 한다. 첫 실패 10:17:04에서는 세부 원인이 기록되지 않았다. 다음 발화 10:17:42에서는 입력 commit 확인 시간 초과가 명시됐다.

OpenAI Realtime 자체는 입력 음성을 직접 처리한다. 입력 전사는 별도 ASR 모델이 비동기적으로 처리하므로 응답이 먼저 생성될 수 있다. 이 문서의 전사 검증 선행 조건은 PPI의 해당 HC 경로에 대한 설명이다. HC 전체나 OpenAI Realtime의 본질적 제약으로 일반화하지 않는다. OpenAI 입력 전사와 응답 생성의 비동기 관계.

5. 대체 응답도 같은 Realtime 세션에 요청한다

PPI는 최종 전사 실패를 받으면 표시용 (판독 불가) 이벤트를 발행하고, 입력 상태를 정리한 뒤 같은 세션의 generate_reply를 호출한다. 아동 음성을 다시 전사해 달라는 요청이 아니라 안내용 텍스트를 넣어 새 답변을 생성하는 경로다.

session.generate_reply(
    user_input=STT_NO_FINAL_LLM_INPUT_TEXT,
    tool_choice="none",
)

지시문의 취지는 아동 발화를 알아듣지 못했으니 답이 필요하면 다시 말해 달라고 하고, 답이 없어도 괜찮으면 추측하지 말고 자연스럽게 이어가라는 것이다. 고정 음원을 즉시 재생하는 방식이 아니다. 생성된 답변 텍스트가 있어야 Typecast TTS로 이어진다.

따라서 정상 발화 응답은 전사 검증에 막혀도 첫 인사·텍스트 지시·대체 안내는 별도로 생성할 수 있다. 이번에는 대체 안내가 의존하는 Realtime 문맥 갱신과 응답 생성 확인도 연속 실패했다.

6. 같은 시간의 다른 아동과 30분 전체 비교

비교 창은 대상의 로컬 발화 마감 10:17:02.281부터 전사 재개 직전 10:18:09.969까지다. 양 끝 시각을 포함했다. 이 창과 로그 기록 범위가 겹치는 35개 job의 아동 식별자는 23개다. 대상 아동을 제외한 22명 모두에게서 tts_node_audio_output의 완료·양수 프레임과 tts_audio_outbound_sample의 양수 패킷을 확인했다. 그중 18명은 최종 전사 표시도 확인했다. 같은 gpt-realtime + livekit_vad 설정의 세션들이다.

다른 아동 suffix전사 표시응답 시작송출 표본근거 행
…3d9115c210:17:19.57010:17:20.11710:17:21.800 · 48패킷L601817, L602073, L602831
…0334d45710:17:46.58410:17:47.17210:17:48.830 · 50패킷L619103, L619481, L620078
…a6307c2f10:17:57.99610:17:58.59210:18:00.321 · 51패킷L624074, L624442, L625823

이 비교는 같은 시간에 전체 룸의 서버 음성 출력이 멈춘 상황을 지지하지 않는다. 각 아동의 모든 턴이 정상이라는 보증이나 기기에서 실제로 소리가 들렸다는 확인은 아니다.

다른 아동에서도 동일한 실패 묶음: …a6307c2f에게 10:02:29 전사 수락 실패, 10:02:34 문맥 갱신 시간 초과, 10:02:44 응답 생성 시간 초과, 10:02:46 입력 확인 시간 초과·재연결, 10:03:00 연결 교체 중 발화 처리 예외가 있었다. 전체 30분의 문맥 갱신·응답 생성·입력 확인 시간 초과 묶음은 두 아동의 두 job에서 확인됐다. 다른 아동의 최초 송출 재개는 10:02:50.707이며, 이후 10:03:00에도 입력 처리 예외가 있어 재연결만으로 즉시 완전히 복구됐다고 보지 않는다.

다른 아동 근거: L54833, L57921, L62550, L64271, L64276, L66297, L70924. 단발성 provider-final 미수락은 다른 job에도 있어 이를 모두 69초 장애와 동일하게 분류하지 않았다. 일부 세션에서 반복되는 실패는 확인됐지만 두 아동이 같은 원인을 공유하는지는 미확정이다.

7. 제시된 OpenAI 장애 공지와는 시간·대상이 다르다

OpenAI 공식 장애 공지는 Dots·ChatGPT Work·일부 ChatGPT thinking의 검색 기능 오류를 다룬다. 페이지 내 UTC 원문 시각은 10월 30일 19:38~21:14이며, 한국시간으로는 10월 31일 04:38~06:14다. 이번 지연은 10:17~10:18로 공지상 복구 약 4시간 뒤다.

이 공지에는 Realtime API가 영향 대상으로 명시되지 않았다. 따라서 이 공지를 이번 사건의 원인 근거로 사용하지 않는다. 공지의 범위와 시간 불일치가 개별 Realtime 연결 문제까지 배제하는 것은 아니다.

8. 분석 근거·소스 경로·검증 한계

자료확인 범위
아동별 LiveKit Agent 추출본10:03~10:25, 구조화 로그 9,856행. 대상 13회기·활동별 전사, 발화, 시간 초과, 후속 송출 대조. job …vqnM, 에이전트 voice session …f20cad82.
ppi-livekit-agent-prod-20261031_1000-1030.log전체 890,435행, 아동 식별자 25개, room/job 식별 가능한 job 242개. JSON 883,763행과 일반 텍스트 6,672행을 분리했다. 일반 텍스트는 noise cancellation 인증 실패·사용 불가 각 3,336행이며 미해석 입력으로 버리지 않았다.
중복 처리·다른 룸 비교room이 있는 구조화 레코드만 room별 집계에 사용했다. 동일 메시지의 room 없는 중복 출력은 별도 장애로 세지 않았다. 같은 시간 창의 TTS 완료·양수 프레임·양수 송출 패킷을 아동 식별자별로 집계했다.
애플리케이션 소스분석 시점 develop 91dcfff7. 운영 배포 SHA 미확인. 로그 메시지와 타임아웃 간격을 현재 소스와 대조했으며 전체 배포 일치를 주장하지 않는다.
PPI 저장소 상대 경로확인한 책임
apps/livekit-agent/agent.py_run_terminalization_after_delay의 로컬 발화 마감. _on_user_input_transcription_failed와 _deliver_unreadable_recovery의 대체 응답 요청. _build_half_cascade_session의 text 출력 및 Typecast TTS 구성.
apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py_REALTIME_INPUT_TRANSCRIPTION_TIMEOUT=2.5, 입력 commit 예약·전사 복구·수락 검증, 최종 전사 미수락 시 정상 턴 생략.
apps/livekit-agent/vendor/livekit-agents/livekit/agents/llm/_realtime/openai.py전송 큐 등록, update_chat_ctx의 5초 확인 대기, generate_reply의 10초 생성 시작 대기, 입력 확인 상관관계 격리·연결 교체.

검증은 Python 표준 라이브러리의 스트리밍 JSON 파싱·시각 필터·아동별 집계와 원본 이벤트 대조로 수행했다. 전체 원본·아동 이름·발화 내용은 이 문서에 복제하지 않았다. 애플리케이션 수정이 없으므로 수정 전후 테스트와 회귀 테스트는 해당하지 않는다.

남은 확인과 백로그 후보

  1. 두 실패 job의 WebSocket 큐 등록·실제 송신·수신·이벤트 처리 시각을 요청 ID, 입력 item_id, 연결 epoch별로 연결한다. 최초 전사 실패의 세부 사유를 분리한다.
  2. 같은 호스트의 네트워크와 이벤트루프 지연을 대조해 외부 서비스·전송·SDK 처리 중 정지 경계를 좁힌다.
  3. 후속 검토는 연속 시간 초과 시 조기 복구, Realtime에 의존하지 않는 안내 음성, 연결 교체 중 발화 처리 예외 방지다. 중복 발화·이전 활동 응답·새 아동 발화 유실을 함께 검증해야 한다. 구현·적용된 개선은 없다.