마지막 업데이트 2026-10-02
결론: 무응답을 만든 직접 원인은 우리 agent의 2.5초 기한·턴 폐기 정책이다. final 미확보의 최초 원인은 미확정이다. 기존 분석에서는 turn-5 커밋 후 2.502초에 턴 폐기가 기록됐다. 그 시간대 interim은 57자까지 관측됐지만 item_id가 없어 해당 턴의 전사라고 확정할 수 없다. final 로그는 허용 후에만 남으므로 OpenAI 미수신과 우리 플러그인 처리 탈락을 구분하지 못한다. 당시 원래 응답이 생성되지 않아 아바타는 idle에 머물렀다. 8절에 로컬 결함 재현과 판단 범위를 정리했다.
신고 문장 "오 진짜? 그 로봇은 뭐 하는 로봇이었는데?"는 아동 발화가 아니라 AI 응답(response-5)이며 정상 재생됐다. 무응답은 그다음 아동 대답(turn-5)에 대한 것이다.
시간대 분석(4-3절): 기존 9/29 17~20시 표본은 3,928턴 중 57건(1.45%)의 폐기를 보고했다. 자원 포화가 주원인이라는 근거는 부족하고 발화 길이·시간대별 지연 차이는 관측됐다. 그러나 OpenAI 처리 지연, 전송·수신 지연, 우리 플러그인 문제 중 어느 것인지는 처리 전 이벤트 관측 없이는 확정할 수 없다. 이번 재검토에서는 원본 로그를 찾지 못해 해당 통계를 재집계하지 않았다.
이슈 분류기(ppi-issue-classifier)는 child 59%로 판정했다. 분류기 입력(guest·monitor·LiveKit 서버·socket)에 agent CloudWatch 로그가 없었고, child 쪽 점수는 20분 구간 전체의 문제 턴과 무관한 신호(guest_voice_event_ignored 75건=unsupported_event 상시 로그, Audio output suspected silent는 19:00:31로 4분 전, 자동전환·DECODE_OVERLOAD는 창 밖)에서 나왔다.
19:04:55 AI response-5 "오 진짜? 그 로봇은…" 재생
→ SFU active speaker remote=true, 아동 audio element paused:false·currentTime 증가 정상
19:04:48~19:05:00 아동 turn-5 발화 (약 12초, 중간에 두 번 끊겼다 재개 = endpointing_resumed ×2)
→ agent VAD speaking 이벤트 수신 = 아동 마이크 업링크 정상
19:05:03.605 user_turn_committed (turn-5, user_silence_endpointing_timer 2400ms)
19:05:04.203~04.652 user_stt_event_received interim, 길이 1 → 57 (그 시간대 전사 진행 관측, item 귀속 미확정)
✗ 기한(19:05:06.105) 안에 turn-5 final 미확보
19:05:06.107 WARNING skipping Half Cascade turn without exact provider final
(failure_category=provider_final_not_admitted, 커밋 +2.50초 = 타임아웃 값)
→ 응답 생성 없이 return → AI 무응답 · 아바타 idle 유지
19:05:16.205 user_state_changed → away (13초 무반응)
19:05:19.5 진행자 텍스트 전송 → 19:05:20.516 agent_response_started response-6 (회복)
대조군: 같은 수업의 다른 8개 턴은 커밋 후 0.76~1.5초 안에 final(user_stt_segment)이 도착했다. 19:00~19:20 전체에서 턴 폐기는 이 1건뿐.
① LiveKit VAD 발화 종료 → agent가 OpenAI에 commit_audio → item_id 수신 (이번 건 정상, ack 경고 0건) ② OpenAI 전사(gpt-4o-transcribe) final(completed) 도착 — 2.5초 기한 ✗ 여기서 폐기 ③ 턴 인정 → on_user_turn_completed 훅 → _generate_reply(modality="audio") (agent_activity.py:3944) ④ OpenAI Realtime 모델이 응답을 텍스트로 스트리밍 (modalities: ["text"], agent.py:1286 부근) ⑤ 응답 텍스트 → Typecast TTS 합성·재생 (agent.py:1426 _build_tts)
Typecast가 받는 것은 STT final이 아니라 ④의 AI 응답 텍스트다. STT final은 턴 인정·대화 기록·훅 판정(키워드 매칭 등)에 쓰인다. Realtime 모델이 commit된 오디오 item을 직접 입력으로 듣는지는 끝까지 추적하지 않았다(modality="audio" 기준 추정).
VP 모드(voice_pipeline)는 해당 없음. 텍스트 LLM + 별도 STT(Soniox/ASR) 구조라 위 진입 조건을 만족하지 않고, _build_voice_pipeline_session은 openai_realtime을 거부한다(agent.py:1098).
턴 커밋 뒤 realtime 입력 전사의 정확한 provider final을 최대 2.5초 기다린다. final이 없으면 fail-closed로 턴을 버린다. 부정확한 입력으로 대답하지 않으려는 설계지만, 이번처럼 기한 안에 final을 못 받으면 아동 입장에서는 "말했는데 대답 없음"이 되고 클라이언트·모니터에 아무 신호도 가지 않는다.
| 파일 · 줄 | 내용 |
|---|---|
| ppi-issue-classifier/inputs/20260929_이현우_18/turn5-flow/agent-job-AJ_X2z9UJp3JUJQ-1904-1906-full.log :440 / :475 | turn-4 커밋 → final 1.5초 (정상 대조군) |
| 동 :568 | turn-5 speaking (음성 도달) |
| 동 :613 | turn-5 user_turn_committed 19:05:03.605 |
| 동 :616~725 | interim 길이 1→57, 기한 내 final 미확보 |
| 동 :730 | skipping Half Cascade turn … provider_final_not_admitted 19:05:06.107 |
| 동 :731 / :734 | away 19:05:16 / response-6 시작 19:05:20 |
| ppi-issue-classifier/inputs/20260929_이현우_18/turn5-flow/turn5-timeline.txt | turn-5 통합 타임라인 — agent·아동 로그를 agent 시각으로 정렬(아동 −12.3초 보정, 117행). 원본 발췌: turn5-agent.log / turn5-guest-session.jsonl |
| CloudWatch 재조회 ppicw logs --start "9/29 19:00" --end "9/29 19:20" --job AJ_X2z9UJp3JUJQ | 수업 전체 커밋·final 대조, 폐기 1건 |
| ppi-issue-classifier/inputs/20260929_이현우_18/session-20260929.jsonl.gz (압축 해제 기준) :2559 / :2583 / :2591 / :2783 | response-5 텍스트 / remoteSpeaking true / audio element 정상 재생 / 진행자 텍스트 전송 (아동 시계) |
agent 로그는 CloudWatch /ppi/livekit/prod/agent, job AJ_X2z9UJp3JUJQ에서 ppicw logs --start "9/29 19:04" --end "9/29 19:06" --job AJ_X2z9UJp3JUJQ로 받았다. 받은 파일이 ~/Downloads에서 사라진 일이 있어(10/1) 증거 파일은 ppi-issue-classifier/inputs/20260929_이현우_18/turn5-flow/에 보관한다. 줄 번호(:730 등)는 재조회 결과와 동일.
skipping Half Cascade turn without exact provider final은 "이 턴에 쓸 정확한 provider final을 허용하지 못해 버림"이라는 공통 결과 로그다. 원인 경로는 여러 개이고, 일부는 별도 경고를 남긴다.
| 원인 경로 | 별도 경고 | 이번 건 |
|---|---|---|
| commit 응답(item_id) 지연·실패 | commit acknowledgement timed out/failed | 0건 |
| 전사 복구 중 예외 | transcription recovery failed | 0건 |
| OpenAI 전사 실패 이벤트 | failed to transcribe input audio ERROR (realtime_model.py:2492) | 0건 |
| provider error / 연결 오류 | returned an error | 0건 |
| 2.5초 기한 초과 | 없음 (기한 확인 후 조용히 return, agent_activity.py:3541) | 해당 (커밋 +2.502초) |
| 빈 final / 다른 item_id | 없음 | 구분 불가 |
함정: interim 스냅샷이 있어도 realtime native final missing; rejecting exact-item interim 경고가 안 찍힌다. wait_for_input_transcription()(realtime_model.py:2535)은 타임아웃이 나도 스냅샷을 돌려주지만, 호출부가 interim 검사 전에 기한을 먼저 확인하고 return하기 때문이다.
폐기 경고에는 turn_id/item_id 필드가 없다. ① 당시 대기 중인 턴이 turn-5뿐(turn-4는 19:04:42 판정 완료, :613~:730 사이 다른 커밋·drop 없음) ② 커밋 +2.502초 = 기한 ③ 수업 전체에서 final이 빠진 턴이 turn-5뿐 ④ response-6의 source_user_turn_id가 turn-5 — 네 가지 배타성으로 귀속했다.
정정: 초판에서 "final이 끝내 오지 않았다"고 썼으나 과장이었다. Half Cascade에서는 final이 도착 즉시 로그되지 않고 허용 판정을 통과해야 user_stt_event_received is_final:true로 기록된다(agent_activity.py:2714 defer_half_cascade_admission). 턴 폐기 후 늦게 온 final은 record_realtime_final()이 None이라 로그 없이 버려진다(:2708). 확정 가능한 범위는 "기한 내 해당 턴에 사용할 정확한 final을 허용하지 못했다"까지다. 수신 자체가 늦었는지, 수신 후 로컬 처리에서 탈락했는지는 8절의 경계 관측이 필요하다.
이 수업만의 일이 아니다. 17일간 폐기 경고 429건 중 수업 종료 flush로 생긴 30건(4-8절)을 빼면 실제 수업 중 폐기(무응답) 399건 · 방 351개 · 아동 250명이다. 요일은 달력으로 재확인했다(초판의 요일 표기는 하루씩 틀려 정정).
| 날짜 | 폐기 경고 | 종료 flush | 실제 폐기 | 방 | 아동 | 최다 시간대 |
|---|---|---|---|---|---|---|
| 9/14 (월) | 6 | 1 | 5 | 5 | 5 | 20시 2 |
| 9/15 (화) | 34 | 3 | 31 | 29 | 28 | 20시 10, 19시 9 |
| 9/16 (수) | 43 | 6 | 37 | 31 | 31 | 21시 11, 20시 9 |
| 9/17 (목) | 73 | 7 | 66 | 51 | 39 | 20시 24, 21시 22 |
| 9/18 (금) | 28 | 2 | 26 | 20 | 20 | 15시 9 |
| 9/19 (토) | 5 | 1 | 4 | 4 | 4 | 9·11시 2 |
| 9/20 (일) | 7 | 0 | 7 | 6 | 6 | 10시 4 |
| 9/21 (월) | 26 | 1 | 25 | 24 | 23 | 20시 9 |
| 9/22 (화) | 29 | 1 | 28 | 25 | 21 | 20시 8, 19시 7 |
| 9/23 (수) | 28 | 2 | 26 | 24 | 22 | 20·21시 6 |
| 9/24 (목) | 0 | 0 | 0 | 0 | 0 | 추석 연휴 |
| 9/25 (금) | 0 | 0 | 0 | 0 | 0 | 추석 연휴 |
| 9/26 (토) | 2 | 0 | 2 | 1 | 1 | 15시 2 |
| 9/27 (일) | 10 | 0 | 10 | 9 | 9 | 10·11시 3 |
| 9/28 (월) | 21 | 2 | 19 | 16 | 14 | 19시 7, 21시 6 |
| 9/29 (화) | 82 | 3 | 79 | 76 | 60 | 19시 28, 17·18시 13 |
| 9/30 (수) | 35 | 1 | 34 | 30 | 25 | 20시 13 |
| 합계 | 429 | 30 | 399 | 351 | 250 |
| 시 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 건수 | 7 | 21 | 9 | 4 | 4 | 14 | 19 | 14 | 33 | 28 | 76 | 99 | 71 |
집계 방법: ppicw logs --start "9/14 00:00" --end "10/1 00:00" --search "without exact provider final" → job_id가 있는 줄만 (timestamp, job_id) dedup(원본은 경고 1건당 2~3줄). 종료 flush는 같은 job에서 0.5초 안에 session close Half Cascade flush timed out이 찍힌 경고. 아동 = 방 이름의 userId. 이전 일주일 집계(9/23·27~30)와 일별 수치 일치.
해석: agent CPU 부하가 폐기 증가의 주원인이라는 근거는 약하다. 발화 길이와 지연 분포의 관계, 특정 시각의 지연 꼬리는 관측됐지만 OpenAI 처리 지연의 확정 증거는 아니다. provider 수신 전후 관측과 로컬 저장·매칭 검증이 필요하다(8절).
| 시각 | HC 턴 | 폐기 | 비율 |
|---|---|---|---|
| 17:10 | 213 | 3 | 1.41% |
| 17:40 | 268 | 7 | 2.61% |
| 18:10 | 317 | 6 | 1.89% |
| 18:30 | 226 | 0 | 0.00% |
| 18:40 | 267 | 5 | 1.87% |
| 19:00 | 400 | 6 | 1.50% |
| 19:10 | 463 | 13 | 2.81% |
| 19:30 | 341 | 4 | 1.17% |
| 19:40 | 457 | 5 | 1.09% |
| 합계 17~20시 | 3,928 | 57 | 1.45% (약 70턴 중 1) |
턴 수가 가장 많은 19:40(457)은 1.09%, 19:10(463)은 2.81% — CPU도 83%/84%로 같아 부하로 설명되지 않는다. 같은 시간대 VP 턴은 37개뿐이고 폐기 57건은 전부 HC job. (기존 분석의 57건과 이전 집계의 69건 사이 차이는 이번 재검토에서 원본 부재로 대조하지 못했다. dedup 설명만으로 차이가 해소됐다고 단정하지 않는다.)
| 구간 | 턴 | p50 | p90 | p95 | p99 | 1.5초 이상 | 폐기 |
|---|---|---|---|---|---|---|---|
| 17:40 | 261 | 0.87 | 1.35 | 1.76 | 2.07 | 7.3% | 7 |
| 19:10 | 448 | 0.92 | 1.55 | 1.80 | 2.18 | 11.6% | 13 |
| 18:30 (대조) | 224 | 0.82 | 1.22 | 1.50 | 2.00 | 4.9% | 0 |
| 19:40 (대조) | 464 | 0.89 | 1.27 | 1.45 | 2.15 | 4.5% | 5 |
p50은 네 구간 모두 0.8~0.9초 — 전체가 느려진 게 아니라 꼬리만 두꺼워졌다. final이 온 턴은 최대 2.45초(19:40의 9.41초 1건은 예외 경로로 보임). 폐기 턴은 final 기록이 없어 표에서 빠지므로 실제 꼬리는 더 길다.
| 발화 길이 | 턴 (튄/대조) | p50 | p90 | 1.5초 이상 | 폐기율 |
|---|---|---|---|---|---|
| 0~2초 | 291 / 319 | 0.83 / 0.80 | 1.20 / 1.05 | 5.2% / 1.9% | 1.0% / 0.3% |
| 2~4초 | 148 / 152 | 0.91 / 0.84 | 1.18 / 1.05 | 3.4% / 3.9% | 2.7% / 1.3% |
| 4~6초 | 62 / 63 | 0.95 / 0.90 | 1.35 / 1.17 | 8.1% / 1.6% | 1.6% / 0% |
| 6~9초 | 64 / 66 | 0.98 / 1.02 | 1.66 / 1.46 | 14.1% / 10.6% | 1.6% / 3.0% |
| 9초 이상 | 100 / 75 | 1.26 / 1.16 | 1.81 / 1.66 | 28.0% / 13.3% | 7.0% / 1.3% |
방법: 모드는 livekit_ready_response_sent의 pipeline_mode로 job별 매핑(미매핑 0건). 턴 = user_turn_committed event_id dedup. commit 시각 = user_turn_committed timestamp, final = 같은 turn_id의 user_stt_segment is_final:true. 발화 길이 = 첫 user_state_changed→speaking ~ 마지막 user_turn_pending_started(중간 쉼 포함). 폐기 턴은 같은 job의 폐기 경고(commit +2.3~2.8초)로 매칭 — 19:10은 13건 중 9건만 매칭(나머지는 구간 경계 추정). 원본: ~/Downloads/ppi-livekit-agent-20260929_{1600-2130,1700-1800,1800-1900,1900-2000,1739-1751,1909-1921,1829-1841,1939-1951}.log
출처: Realtime transcription guide · input_audio_transcription.completed reference · community: gpt-4o-transcribe issues
① 아동 → POST /api/livekit/call (apps/web/app/api/livekit/call/route.ts)
room 이름 ppi-{userId}-{avatarId}-{voiceSessionId} 생성(:81), config 스냅샷 저장,
토큰에 RoomAgentDispatch{agentName} 예약 (lib/voice-agent/livekit-token.ts:113) ※ createRoom 호출 없음
② 아동 접속 → LiveKit 서버가 room 자동 생성(RM_…) + agent job(AJ_…) 배정
③ ECS 워커(ppi-livekit-prod-agent, `uv run agent.py start`, cli.run_app)가
미리 띄운 대기 프로세스 1개에 job 할당 (ipc/proc_pool.py:171) — job마다 별도 프로세스·asyncio 루프
④ ppi_agent(ctx) agent.py:5182
session = _build_half_cascade_session(...) AgentSession (:5200)
agent = HalfDuplexInputGuardAgent(session=...) Agent (:5204)
await ctx.connect() SFU에 WebRTC 접속 (:5256)
session.start(agent=agent) → AgentActivity(agent, session) 생성 (agent_session.py:1829)
⑤ job 종료(아동 퇴장 → ctx.shutdown) → 프로세스 종료, 풀이 새 대기 프로세스 spawn
아동 브라우저 ──WebRTC──→ LiveKit 서버(SFU) ←──WebRTC── agent job (livekit.rtc, Rust/libwebrtc FFI)
RoomIO _ParticipantAudioInputStream (room_io/_input.py:330) 트랙 구독 → PCM 프레임 + noise_cancellation(ai-coustics)
AgentSession._forward_audio_task (agent_session.py:1993) → activity.push_audio(frame)
AgentActivity.push_audio (agent_activity.py:1923)
├ _rt_session.push_audio → OpenAI input_audio_buffer.append (전사·응답 입력)
└ _audio_recognition._push_audio → LiveKit VAD (speaking/EOT 판정)
아동↔agent는 직접 연결되지 않는다. 아동 측 WebRTC 품질은 LiveKit 서버 로그(Loki ppi-livekit), agent 측에서는 "프레임이 들어오는가"(VAD speaking·interim)만 보인다. 이번 건은 둘 다 정상.
| 주체 | 역할 | 위치 |
|---|---|---|
| AgentActivity | EOT 판정 후 commit 시점 결정·2.5초 기한 설정, item_id↔final 매칭, 인정/폐기 | _reserve_realtime_audio_for_eot :3395 |
| RealtimeSession (openai 플러그인) | input_audio_buffer.commit 전송, committed로 item_id 수신, delta/completed 보관 | realtime_model.py:1877 / :2226 / :2535 |
EOT 시점에 task 2개 생성 (agent_activity.py:3329 / :3340)
recovery_task = _commit_realtime_audio_for_eot → 기한 안에 item_id·final 확보 시도
admission_task = _realtime_audio_admission_task (:3664)
앞 턴 admission 대기 → 이 턴 recovery 대기 → _admit_realtime_audio_for_eot (:3596)
_user_turn_completed_task: admitted = await admission_task (:3746)
if not admitted: (:3767)
logger.warning(..., failure_category="provider_final_not_admitted") ← 결과 라벨일 뿐, 동작 무관
_cancel_preemptive_generation_if_current(...) ← 미리 만들던 응답 취소 (:2145)
return ← 실제 폐기 (_generate_reply 미도달)
_admit_… finally → _finish_realtime_audio_commit_reservation(cancel_recovery=True) (:2244)
reservation.invalidated = True / invalidate_audio_commit
session.discard_input_audio_item(item_id) → OpenAI 대화 기록에서 이 오디오 item 삭제 (realtime_model.py:1028)
recognition.discard_realtime_input_item → 턴↔item 바인딩 해제 (늦은 final은 record_realtime_final None → 조용히 버림)
recovery/admission task 취소, 빈 전사로 resolve, active 목록에서 제거
HC 턴 4,935개 중 폐기 18건(0.36%). 각 폐기 턴을 정상 턴 4,917개의 기준선, 그리고 같은 job의 바로 앞 정상 턴(14쌍)과 비교했다. 폐기 원인은 한 가지가 아니라 네 유형으로 갈리며, 이현우 turn-5는 유형 ③에 해당한다.
| 지표 | 중앙값 | p90 |
|---|---|---|
| 커밋 → 첫 interim | 0.56초 | 0.74초 |
| 커밋 → final | 0.86초 | 1.17초 |
| 마지막 interim → final | 0.21초 | 0.26초 |
| 유형 | 건수 | 특징 | 해석 |
|---|---|---|---|
| ① 긴 발화 — 전사 진행 중 기한 도달 | 6 | 발화 39~87초, 재개 2~7회, interim 242~332자가 기한(+2.3~3.6초)까지 계속 도착 | 커밋 후 일괄 전사라 긴 오디오 처리가 2.5초를 넘김 (커뮤니티 설명과 일치) |
| ② 전사 시작 자체가 늦음 | 5 | 첫 interim +1.2~3.3초 (정상 p90 0.74초), 발화 0.2~22초로 짧은 것 포함 | 길이와 무관한 OpenAI 쪽 처리 시작 지연 |
| ③ interim 종료 후 completed 미도착 | 6 | 마지막 interim +0.55~1.98초에 끝난 뒤 기한까지 0.5~2초 final 없음 (정상 0.21초) | completed만 늦거나 빠짐. 이현우 turn-5(마지막 interim +1.05초, 이후 1.45초 공백)가 이 유형 |
| ④ interim 0개 | 1 | 0.5초 발화, 전사 이벤트 없음 | 소음·짧은 소리 추정 |
유형① 20:09:33 DPGApf 정상 turn-2 발화 2.2s, 18자, final +0.95
폐기 turn-3 발화 75.7s 재개7, 262자, interim이 +3.64까지 계속
유형② 20:34:50 tQrFqp 정상 turn-5 첫 interim +0.65, final +0.91
폐기 turn-6 발화 2.6s, 첫 interim +1.56(늦게 시작), +2.42까지
유형③ 21:11:55 3kfxTn 정상 turn-4 발화 15.5s 100자, final +1.41
폐기 turn-5 발화 4.0s 33자, interim +0.85에 종료, 이후 final 없음
유형③ 20:09:59 frp2w7 정상 turn-5 8자, final +0.92
폐기 turn-6 9자, interim +0.55에 종료, 이후 1.95초 final 없음
(참고) 9/29 이현우 정상 turn-4 발화 1.9s 14자, 마지막 interim → final 0.78s
폐기 turn-5 발화 12.1s 재개2 57자, interim +1.05에 종료, 이후 1.45초 final 없음
유형 ③의 쌍에서는 오히려 정상 턴이 더 길다(15.5초·100자 vs 4.0초·33자). "길어서 늦다"만으로는 설명되지 않는다.
| 발화 길이 | 폐기 / 전체 |
|---|---|
| 0~15초 | 10 / 4,693 (약 0.2%) |
| 15초 이상 | 8 / 242 (3.3%) — 약 16배 |
수정안(6절)과의 연결: 유형 ①은 기한 연장이나 중간 commit으로 줄일 수 있다. 하지만 절반 이상(②·③, 11건)은 짧은 발화로, OpenAI 쪽 시작 지연이나 completed 지연·누락이다. 기한 4초는 늦게 오는 completed 일부만 구제하고 아예 오지 않는 경우는 구제하지 못하므로, 1회 되묻기가 함께 필요하다. ②·③ 중 무엇이 "늦게 옴"이고 무엇이 "안 옴"인지는 원인 로그(A)로만 가를 수 있다.
방법·한계: 원본 ppi-livekit-agent-prod-20260930_2000-2159.log(2.6GB, CloudWatch 전체 agent). 모드는 job 시작 로그(half-cascade — realtime= / voice-pipeline — stt=)로 구분(HC 1,116 job · VP 64 job). 턴 = user_turn_committed(event_id dedup), 발화 길이 = 첫 speaking ~ 커밋 전 마지막 listening, 정상 = 커밋 후 2.5초 안에 user_stt_segment, 폐기 = 커밋 후 3.2초 안의 폐기 경고. interim에는 turn_id가 없어 "커밋 ~ 다음 커밋(최대 10초)" 구간으로 귀속했다(대체로 맞지만 확정 아님). 2시간 표본 1개, 유형별 건수가 작다. 유형 경계: interim이 +2.2초 이후까지 오면 ①, 첫 interim이 +1.0초 초과면 ②(①에 걸린 짧은 발화 4건은 시작 지연이 본질이라 ②로 재분류), 그 외 ③.
정정: 자원 포화·이벤트 루프 정체가 주원인이라는 근거는 부족하다. 아래 지표는 이 가설을 약화하지만, 모든 폐기 턴에서 OpenAI 이벤트를 지연 없이 처리했다고 입증하지는 못한다. 플러그인의 저장·매칭·재연결 로직은 별도 조사 대상이다(8절).
| 9/17 (폐기 66) | 9/23 (발생률 1.1%) | 9/29 (발생률 3.3%) | |
|---|---|---|---|
| 단일 태스크 CPU 최대 최고 | 83.6% | 90.7% | 86.1% |
| CPU 최대 90% 이상 구간 | 0/97 | 2/97 | 0/97 |
| 19~20시 CPU 최대 중앙 | 75~77% | 71~77% | 77~79% |
| 메모리 최대 | 46~55% | 44~51% | 44~51% |
발생률이 가장 낮은 9/23이 오히려 CPU 피크가 높다. 9/17 21시는 폐기 23건인데 CPU 최대 중앙 29%.
| 경고 | 대상 폐기 | 커밋→폐기 2.5초 구간에 동반 | 대조(같은 job, 60초 전 2.5초 창) | 동반 시 지연 |
|---|---|---|---|---|
| event loop blocked for …ms (≥100ms 정체, telemetry/loop_monitor.py, 9/18~) | 260 | 3 (1.2%) | 4 (1.5%) | 정체 합계 최대 0.92초 |
| inference is slower than realtime (VAD 추론 200ms+ 지연, inference/vad.py:367) | 399 | 2 (0.5%) | 0 | 최대 1.08초 |
| 9/30 20~22시 루프 정체 (정상 4,917턴 vs 폐기 18턴) | 정상 25턴(0.5%, 최대 0.28초) / 폐기 0턴 | |||
apps/livekit-agent/vendor/livekit-plugins-openai/…/realtime/realtime_model.py는 원본 1.8.2 배포본(SHA-256 일치) 대비 +518/−41줄 수정됐다. 목적은 "턴마다 정확히 그 오디오의 final만 받는다"이다.
| 패치 묶음 | 내용 | 위치 |
|---|---|---|
| commit ↔ item_id 연결 | commit_audio()가 Future를 반환하고, OpenAI input_audio_buffer.committed의 item_id를 보낸 순서(FIFO)로 짝지음(서버 event_id는 있지만 원래 client commit event_id를 그대로 돌려주는 필드는 없음). 짝이 의심되면 짐작하지 않고 격리 후 재연결 | :1877, :2226, :2104 |
| item별 전사 스냅샷·final 대기 | delta·completed를 item별로 저장(최대 8개), wait_for_input_transcription()으로 final 대기 | :2514, :2535 |
| 전사 실패 처리 변경 | 원본은 transcription.failed 시 partial을 is_final=True로 넘겨 응답 → 패치는 is_final=False로 응답 차단 | :2510 |
| 입력 오디오 item 허용·폐기 | 폐기된 턴의 오디오를 conversation.item.delete로 OpenAI 대화에서도 삭제 | :984~1070 |
| 경고 | 건수 | 폐기와의 관계 |
|---|---|---|
| commit acknowledgement timed out | 13 | 13건 모두 폐기와 동시(같은 job, 0초) |
| commit acknowledgement failed | 4 | 4건 모두 폐기와 동시 |
| commit correlation quarantined; reconnecting | 102 | 17건이 위와 동시. 나머지 85건 원인 미확인 |
| Error in _bounce_eou_task | 18 | 12건이 폐기 2~24초 뒤 |
| failed to transcribe input audio | 1 | 폐기 없는 job |
아동 턴 커밋 → OpenAI commit 응답(committed)이 2.5초 안에 안 옴 / 오류 → 턴 폐기 ← 무응답 ① → 패치: commit 짝 맞춤 불신 → 격리 → OpenAI 연결 재접속 → 재접속 중 아동 재발화 → commit_audio() 예외 "input audio commit identity is unavailable during provider epoch replacement" → _bounce_eou_task 예외로 그 턴도 처리 안 됨 ← 무응답 ② (폐기 경고 없음, 399건 집계에서 누락)
판단 정정: 시작점은 agent가 기한 내 commit 응답을 확보하지 못한 것이며, OpenAI 처리 지연·전송·로컬 수신 중 원인은 미확정이다. 격리·재연결 중 새 오디오를 버리고 commit을 거부하는 동작은 우리 코드에서 확인했다. 기존 분석의 후속 예외 12건은 이 연쇄 손실과 부합한다. ACK 관련 17건을 제외한 약 382건을 모두 “commit 정상·OpenAI final 누락”으로 분류할 수는 없다. 다중 FIFO 오결합은 이번 조사에서 확인되지 않았고, 스냅샷 8개 한도 결함은 별도 재현했다(8절).
정정: agent의 interim 로그(user_stt_event_received)는 item_id 없이 모든 delta를 기록한다. "turn-5에 interim 57자 도착"은 정확히는 "그 시간대에 delta가 왔다"이며, 기다리던 item의 것인지는 확인되지 않았다.
session close Half Cascade flush timed out은 AI 세션이 닫힐 때 아직 커밋되지 않은 마지막 발화를 강제 커밋하고 final을 최대 2.0초 기다리다 시간이 다 된 것이다. 이때 1ms 뒤 같은 폐기 경고가 함께 찍혀 일반 폐기와 섞인다(17일간 30건).
agent_session.py:1345 _teardown_activity → 입력 분리 → :1391 commit_user_turn(audio_detached=True, transcript_timeout=2.0) → audio_recognition.py:1100 HC & 열린 턴 있음 → session_closing_flush (열린 턴 없으면 commit 안 함 :1116) → agent_activity.py:3218 skip_reply=True → :3416 commit_audio() → :1778 → :1804 min(2.5, 2.0)초 대기 → 초과 시 "flush timed out" + "skipping Half Cascade turn…"
"delta는 왔는데 completed만 안 온" 증상이 OpenAI 쪽에서 알려진 현상인지 확인했다. 같은 증상의 보고는 찾지 못했다. 공식 문서와 커뮤니티에서 확인한 사실은 아래와 같다. 공식 문서의 요약은 4-3절 ⑤, 책임 경계 판정은 8절 참조.
[우리] VAD 무음 2.4초 → "턴 끝" 판단 → input_audio_buffer.commit (전사 범위 고정)
[OpenAI] input_audio_buffer.committed (item_id 부여)
conversation.item.input_audio_transcription.delta × N (전사 조각)
conversation.item.input_audio_transcription.completed (종료 신호 + 최종 텍스트, 1회)
또는 …transcription.failed (실패)
[우리] completed 2.5초 대기 → 입력 게이트 판정 → 응답 생성 → Typecast TTS
| 출처 | 확인한 내용 |
|---|---|
| Realtime transcription guide | 권장 gpt-live-transcribe(말하는 동안 delta) vs gpt-transcribe(commit 후 전사 시작). 턴 간 completed 순서 미보장 → item_id 매칭 권고. delay(minimal~xhigh)는 스트리밍 중간 결과용, ms는 실측 권고. completed가 커밋 후 언제 오는지·느려지는 원인은 기술 없음. 우리가 쓰는 gpt-4o-transcribe는 언급 없음 |
| gpt-4o-transcribe 모델 페이지 | 컨텍스트 16k, 출력 2k 토큰, Realtime·Transcription 엔드포인트, 요청 한도 Tier 1 500 RPM ~ Tier 5 10,000 RPM. 지연·스트리밍 정보 없음. 한도 초과는 오류 이벤트로 올 것이라 일주일간 오류 0건과 맞지 않음(계정 Tier 미확인) |
| 글 | 내용 | 우리와의 관계 |
|---|---|---|
| 1380663 SIP 통화 종료 시 final 유실 (2026-05) | 통화를 끊으면 completed가 안 옴. OpenAI 지원팀: "세션이 닫히면 final 전사 전달은 보장되지 않는다" | completed 미도착을 OpenAI가 인정한 유일한 사례. 단 세션 종료 조건이라 수업 중 턴과 다름 |
| 1387907 Realtime 전사 피드백 (2026-07~09) | 짧은 발화 실측: 첫 텍스트 240ms, 첫 텍스트→completed 274ms, 완료 527ms(중앙). OpenAI 지원팀(9/8): delay 설정은 중간 결과만 조절, "final 완료를 더 빠르게 한다고 약속하지 않는다", final 지연 제어 요청은 일정 없음 | 정상 지연 규모가 우리 실측과 비슷. final 지연을 제어할 수단이 없음 |
| 1357039 delta가 전사 중에 안 옴 (2025-09~2026-02) | gpt-4o-transcribe는 commit 전엔 전사를 시작하지 않고 버퍼 전체를 처리, delta와 completed가 거의 동시. 쉬지 않고 길게 말하면 전사 시간이 5초를 넘김 → 중간 commit 우회책 | 유형 ①(긴 발화)과 일치. 중간 commit은 턴 판정 구조 변경이 필요해 보류 |
| 1148726 전사 메시지 순서 이상 (2025-03~08) | delta가 말이 끝난 뒤 completed와 함께 몰려 옴 | commit 후 일괄 처리 근거 (우리 로그와 일치) |
| 1150994 Realtime 전사 문제 (2025-03~08) | 언어 오인식, "일부 경우 전사가 불완전하거나 잘린다" | 품질 문제, completed 누락과는 다름 |
| 1272621 WebRTC 전사 10초+ 지연 (2025-05) | 말이 끝나고 10초 넘게 지연, 다른 사용자는 약 1초로 재현 안 됨 | 큰 지연 사례, 원인 미해결 |
| 1256390 noise_reduction 사용 시 지연 급증 (2025-05) | input_audio_noise_reduction+semantic_vad에서 세션 5분 후 최대 1분 지연 | 해당 없음 — 기본 설정에서 OpenAI 노이즈 처리 꺼짐(agent.py:600), semantic_vad 미사용 |
| 1358789 / 1367938 전사 불일치 (2025-09~12) | 전사가 실제 음성과 어긋남, -latest 모델은 delta 미도착, 전사는 "모델이 들은 것의 참고용" | 정확도·API 형식 문제 |
결론: completed가 늦거나 안 올 수 있다는 것은 OpenAI도 세션 종료 조건에서 인정했고, final 지연을 제어할 수단도 제공하지 않는다. 하지만 수업 중 세션이 살아 있는데 delta 후 completed만 빠지는 보고는 없다. OpenAI 문의나 보고를 하려면 원인 로그로 OpenAI 세션 ID, item_id, commit 응답·delta·completed 도착 시각, 기한 이후 늦게라도 completed가 왔는지를 확보해야 한다.
조사: 2026-10-01, community.openai.com 검색 API로 검색어 20여 개 조회 후 관련 글 본문 확인.
판별법: AI 무응답 신고에서 agent 로그에 provider_final_not_admitted가 커밋 +2.5초에 찍히고, 그 사이 commit 응답·전사 실패·provider error 경고가 없으면 기한 초과에 따른 폐기를 우선 의심한다. 공통 경고만으로 빈 final·item 불일치를 배제할 수 없으며, 세부 사유 확정에는 6절의 관측 보강이 필요하다. user_turn_dropped·캐시 오염(빈 전사 캐시 키 문서)과는 다른 경로다 — 이번 건은 훅 트레이스 자체가 없다.
| 안 | 내용 | 파일 | 규모·위험 |
|---|---|---|---|
| A. 관측 | 조용한 return 3곳 사유 로그 / 폐기 경고에 turn_id·committed_item_id·경과·마지막 interim 길이 / 늦은 final(record_realtime_final() None) 경고 / 플러그인 completed·failed에 item_id·경과 | agent_activity.py, audio_recognition.py:1289, realtime_model.py:2459/2492 | 작음, 동작 불변. 수신 지연과 로컬 처리 탈락을 구분. OpenAI 서버·전송 경로의 최종 귀속은 추가 확인 필요 |
| B. 기한 상향 | 일반 HC 턴만 2.5 → 4초 시험 적용 | agent_activity.py:3312 일반 턴의 timeout 전달부 | 공용 상수 일괄 변경 대신 종료 flush·수동 커밋 상한 유지. final이 일찍 오면 즉시 진행하며 지연 턴과 후속 턴 대기는 늘 수 있음. 4초의 구제율은 실측 필요 |
| B′. 발화 길이 비례 기한 | 짧은 발화 2.5초, 9초 이상 3.5~4초 | agent_activity.py:3312 | 후순위. 짧은 발화에서도 폐기가 발생하며 9초 경계의 구제 효과는 미검증. A 이후 실제 지연 분포로 판단 |
| C′. 되묻기 | 폐기 시 "잘 못 들었어, 다시 말해줄래?" 고정 발화 | vendor 폐기 지점 + agent | 정확한 final 인정 조건 유지. 전사 실패·기한 초과에만 턴당 1회, 새 발화·취소·종료 시 억제. TTS 실패 가능성은 남음 |
| C. interim 대체 응답 | 마지막 interim이 충분히 길고 안정적이면 채택 | _recover_…(:3541/:3563), _admit_…(:3596) | 큼. 설계 뒤집기, 기존 테스트(test_realtime_livekit_vad_identity.py:2015) 깨짐. A에서 "미도착" 확정 시에만 검토 |
| D. 진행자 알림 | user_turn_dropped(reason=provider_final_not_admitted) 전송 → 모니터 표시 | vendor emit → agent.py _publish_agent_event → 웹 모니터 | 중간. 웹 수신 이미 있음(livekit-client-session.ts:1766), 모니터 UI·Storybook 필요. 별도 티켓 권장 |
2026-10-01 검토 결과 · 이 절의 B·C′는 구현·배포 미적용. 되묻기는 C′ 대신 기존 VP 복구 경로를 재사용하는 방식으로 develop에 병합됐다(7절). 당시 PPI-1348 코드와 기존 테스트를 확인해 정리한 수정 계획이다. 추가 조사 후의 최신 우선순위는 8절을 따른다. 아래의 4개 테스트 통과는 현재 동작의 기준선이며, 제안한 수정의 효과 검증 결과가 아니다.
문제의 직접 원인: 사건 당시 agent는 2.5초 안에 정확한 provider final을 확보하지 못하면 음성 항목을 삭제하고 응답 생성·복구 없이 종료했다. 현재 develop의 LLM 되묻기는 7절, 추가 개선 제안은 8절에 구분했다. OpenAI final 지연·미도착·빈 전사·item 불일치 중 실제 미확보 원인은 아직 구분되지 않는다.
유지할 구조: LiveKit VAD → OpenAI Realtime → Typecast TTS, 정확한 item_id·final 인정 조건, 기존 턴 순서·취소·세션 종료 수명 관리. 수정은 agent 내부 경로와 관련 테스트에 한정한다.
기존 복구 기능의 재사용 범위: agent.py:3252의 STT 무전사 watchdog은 uses_local_stt_completion 조건 때문에 이번 HC 경로에서 동작하지 않는다. 기존 중복·새 발화·종료 보호 규칙을 재사용하되 HC 실패 연결이 필요하다. 기존 _deliver_unreadable_recovery()(:3356)는 전체 입력 정리·강제 인터럽트·LLM 응답 생성까지 수행하므로 그대로 호출하지 않는다.
주요 위치: apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py(기한·폐기 사유), 같은 디렉터리의 events.py(필요한 실패 이벤트 계약), apps/livekit-agent/vendor/livekit-plugins-openai/livekit/plugins/openai/realtime/realtime_model.py(provider 수신 관측), apps/livekit-agent/agent.py(HC 복구 연결·보호). AgentSession.say()는 agent_session.py:1525, TTS 분기는 agent_activity.py:2024에서 확인했다.
현재 기준선: 기존 테스트 4개 통과. PPI-1348 worktree의 vendored AgentActivity·OpenAI 플러그인 경로를 확인한 뒤, apps/livekit-agent/tests/test_realtime_livekit_vad_identity.py에서 아래 4개만 unittest runner로 선택 실행했다. 실제 OpenAI·TTS 요청 없이 검증했다.
구현 전 추가할 재현·회귀 케이스: 커밋 후 3초 final 도착 시 정상 응답 1회, 최종 기한 초과·provider 실패 시 되묻기 1회, 늦은 final·중복 실패 이벤트·턴 간 완료 순서 역전에서도 중복 응답 없음, 새 발화·수동 취소·종료 시 복구 억제, 종료 flush·수동 커밋 상한 유지. 기존 테스트와 새 케이스를 수정 전후 실행하고 guardian-gate 검토 후 적용한다.
현재 상태(2026-10-01 확인): develop@0f94a87a / PR #1148에 병합됐다(PPI-1348 커밋 ba394274). 운영 배포·실기기 검증 여부는 이번 조사에서 확인하지 않았다. 아래 guardian-gate 및 전체 테스트 결과는 구현 당시 기록이며, 이번 재검토의 109개 테스트와 새로 발견한 경합은 8절에 별도로 기록한다.
목적: HC 모드에서 2.5초 안에 provider final이 확보되지 않아 턴이 폐기되면, 지금까지는 아무 응답 없이 끝났다(4-1절). 이제 VP 모드와 같은 "(판독 불가)" 기록 + LLM 되묻기로 이어진다.
6절 C′과 다른 점: session.say() 고정 문구를 쓰지 않는다. 기존 _deliver_unreadable_recovery()를 그대로 재사용하므로, 되묻기 문장은 Realtime LLM이 STT_NO_FINAL_LLM_INPUT_TEXT 지시문을 받아 생성한다. VP와 동작이 같아지는 대신 응답이 한 번 더 늦다. 기한(2.5초)과 원인 관측 로그(6절 A·B)는 이번 범위에 넣지 않았다.
# HC 턴: VAD silence → agent.py endpointing → committed (VP와 같은 경로) ✗① _arm_stt_no_final_watchdog → local_stt 조건에서 즉시 return (HC는 vendor_exact) ✗② SDK user_transcription_timeout → audio_recognition._stt_pipeline이 None이라 발생하지 않음 ✗③ agent_activity 폐기 지점 → logger.warning만 남기고 return, agent.py로 신호 없음 → 무응답
agent_activity._user_turn_completed_impl # vendor :3771 admitted=False → "skipping Half Cascade turn without exact provider final" └ input_turn_id 있음 · skip_reply 아님 · 세션 종료 중 아님 · rt_session 동일 → session._user_input_transcription_failed( UserInputTranscriptionFailedEvent(input_turn_id, reason="provider_final_not_admitted")) ▼ agent.py _on_user_input_transcription_failed # :4175 turn_guard.vendor_turn_epoch(input_turn_id) → 로컬 turn_id # 실패하면 진단 로그만 남김 로그: user_stt_provider_final_failed (mapped) pending_provider_final_failure_turn_ids.add(turn_id) ▼ _maybe_schedule_provider_final_fallback # :3495 · 로컬 commit 전이면 보류 → endpointing commit 시점(:3615)에 다시 평가 · _stt_no_final_turn_is_eligible(:3173) 통과해야 실행 · _claim_unreadable_recovery_turn(:3205)으로 terminal 상태를 동기 선점 ▼ _deliver_unreadable_recovery # :3359 (VP와 공유) ① user_stt_provider_final_fallback + "(판독 불가)" user_stt_segment (fallback_reason=provider_final_not_admitted) ② clear_user_turn → ③ interrupt(force=True) → ④ generate_reply(되묻기 지시문, tool_choice="none")
| 파일 | 변경 |
|---|---|
| vendor/…/voice/events.py | UserInputTranscriptionFailedEvent, EventTypes·AgentEvent 등록 |
| vendor/…/voice/agent_session.py | emit 헬퍼 _user_input_transcription_failed |
| vendor/…/voice/agent_activity.py | 폐기 지점에서 이벤트 emit (위 게이트 조건 포함) |
| vendor/…/voice/__init__.py | 이벤트 export |
| agent.py | 핸들러·보류 집합·스케줄러. 선점 코드를 헬퍼로 추출해 VP no-final·Soniox blank 경로와 공유. soniox_blank_fallback_tasks → unreadable_recovery_tasks로 이름 변경 |
| 항목 | 결과 |
|---|---|
| vendor: 폐기 시 이벤트 1회 / 세션 교체 시 0회 (test_provider_recovery_failure_blocks_hook_and_reply_admission, test_exact_interim_blocks_ordered_metrics_hook_and_reply 보강) | 통과 |
| agent: 복구 1회(중복 이벤트 포함), commit 전 도착 시 commit 후 복구, 매핑 불가·새 발화·세션 종료 시 복구 없음 (test_half_cascade_provider_failure_* 3개) | 통과 (구현 전 실패 확인) |
| agent: 이전 vendor 턴의 실패가 다시 이어진 턴에 적용되지 않음 (test_half_cascade_superseded_vendor_turn_failure_skips_resumed_epoch, 실패가 resume 전·후에 오는 두 경우) | 통과 (수정 전 실패 확인) |
| apps/livekit-agent 전체 pytest (구현 당시 기록) | 491 passed (이번 재검토에서 전체 재실행하지 않음) |
| 실기기: HC 수업에서 폐기 턴 발생 시 되묻기 음성 재생, 세션로그 "(판독 불가)" 표시 | 미검증 |
미결정 (P2): 빈 provider final도 같은 provider_final_not_admitted로 묶여서 즉시 되묻기를 일으킨다. 잡음·기침에도 AI가 다시 말해 달라고 할 수 있다. 리뷰어 권고는 다음과 같다. ① 사유를 timeout/blank로 나눈다. ② blank는 VP의 soniox_blank_policy처럼 정책값으로 켜고 끈다. 이 밖에 테스트 공백이 남아 있다: resume 후 input-2 실패 시 정상 복구되는 경우, vendor skip_reply/_closing 가드.
판별법(배포 후): agent 로그에 skipping Half Cascade turn without exact provider final가 나온 직후, 세션로그 user_stt_provider_final_failed → user_stt_provider_final_fallback → user_stt_segment "(판독 불가)"가 이어지는지 본다. mapped:false이거나 fallback이 없으면 매핑 실패 또는 eligibility에서 억제된 경우다.
주의: 로컬 venv는 vendor를 non-editable로 설치한다. vendor를 수정한 뒤에는 uv sync --frozen --reinstall-package livekit-agents를 해야 테스트에 반영된다. Docker 이미지는 vendor 경로에서 설치하므로 해당하지 않는다(추정).
판정: 무응답을 만든 직접 원인은 우리 agent의 “2.5초 내 정확한 final 미확보 → 턴 폐기” 정책이다. final 미확보의 최초 원인이 OpenAI 서버인지, 전송·수신 경로인지, 우리 플러그인인지는 미확정이다. CPU·이벤트 루프 분석만으로 우리 소프트웨어를 배제할 수 없으며, 이번 재검토에서는 플러그인 저장 로직의 결함을 실제 코드로 재현했다.
조사 범위: PPI develop@0f94a87a(PR #1148)의 vendor 소스와 관련 테스트를 읽고 실행했다. PPI-1348의 OpenAI vendor 파일은 develop과 동일했다. 이번 조사는 코드·설정 변경 없이 진행했다. 문서에 기록된 원본 로그 4개는 지정 위치에서 찾지 못해, 과거 399건 집계와 해당 수업의 개별 로그를 다시 검증하지 못했다. 아래 운영 시각·건수는 기존 분석을 인용하며, 로컬 재현 결과와 구분한다.
| 대상 | 판정 | 근거와 한계 |
|---|---|---|
| 2.5초 제한·턴 폐기 | 우리 코드의 동작 확정 | 기존 분석의 commit 19:05:03.605 → drop 19:05:06.107은 2.502초. 정확한 final을 허용하지 못하면 원래 응답 생성에 진입하지 않는다. |
| agent 자원 포화 | 주원인 근거 부족 | 4-6절의 CPU·메모리·loop/VAD 지표는 자원 포화 가설을 약화한다. SDK의 저장·매칭·필터 오류까지 배제하는 근거는 아니다. |
| OpenAI 전사 지연·누락 | 후보, 미확정 | 긴 발화와 지연 꼬리의 관계는 부합하지만, 처리 전 completed 수신 시각이 없어 provider와 로컬 처리를 분리하지 못한다. |
| 우리 플러그인 | 로컬 결함 재현 | 저장 한도 8개가 활성 waiter를 깨뜨리는 두 순서를 재현했다. 운영 399건 또는 이 수업의 원인이라는 뜻은 아니다. |
| 재연결 중 추가 손실 | 코드 경로 확인 | 격리 중 오디오를 버리고 commit을 거부한다. 기존 분석의 후속 EOU 예외 12건과 부합하나 최초 ACK 미확보의 원인을 증명하지 않는다. |
OpenAI completed → 우리 플러그인 수신·저장·item 매칭 → agent final 허용 ← 기존 final 로그는 이 경계를 통과한 뒤 기록 → Realtime 응답 생성 → Typecast 합성 → LiveKit 전달·아동 재생 기한 내 허용 실패 → 원래 턴 폐기 → 현재 develop: 유효한 턴은 “(판독 불가)” 기록 + LLM 되묻기 시도
로그 부재의 의미: final 로그 없음은 OpenAI completed 미수신과 동치가 아니다. 수신 후 매핑·정리·허용 판정에서 탈락한 경우도 남는다. interim 57자도 item_id가 없어 turn-5의 처리 진행을 확정하지 못한다. 정상 턴만 집계한 commit→final 분포에는 폐기된 턴의 지연이 빠진다.
공식 API에서는 입력 전사가 응답 생성과 비동기로 실행되고, Realtime 모델은 오디오를 직접 입력받는다. 정확한 final 선행 조건과 2.5초 제한은 우리 정책이다. 출처: OpenAI input_audio_transcription.completed, input_audio_buffer.commit. 이 계약만으로 특정 사건의 OpenAI 서버 장애를 입증할 수는 없다.
realtime_model.py:2523–2553의 _remember_input_transcription()은 저장 항목이 8개를 넘으면 가장 오래된 snapshot과 asyncio.Event를 함께 제거한다. 해당 item을 기다리는 함수가 있는지는 확인하지 않는다.
| 재현 순서 | 관측 결과 | 로컬 원인 |
|---|---|---|
| A interim 저장 → wait(A, 100ms) → B0~B7 final 저장 → A final | final이 있지만 약 101ms, 즉 대기 상한까지 기다림 | A의 기존 Event가 제거되고 A final은 새 Event를 깨운다. 원래 waiter는 깨어나지 않는다. agent는 대기 뒤 기한을 다시 검사하므로 허용 실패로 이어질 수 있다. |
| wait(A) → A final 저장 → B0~B7 final 저장 → waiter 재개 | final_returned=False | final 수신으로 waiter를 깨웠어도 재개 전에 snapshot이 제거되어 None을 반환한다. |
귀속 한계: 실제 vendor 메서드에 합성 이벤트를 직접 넣어 저장·대기 경계조건을 재현한 것이다. 외부 API·실제 음성·WebSocket을 사용하지 않았다. 한 대기 구간에 다른 item 8개가 유입되는 조건이 이 수업이나 399건에 존재했는지는 미확인이다. 이 재현은 로컬 결함의 증거이며 운영 사건의 원인 확정은 아니다.
최소 수정 방향: 활성 waiter의 snapshot과 Event를 소비 완료까지 유지하고 비활성 항목만 정리한다. 활성 reservation 수명·수량도 별도로 제한한다. 저장 한도를 8에서 더 큰 숫자로 바꾸는 것만으로는 같은 경계조건을 해결하지 못한다.
# apps/livekit-agent에서 .venv/bin/python 사용
# import 전에 vendor/livekit-agents와 vendor/livekit-plugins-openai를
# sys.path 앞에 두고 __file__로 실제 로드 경로를 확인했다.
# object.__new__(RealtimeSession)으로 최소 객체를 만들고 다음을 설정:
# _input_transcription_closed=False, snapshots={}, final_events={}
# 사례 1
remember(A_interim)
waiter = create_task(wait_for_input_transcription("A", 0.1))
await sleep(0) # waiter가 기존 Event를 참조
for item in B0_to_B7: remember(item_final)
remember(A_final)
result = await waiter # elapsed_ms≈101, final_returned=True
# 사례 2: 새 최소 객체에서 실행
waiter = create_task(wait_for_input_transcription("A", 0.1))
await sleep(0)
remember(A_final)
for item in B0_to_B7: remember(item_final)
result = await waiter # final_returned=False
# remember / wait_for_input_transcription은 실제 vendor 메서드.
# 위 코드는 재현 순서를 요약한 의사코드이며 외부 요청을 하지 않는다.
변경 범위: apps/livekit-agent/agent.py, apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py, apps/livekit-agent/vendor/livekit-plugins-openai/livekit/plugins/openai/realtime/realtime_model.py 및 직접 관련 테스트. session.say()의 Typecast 경로는 agent_activity.py:2024의 _tts_task이며 OpenAI 응답 생성 요청이 필요하지 않다. Typecast·LiveKit·아동 재생 성공까지 보장하는 것은 아니다.
| 관측 | 가능한 판정 |
|---|---|
| 같은 epoch·item의 non-empty completed를 기한 전에 수신·저장했지만 정상 턴이 탈락 | 로컬 매칭·저장·수명·허용 경로를 조사한다. 정상 취소·대체된 턴은 먼저 제외한다. |
| completed가 실제 수신 경계에서 2.5초 이후에 관측됨 | 전체 왕복 경로의 지연과 우리 제한의 충돌. OpenAI 처리 시간과 네트워크·로컬 수신 지연은 아직 분리되지 않는다. |
| 수신 경계에도 completed/failed가 없음 | OpenAI 단독 원인으로 단정할 수 없다. 송신 완료·연결 종료·루프 지연·provider 기록을 추가 확인한다. |
다음 비교 실험: 별도 재현 세션에서 동일 오디오·설정을 최소 API 클라이언트와 현재 vendor 경로에 비교 입력한다. 충분한 대기 시간을 두고 2.5초에 item을 강제 삭제하지 않아 완료 지연을 관찰한다. 시간대 변동을 고려해 반복 비교하며, 미수신이 재현되면 해당 세션·이벤트 식별자로 provider 측 확인을 요청한다. 단순한 API 클라이언트 미수신만으로 서버 내부 장애까지 확정하지 않는다.
| 검증 | 결과 | 범위 |
|---|---|---|
| test_turn_terminalization.py + test_realtime_livekit_vad_identity.py | 109 passed, 4.37초 | 실제 vendor 소스를 PYTHONPATH로 지정. 기존 보호 동작의 회귀 기준선이며 위 제안의 구현 검증이 아니다. |
| 정확한 final·interim 거부·기한 만료 관련 선택 테스트 4개 | 통과 | 109개와 일부 중복되므로 113개로 합산하지 않는다. |
| 저장 한도 충돌 2개 순서 | 결함 재현 | 실제 vendor 메서드에 합성 이벤트 입력. 운영 귀속은 미확정. |
| interrupt 대기 중 수동 중단 | 되묻기 생성 경합 재현 | 테스트 harness의 fake interrupt barrier. 운영 귀속은 미확정. |
| OpenAI·Typecast 실호출, 실제 아동 재생 | 미검증 | 이번 읽기 전용 분석 범위 밖. |
# apps/livekit-agent에서 기존 테스트 실행 PYTHONPATH=vendor/livekit-agents:vendor/livekit-plugins-openai \ .venv/bin/python -m pytest -q \ tests/test_turn_terminalization.py \ tests/test_realtime_livekit_vad_identity.py
추가 회귀 케이스: 저장 한도 충돌 두 순서, 3초 final 도착, 최종 기한 초과 후 1회 안내, 늦은·중복 final, 재연결 중 새 발화, interrupt 대기 중 수동 중단, SpeechHandle 비동기 실패, 새 발화·종료에 따른 안내 취소, 종료 flush·수동 commit 상한 유지.
적용 상태: 기존 LLM 되묻기는 develop@0f94a87a / PR #1148에 병합돼 있다. 운영 배포 여부는 이번 조사에서 확인하지 않았다. 이 8절의 관측 보강·저장 결함 수정·4초 시험·고정 Typecast 안내·재연결 개선은 제안이며 아직 적용하지 않았다.