이현우 18회기 AI 무응답 — 2.5초 내 STT final 미확보로 agent가 Half Cascade 턴 폐기 분석되묻기 develop 병합 · 추가 개선 제안

마지막 업데이트 2026-10-02

2026-10-01 재검토 · 8절 책임 경계·저장 결함 재현·개선 우선순위 추가 · 7절 되묻기 병합 상태 정정 2026-09-29 19:04~19:05 KST · roomId 253b1b08…_18 apps/livekit-agent

1. 코드 경로

2. 목적 요약

결론: 무응답을 만든 직접 원인은 우리 agent의 2.5초 기한·턴 폐기 정책이다. final 미확보의 최초 원인은 미확정이다. 기존 분석에서는 turn-5 커밋 후 2.502초에 턴 폐기가 기록됐다. 그 시간대 interim은 57자까지 관측됐지만 item_id가 없어 해당 턴의 전사라고 확정할 수 없다. final 로그는 허용 후에만 남으므로 OpenAI 미수신과 우리 플러그인 처리 탈락을 구분하지 못한다. 당시 원래 응답이 생성되지 않아 아바타는 idle에 머물렀다. 8절에 로컬 결함 재현과 판단 범위를 정리했다.

신고 문장 "오 진짜? 그 로봇은 뭐 하는 로봇이었는데?"는 아동 발화가 아니라 AI 응답(response-5)이며 정상 재생됐다. 무응답은 그다음 아동 대답(turn-5)에 대한 것이다.

시간대 분석(4-3절): 기존 9/29 17~20시 표본은 3,928턴 중 57건(1.45%)의 폐기를 보고했다. 자원 포화가 주원인이라는 근거는 부족하고 발화 길이·시간대별 지연 차이는 관측됐다. 그러나 OpenAI 처리 지연, 전송·수신 지연, 우리 플러그인 문제 중 어느 것인지는 처리 전 이벤트 관측 없이는 확정할 수 없다. 이번 재검토에서는 원본 로그를 찾지 못해 해당 통계를 재집계하지 않았다.

이슈 분류기(ppi-issue-classifier)는 child 59%로 판정했다. 분류기 입력(guest·monitor·LiveKit 서버·socket)에 agent CloudWatch 로그가 없었고, child 쪽 점수는 20분 구간 전체의 문제 턴과 무관한 신호(guest_voice_event_ignored 75건=unsupported_event 상시 로그, Audio output suspected silent는 19:00:31로 4분 전, 자동전환·DECODE_OVERLOAD는 창 밖)에서 나왔다.

3. 입출력 흐름 (시간순 인과, agent 시계 기준)

19:04:55  AI response-5 "오 진짜? 그 로봇은…" 재생
          → SFU active speaker remote=true, 아동 audio element paused:false·currentTime 증가 정상
19:04:48~19:05:00  아동 turn-5 발화 (약 12초, 중간에 두 번 끊겼다 재개 = endpointing_resumed ×2)
          → agent VAD speaking 이벤트 수신 = 아동 마이크 업링크 정상
19:05:03.605  user_turn_committed (turn-5, user_silence_endpointing_timer 2400ms)
19:05:04.203~04.652  user_stt_event_received interim, 길이 1 → 57  (그 시간대 전사 진행 관측, item 귀속 미확정)
          ✗ 기한(19:05:06.105) 안에 turn-5 final 미확보
19:05:06.107  WARNING skipping Half Cascade turn without exact provider final
          (failure_category=provider_final_not_admitted, 커밋 +2.50초 = 타임아웃 값)
          → 응답 생성 없이 return → AI 무응답 · 아바타 idle 유지
19:05:16.205  user_state_changed → away (13초 무반응)
19:05:19.5    진행자 텍스트 전송 → 19:05:20.516 agent_response_started response-6 (회복)

대조군: 같은 수업의 다른 8개 턴은 커밋 후 0.76~1.5초 안에 final(user_stt_segment)이 도착했다. 19:00~19:20 전체에서 턴 폐기는 이 1건뿐.

4. 모듈별 세부

Half Cascade 전체 순서 — 이번 건은 ②에서 막혀 ③~⑤ 미실행

① LiveKit VAD 발화 종료 → agent가 OpenAI에 commit_audio → item_id 수신   (이번 건 정상, ack 경고 0건)
② OpenAI 전사(gpt-4o-transcribe) final(completed) 도착 — 2.5초 기한   ✗ 여기서 폐기
③ 턴 인정 → on_user_turn_completed 훅 → _generate_reply(modality="audio")  (agent_activity.py:3944)
④ OpenAI Realtime 모델이 응답을 텍스트로 스트리밍 (modalities: ["text"], agent.py:1286 부근)
⑤ 응답 텍스트 → Typecast TTS 합성·재생 (agent.py:1426 _build_tts)

Typecast가 받는 것은 STT final이 아니라 ④의 AI 응답 텍스트다. STT final은 턴 인정·대화 기록·훅 판정(키워드 매칭 등)에 쓰인다. Realtime 모델이 commit된 오디오 item을 직접 입력으로 듣는지는 끝까지 추적하지 않았다(modality="audio" 기준 추정).

VP 모드(voice_pipeline)는 해당 없음. 텍스트 LLM + 별도 STT(Soniox/ASR) 구조라 위 진입 조건을 만족하지 않고, _build_voice_pipeline_session은 openai_realtime을 거부한다(agent.py:1098).

agent — Half Cascade 턴 허용 판정

턴 커밋 뒤 realtime 입력 전사의 정확한 provider final을 최대 2.5초 기다린다. final이 없으면 fail-closed로 턴을 버린다. 부정확한 입력으로 대답하지 않으려는 설계지만, 이번처럼 기한 안에 final을 못 받으면 아동 입장에서는 "말했는데 대답 없음"이 되고 클라이언트·모니터에 아무 신호도 가지 않는다.

아동 클라이언트가 직접 원인이라는 근거가 약한 이유

증거 로그 위치

파일 · 줄내용
ppi-issue-classifier/inputs/20260929_이현우_18/turn5-flow/agent-job-AJ_X2z9UJp3JUJQ-1904-1906-full.log :440 / :475turn-4 커밋 → final 1.5초 (정상 대조군)
동 :568turn-5 speaking (음성 도달)
동 :613turn-5 user_turn_committed 19:05:03.605
동 :616~725interim 길이 1→57, 기한 내 final 미확보
동 :730skipping Half Cascade turn … provider_final_not_admitted 19:05:06.107
동 :731 / :734away 19:05:16 / response-6 시작 19:05:20
ppi-issue-classifier/inputs/20260929_이현우_18/turn5-flow/turn5-timeline.txtturn-5 통합 타임라인 — agent·아동 로그를 agent 시각으로 정렬(아동 −12.3초 보정, 117행). 원본 발췌: turn5-agent.log / turn5-guest-session.jsonl
CloudWatch 재조회 ppicw logs --start "9/29 19:00" --end "9/29 19:20" --job AJ_X2z9UJp3JUJQ수업 전체 커밋·final 대조, 폐기 1건
ppi-issue-classifier/inputs/20260929_이현우_18/session-20260929.jsonl.gz (압축 해제 기준) :2559 / :2583 / :2591 / :2783response-5 텍스트 / remoteSpeaking true / audio element 정상 재생 / 진행자 텍스트 전송 (아동 시계)

agent 로그는 CloudWatch /ppi/livekit/prod/agent, job AJ_X2z9UJp3JUJQ에서 ppicw logs --start "9/29 19:04" --end "9/29 19:06" --job AJ_X2z9UJp3JUJQ로 받았다. 받은 파일이 ~/Downloads에서 사라진 일이 있어(10/1) 증거 파일은 ppi-issue-classifier/inputs/20260929_이현우_18/turn5-flow/에 보관한다. 줄 번호(:730 등)는 재조회 결과와 동일.

4-1. 폐기 경고의 의미와 "왜 final이 안 왔나"

경고 문구의 정확한 의미

skipping Half Cascade turn without exact provider final은 "이 턴에 쓸 정확한 provider final을 허용하지 못해 버림"이라는 공통 결과 로그다. 원인 경로는 여러 개이고, 일부는 별도 경고를 남긴다.

원인 경로별도 경고이번 건
commit 응답(item_id) 지연·실패commit acknowledgement timed out/failed0건
전사 복구 중 예외transcription recovery failed0건
OpenAI 전사 실패 이벤트failed to transcribe input audio ERROR (realtime_model.py:2492)0건
provider error / 연결 오류returned an error0건
2.5초 기한 초과없음 (기한 확인 후 조용히 return, agent_activity.py:3541)해당 (커밋 +2.502초)
빈 final / 다른 item_id없음구분 불가

함정: interim 스냅샷이 있어도 realtime native final missing; rejecting exact-item interim 경고가 안 찍힌다. wait_for_input_transcription()(realtime_model.py:2535)은 타임아웃이 나도 스냅샷을 돌려주지만, 호출부가 interim 검사 전에 기한을 먼저 확인하고 return하기 때문이다.

turn-5로 귀속한 근거 (정황 추론)

폐기 경고에는 turn_id/item_id 필드가 없다. ① 당시 대기 중인 턴이 turn-5뿐(turn-4는 19:04:42 판정 완료, :613~:730 사이 다른 커밋·drop 없음) ② 커밋 +2.502초 = 기한 ③ 수업 전체에서 final이 빠진 턴이 turn-5뿐 ④ response-6의 source_user_turn_id가 turn-5 — 네 가지 배타성으로 귀속했다.

정정: 초판에서 "final이 끝내 오지 않았다"고 썼으나 과장이었다. Half Cascade에서는 final이 도착 즉시 로그되지 않고 허용 판정을 통과해야 user_stt_event_received is_final:true로 기록된다(agent_activity.py:2714 defer_half_cascade_admission). 턴 폐기 후 늦게 온 final은 record_realtime_final()이 None이라 로그 없이 버려진다(:2708). 확정 가능한 범위는 "기한 내 해당 턴에 사용할 정확한 final을 허용하지 못했다"까지다. 수신 자체가 늦었는지, 수신 후 로컬 처리에서 탈락했는지는 8절의 경계 관측이 필요하다.

기존 로그에서 직접 근거가 확인되지 않은 원인

남은 후보 (현재 로그로 구분 불가)

  1. OpenAI(gpt-4o-transcribe) final이 2.5초보다 늦게 옴 — 정상 turn-4는 마지막 interim 후 약 0.8초에 final, turn-5는 마지막 interim(19:05:04.652) 후 1.45초 여유에도 미도착. 약 12초·두 번 재개된 긴 발화라 처리 지연 가능성.
  2. 해당 item의 final 자체가 안 옴 — 후보. 현재 로그는 처리 전 completed/failed의 완전한 수신 기록이 아니므로 수신 부재를 확정하지 못한다.
  3. 로컬 저장·item 매칭·수명 관리에서 탈락 — 다른 item_id, 조기 정리, 수신 후 허용 실패 등이 남는다. 저장 한도 결함은 8절에서 별도로 재현했으나 운영 귀속은 미확정이다.

확정용 관측 추가 제안 (미적용)

4-2. 발생 현황 — 9/14(월) ~ 9/30(수) 17일 (전체 agent)

이 수업만의 일이 아니다. 17일간 폐기 경고 429건 중 수업 종료 flush로 생긴 30건(4-8절)을 빼면 실제 수업 중 폐기(무응답) 399건 · 방 351개 · 아동 250명이다. 요일은 달력으로 재확인했다(초판의 요일 표기는 하루씩 틀려 정정).

날짜폐기 경고종료 flush실제 폐기방아동최다 시간대
9/14 (월)6155520시 2
9/15 (화)34331292820시 10, 19시 9
9/16 (수)43637313121시 11, 20시 9
9/17 (목)73766513920시 24, 21시 22
9/18 (금)28226202015시 9
9/19 (토)514449·11시 2
9/20 (일)7076610시 4
9/21 (월)26125242320시 9
9/22 (화)29128252120시 8, 19시 7
9/23 (수)28226242220·21시 6
9/24 (목)00000추석 연휴
9/25 (금)00000추석 연휴
9/26 (토)2021115시 2
9/27 (일)100109910·11시 3
9/28 (월)21219161419시 7, 21시 6
9/29 (화)82379766019시 28, 17·18시 13
9/30 (수)35134302520시 13
합계42930399351250

시간대 분포 (실제 폐기 399건, KST)

시9101112131415161718192021
건수7219441419143328769971

공통점·특이점

집계 방법: ppicw logs --start "9/14 00:00" --end "10/1 00:00" --search "without exact provider final" → job_id가 있는 줄만 (timestamp, job_id) dedup(원본은 경고 1건당 2~3줄). 종료 flush는 같은 job에서 0.5초 안에 session close Half Cascade flush timed out이 찍힌 경고. 아동 = 방 이름의 userId. 이전 일주일 집계(9/23·27~30)와 일별 수치 일치.

4-3. 9/29 17~20시 심층 분석 — CPU·턴 수·commit→final 분포·발화 길이

해석: agent CPU 부하가 폐기 증가의 주원인이라는 근거는 약하다. 발화 길이와 지연 분포의 관계, 특정 시각의 지연 꼬리는 관측됐지만 OpenAI 처리 지연의 확정 증거는 아니다. provider 수신 전후 관측과 로컬 저장·매칭 검증이 필요하다(8절).

① CPU 부하 — 주원인 근거 부족

② Half Cascade 턴 수 대비 폐기율 (10분 단위, 주요 구간)

시각HC 턴폐기비율
17:1021331.41%
17:4026872.61%
18:1031761.89%
18:3022600.00%
18:4026751.87%
19:0040061.50%
19:10463132.81%
19:3034141.17%
19:4045751.09%
합계 17~20시3,928571.45% (약 70턴 중 1)

턴 수가 가장 많은 19:40(457)은 1.09%, 19:10(463)은 2.81% — CPU도 83%/84%로 같아 부하로 설명되지 않는다. 같은 시간대 VP 턴은 37개뿐이고 폐기 57건은 전부 HC job. (기존 분석의 57건과 이전 집계의 69건 사이 차이는 이번 재검토에서 원본 부재로 대조하지 못했다. dedup 설명만으로 차이가 해소됐다고 단정하지 않는다.)

③ commit→final 간격 분포 (final 도착 턴만)

구간턴p50p90p95p991.5초 이상폐기
17:402610.871.351.762.077.3%7
19:104480.921.551.802.1811.6%13
18:30 (대조)2240.821.221.502.004.9%0
19:40 (대조)4640.891.271.452.154.5%5

p50은 네 구간 모두 0.8~0.9초 — 전체가 느려진 게 아니라 꼬리만 두꺼워졌다. final이 온 턴은 최대 2.45초(19:40의 9.41초 1건은 예외 경로로 보임). 폐기 턴은 final 기록이 없어 표에서 빠지므로 실제 꼬리는 더 길다.

④ 발화 길이별 (튄 구간 17:40+19:10 / 대조 18:30+19:40)

발화 길이턴 (튄/대조)p50p901.5초 이상폐기율
0~2초291 / 3190.83 / 0.801.20 / 1.055.2% / 1.9%1.0% / 0.3%
2~4초148 / 1520.91 / 0.841.18 / 1.053.4% / 3.9%2.7% / 1.3%
4~6초62 / 630.95 / 0.901.35 / 1.178.1% / 1.6%1.6% / 0%
6~9초64 / 660.98 / 1.021.66 / 1.4614.1% / 10.6%1.6% / 3.0%
9초 이상100 / 751.26 / 1.161.81 / 1.6628.0% / 13.3%7.0% / 1.3%

방법: 모드는 livekit_ready_response_sent의 pipeline_mode로 job별 매핑(미매핑 0건). 턴 = user_turn_committed event_id dedup. commit 시각 = user_turn_committed timestamp, final = 같은 turn_id의 user_stt_segment is_final:true. 발화 길이 = 첫 user_state_changed→speaking ~ 마지막 user_turn_pending_started(중간 쉼 포함). 폐기 턴은 같은 job의 폐기 경고(commit +2.3~2.8초)로 매칭 — 19:10은 13건 중 9건만 매칭(나머지는 구간 경계 추정). 원본: ~/Downloads/ppi-livekit-agent-20260929_{1600-2130,1700-1800,1800-1900,1900-2000,1739-1751,1909-1921,1829-1841,1939-1951}.log

⑤ OpenAI 공식 문서 대조

출처: Realtime transcription guide · input_audio_transcription.completed reference · community: gpt-4o-transcribe issues

4-4. agent 런타임 구조 — 폐기가 일어나는 자리

실행 단위: 1 room = 1 job = 1 프로세스 = AgentSession·Agent·AgentActivity 각 1개

① 아동 → POST /api/livekit/call   (apps/web/app/api/livekit/call/route.ts)
   room 이름 ppi-{userId}-{avatarId}-{voiceSessionId} 생성(:81), config 스냅샷 저장,
   토큰에 RoomAgentDispatch{agentName} 예약 (lib/voice-agent/livekit-token.ts:113)   ※ createRoom 호출 없음
② 아동 접속 → LiveKit 서버가 room 자동 생성(RM_…) + agent job(AJ_…) 배정
③ ECS 워커(ppi-livekit-prod-agent, `uv run agent.py start`, cli.run_app)가
   미리 띄운 대기 프로세스 1개에 job 할당 (ipc/proc_pool.py:171) — job마다 별도 프로세스·asyncio 루프
④ ppi_agent(ctx)  agent.py:5182
     session = _build_half_cascade_session(...)        AgentSession  (:5200)
     agent   = HalfDuplexInputGuardAgent(session=...)  Agent         (:5204)
     await ctx.connect()                               SFU에 WebRTC 접속 (:5256)
     session.start(agent=agent)  → AgentActivity(agent, session) 생성 (agent_session.py:1829)
⑤ job 종료(아동 퇴장 → ctx.shutdown) → 프로세스 종료, 풀이 새 대기 프로세스 spawn

아동 mic 오디오 경로 — agent는 SFU를 경유해 받는다

아동 브라우저 ──WebRTC──→ LiveKit 서버(SFU) ←──WebRTC── agent job (livekit.rtc, Rust/libwebrtc FFI)
  RoomIO _ParticipantAudioInputStream (room_io/_input.py:330)  트랙 구독 → PCM 프레임 + noise_cancellation(ai-coustics)
  AgentSession._forward_audio_task (agent_session.py:1993) → activity.push_audio(frame)
  AgentActivity.push_audio (agent_activity.py:1923)
    ├ _rt_session.push_audio → OpenAI input_audio_buffer.append   (전사·응답 입력)
    └ _audio_recognition._push_audio → LiveKit VAD                 (speaking/EOT 판정)

아동↔agent는 직접 연결되지 않는다. 아동 측 WebRTC 품질은 LiveKit 서버 로그(Loki ppi-livekit), agent 측에서는 "프레임이 들어오는가"(VAD speaking·interim)만 보인다. 이번 건은 둘 다 정상.

commit 역할 분담

주체역할위치
AgentActivityEOT 판정 후 commit 시점 결정·2.5초 기한 설정, item_id↔final 매칭, 인정/폐기_reserve_realtime_audio_for_eot :3395
RealtimeSession (openai 플러그인)input_audio_buffer.commit 전송, committed로 item_id 수신, delta/completed 보관realtime_model.py:1877 / :2226 / :2535

if not admitted: 판정과 폐기 처리

EOT 시점에 task 2개 생성 (agent_activity.py:3329 / :3340)
  recovery_task  = _commit_realtime_audio_for_eot  → 기한 안에 item_id·final 확보 시도
  admission_task = _realtime_audio_admission_task (:3664)
                   앞 턴 admission 대기 → 이 턴 recovery 대기 → _admit_realtime_audio_for_eot (:3596)
_user_turn_completed_task:  admitted = await admission_task (:3746)
  if not admitted:  (:3767)
      logger.warning(..., failure_category="provider_final_not_admitted")   ← 결과 라벨일 뿐, 동작 무관
      _cancel_preemptive_generation_if_current(...)                          ← 미리 만들던 응답 취소 (:2145)
      return                                                                ← 실제 폐기 (_generate_reply 미도달)
_admit_… finally → _finish_realtime_audio_commit_reservation(cancel_recovery=True) (:2244)
      reservation.invalidated = True / invalidate_audio_commit
      session.discard_input_audio_item(item_id)   → OpenAI 대화 기록에서 이 오디오 item 삭제 (realtime_model.py:1028)
      recognition.discard_realtime_input_item     → 턴↔item 바인딩 해제 (늦은 final은 record_realtime_final None → 조용히 버림)
      recovery/admission task 취소, 빈 전사로 resolve, active 목록에서 제거

4-5. 폐기 턴 유형 분류 — 정상 턴과 쌍 비교 (9/30 20:00~21:59, 전체 HC)

HC 턴 4,935개 중 폐기 18건(0.36%). 각 폐기 턴을 정상 턴 4,917개의 기준선, 그리고 같은 job의 바로 앞 정상 턴(14쌍)과 비교했다. 폐기 원인은 한 가지가 아니라 네 유형으로 갈리며, 이현우 turn-5는 유형 ③에 해당한다.

정상 턴 기준선 (n=4,917)

지표중앙값p90
커밋 → 첫 interim0.56초0.74초
커밋 → final0.86초1.17초
마지막 interim → final0.21초0.26초

폐기 18건 유형

유형건수특징해석
① 긴 발화 — 전사 진행 중 기한 도달6발화 39~87초, 재개 2~7회, interim 242~332자가 기한(+2.3~3.6초)까지 계속 도착커밋 후 일괄 전사라 긴 오디오 처리가 2.5초를 넘김 (커뮤니티 설명과 일치)
② 전사 시작 자체가 늦음5첫 interim +1.2~3.3초 (정상 p90 0.74초), 발화 0.2~22초로 짧은 것 포함길이와 무관한 OpenAI 쪽 처리 시작 지연
③ interim 종료 후 completed 미도착6마지막 interim +0.55~1.98초에 끝난 뒤 기한까지 0.5~2초 final 없음 (정상 0.21초)completed만 늦거나 빠짐. 이현우 turn-5(마지막 interim +1.05초, 이후 1.45초 공백)가 이 유형
④ interim 0개10.5초 발화, 전사 이벤트 없음소음·짧은 소리 추정

대표 쌍 (같은 job, 정상 → 폐기)

유형① 20:09:33 DPGApf  정상 turn-2  발화 2.2s, 18자, final +0.95
                        폐기 turn-3  발화 75.7s 재개7, 262자, interim이 +3.64까지 계속
유형② 20:34:50 tQrFqp  정상 turn-5  첫 interim +0.65, final +0.91
                        폐기 turn-6  발화 2.6s, 첫 interim +1.56(늦게 시작), +2.42까지
유형③ 21:11:55 3kfxTn  정상 turn-4  발화 15.5s 100자, final +1.41
                        폐기 turn-5  발화 4.0s 33자, interim +0.85에 종료, 이후 final 없음
유형③ 20:09:59 frp2w7  정상 turn-5  8자, final +0.92
                        폐기 turn-6  9자, interim +0.55에 종료, 이후 1.95초 final 없음
(참고) 9/29 이현우  정상 turn-4  발화 1.9s 14자, 마지막 interim → final 0.78s
                        폐기 turn-5  발화 12.1s 재개2 57자, interim +1.05에 종료, 이후 1.45초 final 없음

유형 ③의 쌍에서는 오히려 정상 턴이 더 길다(15.5초·100자 vs 4.0초·33자). "길어서 늦다"만으로는 설명되지 않는다.

발화 길이별 폐기율

발화 길이폐기 / 전체
0~15초10 / 4,693 (약 0.2%)
15초 이상8 / 242 (3.3%) — 약 16배

수정안(6절)과의 연결: 유형 ①은 기한 연장이나 중간 commit으로 줄일 수 있다. 하지만 절반 이상(②·③, 11건)은 짧은 발화로, OpenAI 쪽 시작 지연이나 completed 지연·누락이다. 기한 4초는 늦게 오는 completed 일부만 구제하고 아예 오지 않는 경우는 구제하지 못하므로, 1회 되묻기가 함께 필요하다. ②·③ 중 무엇이 "늦게 옴"이고 무엇이 "안 옴"인지는 원인 로그(A)로만 가를 수 있다.

방법·한계: 원본 ppi-livekit-agent-prod-20260930_2000-2159.log(2.6GB, CloudWatch 전체 agent). 모드는 job 시작 로그(half-cascade — realtime= / voice-pipeline — stt=)로 구분(HC 1,116 job · VP 64 job). 턴 = user_turn_committed(event_id dedup), 발화 길이 = 첫 speaking ~ 커밋 전 마지막 listening, 정상 = 커밋 후 2.5초 안에 user_stt_segment, 폐기 = 커밋 후 3.2초 안의 폐기 경고. interim에는 turn_id가 없어 "커밋 ~ 다음 커밋(최대 10초)" 구간으로 귀속했다(대체로 맞지만 확정 아님). 2시간 표본 1개, 유형별 건수가 작다. 유형 경계: interim이 +2.2초 이후까지 오면 ①, 첫 interim이 +1.0초 초과면 ②(①에 걸린 짧은 발화 4건은 시작 지연이 본질이라 ②로 재분류), 그 외 ③.

4-6. agent 자원 포화 가설 검토 — 이벤트 루프·VAD 추론

정정: 자원 포화·이벤트 루프 정체가 주원인이라는 근거는 부족하다. 아래 지표는 이 가설을 약화하지만, 모든 폐기 턴에서 OpenAI 이벤트를 지연 없이 처리했다고 입증하지는 못한다. 플러그인의 저장·매칭·재연결 로직은 별도 조사 대상이다(8절).

① ECS CPU·메모리 (ppicw metrics, 14~22시, 5분 단위)

9/17 (폐기 66)9/23 (발생률 1.1%)9/29 (발생률 3.3%)
단일 태스크 CPU 최대 최고83.6%90.7%86.1%
CPU 최대 90% 이상 구간0/972/970/97
19~20시 CPU 최대 중앙75~77%71~77%77~79%
메모리 최대46~55%44~51%44~51%

발생률이 가장 낮은 9/23이 오히려 CPU 피크가 높다. 9/17 21시는 폐기 23건인데 CPU 최대 중앙 29%.

② 경고 로그와 폐기 시점 매칭 (같은 job)

경고대상 폐기커밋→폐기 2.5초 구간에 동반대조(같은 job, 60초 전 2.5초 창)동반 시 지연
event loop blocked for …ms (≥100ms 정체, telemetry/loop_monitor.py, 9/18~)2603 (1.2%)4 (1.5%)정체 합계 최대 0.92초
inference is slower than realtime (VAD 추론 200ms+ 지연, inference/vad.py:367)3992 (0.5%)0최대 1.08초
9/30 20~22시 루프 정체 (정상 4,917턴 vs 폐기 18턴)정상 25턴(0.5%, 최대 0.28초) / 폐기 0턴

4-7. PPI가 패치한 OpenAI 플러그인 — 연쇄 손실 확인

apps/livekit-agent/vendor/livekit-plugins-openai/…/realtime/realtime_model.py는 원본 1.8.2 배포본(SHA-256 일치) 대비 +518/−41줄 수정됐다. 목적은 "턴마다 정확히 그 오디오의 final만 받는다"이다.

패치 묶음내용위치
commit ↔ item_id 연결commit_audio()가 Future를 반환하고, OpenAI input_audio_buffer.committed의 item_id를 보낸 순서(FIFO)로 짝지음(서버 event_id는 있지만 원래 client commit event_id를 그대로 돌려주는 필드는 없음). 짝이 의심되면 짐작하지 않고 격리 후 재연결:1877, :2226, :2104
item별 전사 스냅샷·final 대기delta·completed를 item별로 저장(최대 8개), wait_for_input_transcription()으로 final 대기:2514, :2535
전사 실패 처리 변경원본은 transcription.failed 시 partial을 is_final=True로 넘겨 응답 → 패치는 is_final=False로 응답 차단:2510
입력 오디오 item 허용·폐기폐기된 턴의 오디오를 conversation.item.delete로 OpenAI 대화에서도 삭제:984~1070

패치 경로 경고와 폐기 매칭 (9/14~30)

경고건수폐기와의 관계
commit acknowledgement timed out1313건 모두 폐기와 동시(같은 job, 0초)
commit acknowledgement failed44건 모두 폐기와 동시
commit correlation quarantined; reconnecting10217건이 위와 동시. 나머지 85건 원인 미확인
Error in _bounce_eou_task1812건이 폐기 2~24초 뒤
failed to transcribe input audio1폐기 없는 job
아동 턴 커밋 → OpenAI commit 응답(committed)이 2.5초 안에 안 옴 / 오류
 → 턴 폐기                                              ← 무응답 ①
 → 패치: commit 짝 맞춤 불신 → 격리 → OpenAI 연결 재접속
 → 재접속 중 아동 재발화 → commit_audio() 예외
   "input audio commit identity is unavailable during provider epoch replacement"
 → _bounce_eou_task 예외로 그 턴도 처리 안 됨              ← 무응답 ② (폐기 경고 없음, 399건 집계에서 누락)

판단 정정: 시작점은 agent가 기한 내 commit 응답을 확보하지 못한 것이며, OpenAI 처리 지연·전송·로컬 수신 중 원인은 미확정이다. 격리·재연결 중 새 오디오를 버리고 commit을 거부하는 동작은 우리 코드에서 확인했다. 기존 분석의 후속 예외 12건은 이 연쇄 손실과 부합한다. ACK 관련 17건을 제외한 약 382건을 모두 “commit 정상·OpenAI final 누락”으로 분류할 수는 없다. 다중 FIFO 오결합은 이번 조사에서 확인되지 않았고, 스냅샷 8개 한도 결함은 별도 재현했다(8절).

정정: agent의 interim 로그(user_stt_event_received)는 item_id 없이 모든 delta를 기록한다. "turn-5에 interim 57자 도착"은 정확히는 "그 시간대에 delta가 왔다"이며, 기다리던 item의 것인지는 확인되지 않았다.

4-8. 수업 종료 flush 타임아웃 — 무응답 집계에서 제외

session close Half Cascade flush timed out은 AI 세션이 닫힐 때 아직 커밋되지 않은 마지막 발화를 강제 커밋하고 final을 최대 2.0초 기다리다 시간이 다 된 것이다. 이때 1ms 뒤 같은 폐기 경고가 함께 찍혀 일반 폐기와 섞인다(17일간 30건).

agent_session.py:1345 _teardown_activity → 입력 분리 → :1391 commit_user_turn(audio_detached=True, transcript_timeout=2.0)
 → audio_recognition.py:1100 HC & 열린 턴 있음 → session_closing_flush (열린 턴 없으면 commit 안 함 :1116)
 → agent_activity.py:3218 skip_reply=True → :3416 commit_audio()
 → :1778 → :1804 min(2.5, 2.0)초 대기 → 초과 시 "flush timed out" + "skipping Half Cascade turn…"

4-9. OpenAI 전사 이벤트 구조와 공식 문서·커뮤니티 조사

"delta는 왔는데 completed만 안 온" 증상이 OpenAI 쪽에서 알려진 현상인지 확인했다. 같은 증상의 보고는 찾지 못했다. 공식 문서와 커뮤니티에서 확인한 사실은 아래와 같다. 공식 문서의 요약은 4-3절 ⑤, 책임 경계 판정은 8절 참조.

전사 이벤트 구조 — 두 단계가 아니라 한 작업의 중간과 끝

[우리]   VAD 무음 2.4초 → "턴 끝" 판단 → input_audio_buffer.commit   (전사 범위 고정)
[OpenAI] input_audio_buffer.committed (item_id 부여)
         conversation.item.input_audio_transcription.delta  × N       (전사 조각)
         conversation.item.input_audio_transcription.completed        (종료 신호 + 최종 텍스트, 1회)
           또는 …transcription.failed                                  (실패)
[우리]   completed 2.5초 대기 → 입력 게이트 판정 → 응답 생성 → Typecast TTS

공식 문서

출처확인한 내용
Realtime transcription guide권장 gpt-live-transcribe(말하는 동안 delta) vs gpt-transcribe(commit 후 전사 시작). 턴 간 completed 순서 미보장 → item_id 매칭 권고. delay(minimal~xhigh)는 스트리밍 중간 결과용, ms는 실측 권고. completed가 커밋 후 언제 오는지·느려지는 원인은 기술 없음. 우리가 쓰는 gpt-4o-transcribe는 언급 없음
gpt-4o-transcribe 모델 페이지컨텍스트 16k, 출력 2k 토큰, Realtime·Transcription 엔드포인트, 요청 한도 Tier 1 500 RPM ~ Tier 5 10,000 RPM. 지연·스트리밍 정보 없음. 한도 초과는 오류 이벤트로 올 것이라 일주일간 오류 0건과 맞지 않음(계정 Tier 미확인)

커뮤니티 (비공식)

글내용우리와의 관계
1380663 SIP 통화 종료 시 final 유실 (2026-05)통화를 끊으면 completed가 안 옴. OpenAI 지원팀: "세션이 닫히면 final 전사 전달은 보장되지 않는다"completed 미도착을 OpenAI가 인정한 유일한 사례. 단 세션 종료 조건이라 수업 중 턴과 다름
1387907 Realtime 전사 피드백 (2026-07~09)짧은 발화 실측: 첫 텍스트 240ms, 첫 텍스트→completed 274ms, 완료 527ms(중앙). OpenAI 지원팀(9/8): delay 설정은 중간 결과만 조절, "final 완료를 더 빠르게 한다고 약속하지 않는다", final 지연 제어 요청은 일정 없음정상 지연 규모가 우리 실측과 비슷. final 지연을 제어할 수단이 없음
1357039 delta가 전사 중에 안 옴 (2025-09~2026-02)gpt-4o-transcribe는 commit 전엔 전사를 시작하지 않고 버퍼 전체를 처리, delta와 completed가 거의 동시. 쉬지 않고 길게 말하면 전사 시간이 5초를 넘김 → 중간 commit 우회책유형 ①(긴 발화)과 일치. 중간 commit은 턴 판정 구조 변경이 필요해 보류
1148726 전사 메시지 순서 이상 (2025-03~08)delta가 말이 끝난 뒤 completed와 함께 몰려 옴commit 후 일괄 처리 근거 (우리 로그와 일치)
1150994 Realtime 전사 문제 (2025-03~08)언어 오인식, "일부 경우 전사가 불완전하거나 잘린다"품질 문제, completed 누락과는 다름
1272621 WebRTC 전사 10초+ 지연 (2025-05)말이 끝나고 10초 넘게 지연, 다른 사용자는 약 1초로 재현 안 됨큰 지연 사례, 원인 미해결
1256390 noise_reduction 사용 시 지연 급증 (2025-05)input_audio_noise_reduction+semantic_vad에서 세션 5분 후 최대 1분 지연해당 없음 — 기본 설정에서 OpenAI 노이즈 처리 꺼짐(agent.py:600), semantic_vad 미사용
1358789 / 1367938 전사 불일치 (2025-09~12)전사가 실제 음성과 어긋남, -latest 모델은 delta 미도착, 전사는 "모델이 들은 것의 참고용"정확도·API 형식 문제

결론: completed가 늦거나 안 올 수 있다는 것은 OpenAI도 세션 종료 조건에서 인정했고, final 지연을 제어할 수단도 제공하지 않는다. 하지만 수업 중 세션이 살아 있는데 delta 후 completed만 빠지는 보고는 없다. OpenAI 문의나 보고를 하려면 원인 로그로 OpenAI 세션 ID, item_id, commit 응답·delta·completed 도착 시각, 기한 이후 늦게라도 completed가 왔는지를 확보해야 한다.

조사: 2026-10-01, community.openai.com 검색 API로 검색어 20여 개 조회 후 관련 글 본문 확인.

5. 주의사항 · 판별법 · 남은 과제

판별법: AI 무응답 신고에서 agent 로그에 provider_final_not_admitted가 커밋 +2.5초에 찍히고, 그 사이 commit 응답·전사 실패·provider error 경고가 없으면 기한 초과에 따른 폐기를 우선 의심한다. 공통 경고만으로 빈 final·item 불일치를 배제할 수 없으며, 세부 사유 확정에는 6절의 관측 보강이 필요하다. user_turn_dropped·캐시 오염(빈 전사 캐시 키 문서)과는 다른 경로다 — 이번 건은 훅 트레이스 자체가 없다.

6. 최초 수정안 — 일반 HC 기한 조정 + 1회 되묻기 + 원인 로그

2026-10-01 검토 결과 · 이 절의 B·C′는 구현·배포 미적용. 되묻기는 C′ 대신 기존 VP 복구 경로를 재사용하는 방식으로 develop에 병합됐다(7절). 당시 PPI-1348 코드와 기존 테스트를 확인해 정리한 수정 계획이다. 추가 조사 후의 최신 우선순위는 8절을 따른다. 아래의 4개 테스트 통과는 현재 동작의 기준선이며, 제안한 수정의 효과 검증 결과가 아니다.

문제의 직접 원인: 사건 당시 agent는 2.5초 안에 정확한 provider final을 확보하지 못하면 음성 항목을 삭제하고 응답 생성·복구 없이 종료했다. 현재 develop의 LLM 되묻기는 7절, 추가 개선 제안은 8절에 구분했다. OpenAI final 지연·미도착·빈 전사·item 불일치 중 실제 미확보 원인은 아직 구분되지 않는다.

유지할 구조: LiveKit VAD → OpenAI Realtime → Typecast TTS, 정확한 item_id·final 인정 조건, 기존 턴 순서·취소·세션 종료 수명 관리. 수정은 agent 내부 경로와 관련 테스트에 한정한다.

적용 순서와 최소 수정 범위

  1. A. 원인 관측: 정리 전에 실패 사유, input_turn_id·committed_item_id, 실제 대기 상한·경과시간, 마지막 interim 시각·길이를 기록한다. 플러그인 completed/failed 수신도 item_id·시각으로 기록해 커밋 로그와 연결한다. late final·귀속 실패는 정상 취소와 구분하며, 전사 원문 추가 수집은 필요하지 않다.
  2. B. 일반 HC 턴의 기한만 2.5 → 4초 시험 적용: 자동 EOT의 일반 HC 경로에서 별도 대기 상한을 전달한다. 공용 _REALTIME_INPUT_TRANSCRIPTION_TIMEOUT을 일괄 변경하지 않아 수업 종료 flush(:1821)·수동 커밋(:2369)의 기존 상한을 유지한다. final이 일찍 오면 즉시 진행한다. 4초는 초기 시험값이며 운영 지표로 재평가한다.
  3. C′. 기한 초과·전사 실패 시 1회 되묻기: vendor에서 정확한 턴 식별자와 실패 사유를 agent 쪽에 전달하고, 유효한 현재 턴에만 session.say("다시 말해줄래?")를 실행한다. 기존 Typecast TTS를 사용하므로 복구 문장 생성에 LLM 응답을 추가로 기다리지 않는다.
  4. 보호 조건과 단계 검증: 턴당 중복 실행을 막고 새 발화·다른 응답·수동 취소·세션 종료 시 예약된 되묻기를 억제하거나 취소한다. 폐기된 item의 늦은 final로 원래 응답을 재생성하지 않는다. 실패 사유를 구분해 모든 admitted=False를 전사 타임아웃으로 취급하지 않는다.

기존 복구 기능의 재사용 범위: agent.py:3252의 STT 무전사 watchdog은 uses_local_stt_completion 조건 때문에 이번 HC 경로에서 동작하지 않는다. 기존 중복·새 발화·종료 보호 규칙을 재사용하되 HC 실패 연결이 필요하다. 기존 _deliver_unreadable_recovery()(:3356)는 전체 입력 정리·강제 인터럽트·LLM 응답 생성까지 수행하므로 그대로 호출하지 않는다.

주요 위치: apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py(기한·폐기 사유), 같은 디렉터리의 events.py(필요한 실패 이벤트 계약), apps/livekit-agent/vendor/livekit-plugins-openai/livekit/plugins/openai/realtime/realtime_model.py(provider 수신 관측), apps/livekit-agent/agent.py(HC 복구 연결·보호). AgentSession.say()는 agent_session.py:1525, TTS 분기는 agent_activity.py:2024에서 확인했다.

선택하지 않은 안과 한계

확인한 기준선과 구현 후 검증

현재 기준선: 기존 테스트 4개 통과. PPI-1348 worktree의 vendored AgentActivity·OpenAI 플러그인 경로를 확인한 뒤, apps/livekit-agent/tests/test_realtime_livekit_vad_identity.py에서 아래 4개만 unittest runner로 선택 실행했다. 실제 OpenAI·TTS 요청 없이 검증했다.

구현 전 추가할 재현·회귀 케이스: 커밋 후 3초 final 도착 시 정상 응답 1회, 최종 기한 초과·provider 실패 시 되묻기 1회, 늦은 final·중복 실패 이벤트·턴 간 완료 순서 역전에서도 중복 응답 없음, 새 발화·수동 취소·종료 시 복구 억제, 종료 flush·수동 커밋 상한 유지. 기존 테스트와 새 케이스를 수정 전후 실행하고 guardian-gate 검토 후 적용한다.

7. 구현 — HC 폐기 턴을 판독 불가 되묻기로 연결 (PPI-1348, develop 병합)

현재 상태(2026-10-01 확인): develop@0f94a87a / PR #1148에 병합됐다(PPI-1348 커밋 ba394274). 운영 배포·실기기 검증 여부는 이번 조사에서 확인하지 않았다. 아래 guardian-gate 및 전체 테스트 결과는 구현 당시 기록이며, 이번 재검토의 109개 테스트와 새로 발견한 경합은 8절에 별도로 기록한다.

목적: HC 모드에서 2.5초 안에 provider final이 확보되지 않아 턴이 폐기되면, 지금까지는 아무 응답 없이 끝났다(4-1절). 이제 VP 모드와 같은 "(판독 불가)" 기록 + LLM 되묻기로 이어진다.

6절 C′과 다른 점: session.say() 고정 문구를 쓰지 않는다. 기존 _deliver_unreadable_recovery()를 그대로 재사용하므로, 되묻기 문장은 Realtime LLM이 STT_NO_FINAL_LLM_INPUT_TEXT 지시문을 받아 생성한다. VP와 동작이 같아지는 대신 응답이 한 번 더 늦다. 기한(2.5초)과 원인 관측 로그(6절 A·B)는 이번 범위에 넣지 않았다.

막혀 있던 지점 (수정 전)

# HC 턴: VAD silence → agent.py endpointing → committed (VP와 같은 경로)
✗① _arm_stt_no_final_watchdog  → local_stt 조건에서 즉시 return (HC는 vendor_exact)
✗② SDK user_transcription_timeout → audio_recognition._stt_pipeline이 None이라 발생하지 않음
✗③ agent_activity 폐기 지점      → logger.warning만 남기고 return, agent.py로 신호 없음
   → 무응답

수정 후 흐름

agent_activity._user_turn_completed_impl  # vendor :3771
  admitted=False → "skipping Half Cascade turn without exact provider final"
  └ input_turn_id 있음 · skip_reply 아님 · 세션 종료 중 아님 · rt_session 동일
      → session._user_input_transcription_failed(
          UserInputTranscriptionFailedEvent(input_turn_id, reason="provider_final_not_admitted"))
            ▼
agent.py _on_user_input_transcription_failed  # :4175
  turn_guard.vendor_turn_epoch(input_turn_id) → 로컬 turn_id   # 실패하면 진단 로그만 남김
  로그: user_stt_provider_final_failed (mapped)
  pending_provider_final_failure_turn_ids.add(turn_id)
            ▼
_maybe_schedule_provider_final_fallback  # :3495
  · 로컬 commit 전이면 보류 → endpointing commit 시점(:3615)에 다시 평가
  · _stt_no_final_turn_is_eligible(:3173) 통과해야 실행
  · _claim_unreadable_recovery_turn(:3205)으로 terminal 상태를 동기 선점
            ▼
_deliver_unreadable_recovery  # :3359 (VP와 공유)
  ① user_stt_provider_final_fallback + "(판독 불가)" user_stt_segment (fallback_reason=provider_final_not_admitted)
  ② clear_user_turn → ③ interrupt(force=True) → ④ generate_reply(되묻기 지시문, tool_choice="none")

변경 파일

파일변경
vendor/…/voice/events.pyUserInputTranscriptionFailedEvent, EventTypes·AgentEvent 등록
vendor/…/voice/agent_session.pyemit 헬퍼 _user_input_transcription_failed
vendor/…/voice/agent_activity.py폐기 지점에서 이벤트 emit (위 게이트 조건 포함)
vendor/…/voice/__init__.py이벤트 export
agent.py핸들러·보류 집합·스케줄러. 선점 코드를 헬퍼로 추출해 VP no-final·Soniox blank 경로와 공유. soniox_blank_fallback_tasks → unreadable_recovery_tasks로 이름 변경

보호 조건

검증

항목결과
vendor: 폐기 시 이벤트 1회 / 세션 교체 시 0회 (test_provider_recovery_failure_blocks_hook_and_reply_admission, test_exact_interim_blocks_ordered_metrics_hook_and_reply 보강)통과
agent: 복구 1회(중복 이벤트 포함), commit 전 도착 시 commit 후 복구, 매핑 불가·새 발화·세션 종료 시 복구 없음 (test_half_cascade_provider_failure_* 3개)통과 (구현 전 실패 확인)
agent: 이전 vendor 턴의 실패가 다시 이어진 턴에 적용되지 않음 (test_half_cascade_superseded_vendor_turn_failure_skips_resumed_epoch, 실패가 resume 전·후에 오는 두 경우)통과 (수정 전 실패 확인)
apps/livekit-agent 전체 pytest (구현 당시 기록)491 passed (이번 재검토에서 전체 재실행하지 않음)
실기기: HC 수업에서 폐기 턴 발생 시 되묻기 음성 재생, 세션로그 "(판독 불가)" 표시미검증

미결정 (P2): 빈 provider final도 같은 provider_final_not_admitted로 묶여서 즉시 되묻기를 일으킨다. 잡음·기침에도 AI가 다시 말해 달라고 할 수 있다. 리뷰어 권고는 다음과 같다. ① 사유를 timeout/blank로 나눈다. ② blank는 VP의 soniox_blank_policy처럼 정책값으로 켜고 끈다. 이 밖에 테스트 공백이 남아 있다: resume 후 input-2 실패 시 정상 복구되는 경우, vendor skip_reply/_closing 가드.

판별법(배포 후): agent 로그에 skipping Half Cascade turn without exact provider final가 나온 직후, 세션로그 user_stt_provider_final_failed → user_stt_provider_final_fallback → user_stt_segment "(판독 불가)"가 이어지는지 본다. mapped:false이거나 fallback이 없으면 매핑 실패 또는 eligibility에서 억제된 경우다.

주의: 로컬 venv는 vendor를 non-editable로 설치한다. vendor를 수정한 뒤에는 uv sync --frozen --reinstall-package livekit-agents를 해야 테스트에 반영된다. Docker 이미지는 vendor 경로에서 설치하므로 해당하지 않는다(추정).

관련 문서: VP 모드 AI 응답 지연 — 엔드포인팅 타이머 리셋 · AI 미발화 — 빈 전사 캐시 키

8. 책임 경계 재검토 — 우리 agent와 OpenAI 중 어디의 문제인가 (2026-10-01)

판정: 무응답을 만든 직접 원인은 우리 agent의 “2.5초 내 정확한 final 미확보 → 턴 폐기” 정책이다. final 미확보의 최초 원인이 OpenAI 서버인지, 전송·수신 경로인지, 우리 플러그인인지는 미확정이다. CPU·이벤트 루프 분석만으로 우리 소프트웨어를 배제할 수 없으며, 이번 재검토에서는 플러그인 저장 로직의 결함을 실제 코드로 재현했다.

조사 범위: PPI develop@0f94a87a(PR #1148)의 vendor 소스와 관련 테스트를 읽고 실행했다. PPI-1348의 OpenAI vendor 파일은 develop과 동일했다. 이번 조사는 코드·설정 변경 없이 진행했다. 문서에 기록된 원본 로그 4개는 지정 위치에서 찾지 못해, 과거 399건 집계와 해당 수업의 개별 로그를 다시 검증하지 못했다. 아래 운영 시각·건수는 기존 분석을 인용하며, 로컬 재현 결과와 구분한다.

8-1. 확정된 동작과 미확정 원인

대상판정근거와 한계
2.5초 제한·턴 폐기우리 코드의 동작 확정기존 분석의 commit 19:05:03.605 → drop 19:05:06.107은 2.502초. 정확한 final을 허용하지 못하면 원래 응답 생성에 진입하지 않는다.
agent 자원 포화주원인 근거 부족4-6절의 CPU·메모리·loop/VAD 지표는 자원 포화 가설을 약화한다. SDK의 저장·매칭·필터 오류까지 배제하는 근거는 아니다.
OpenAI 전사 지연·누락후보, 미확정긴 발화와 지연 꼬리의 관계는 부합하지만, 처리 전 completed 수신 시각이 없어 provider와 로컬 처리를 분리하지 못한다.
우리 플러그인로컬 결함 재현저장 한도 8개가 활성 waiter를 깨뜨리는 두 순서를 재현했다. 운영 399건 또는 이 수업의 원인이라는 뜻은 아니다.
재연결 중 추가 손실코드 경로 확인격리 중 오디오를 버리고 commit을 거부한다. 기존 분석의 후속 EOU 예외 12건과 부합하나 최초 ACK 미확보의 원인을 증명하지 않는다.
OpenAI completed
  → 우리 플러그인 수신·저장·item 매칭
  → agent final 허용  ← 기존 final 로그는 이 경계를 통과한 뒤 기록
  → Realtime 응답 생성 → Typecast 합성 → LiveKit 전달·아동 재생

기한 내 허용 실패 → 원래 턴 폐기
  → 현재 develop: 유효한 턴은 “(판독 불가)” 기록 + LLM 되묻기 시도

로그 부재의 의미: final 로그 없음은 OpenAI completed 미수신과 동치가 아니다. 수신 후 매핑·정리·허용 판정에서 탈락한 경우도 남는다. interim 57자도 item_id가 없어 turn-5의 처리 진행을 확정하지 못한다. 정상 턴만 집계한 commit→final 분포에는 폐기된 턴의 지연이 빠진다.

공식 API에서는 입력 전사가 응답 생성과 비동기로 실행되고, Realtime 모델은 오디오를 직접 입력받는다. 정확한 final 선행 조건과 2.5초 제한은 우리 정책이다. 출처: OpenAI input_audio_transcription.completed, input_audio_buffer.commit. 이 계약만으로 특정 사건의 OpenAI 서버 장애를 입증할 수는 없다.

8-2. 새로 재현한 로컬 결함 — 저장 한도 8개와 활성 대기의 충돌

realtime_model.py:2523–2553의 _remember_input_transcription()은 저장 항목이 8개를 넘으면 가장 오래된 snapshot과 asyncio.Event를 함께 제거한다. 해당 item을 기다리는 함수가 있는지는 확인하지 않는다.

재현 순서관측 결과로컬 원인
A interim 저장 → wait(A, 100ms) → B0~B7 final 저장 → A finalfinal이 있지만 약 101ms, 즉 대기 상한까지 기다림A의 기존 Event가 제거되고 A final은 새 Event를 깨운다. 원래 waiter는 깨어나지 않는다. agent는 대기 뒤 기한을 다시 검사하므로 허용 실패로 이어질 수 있다.
wait(A) → A final 저장 → B0~B7 final 저장 → waiter 재개final_returned=Falsefinal 수신으로 waiter를 깨웠어도 재개 전에 snapshot이 제거되어 None을 반환한다.

귀속 한계: 실제 vendor 메서드에 합성 이벤트를 직접 넣어 저장·대기 경계조건을 재현한 것이다. 외부 API·실제 음성·WebSocket을 사용하지 않았다. 한 대기 구간에 다른 item 8개가 유입되는 조건이 이 수업이나 399건에 존재했는지는 미확인이다. 이 재현은 로컬 결함의 증거이며 운영 사건의 원인 확정은 아니다.

최소 수정 방향: 활성 waiter의 snapshot과 Event를 소비 완료까지 유지하고 비활성 항목만 정리한다. 활성 reservation 수명·수량도 별도로 제한한다. 저장 한도를 8에서 더 큰 숫자로 바꾸는 것만으로는 같은 경계조건을 해결하지 못한다.

읽기 전용 재현 절차 — 실제 vendor 메서드 호출
# apps/livekit-agent에서 .venv/bin/python 사용
# import 전에 vendor/livekit-agents와 vendor/livekit-plugins-openai를
# sys.path 앞에 두고 __file__로 실제 로드 경로를 확인했다.
# object.__new__(RealtimeSession)으로 최소 객체를 만들고 다음을 설정:
# _input_transcription_closed=False, snapshots={}, final_events={}

# 사례 1
remember(A_interim)
waiter = create_task(wait_for_input_transcription("A", 0.1))
await sleep(0)                  # waiter가 기존 Event를 참조
for item in B0_to_B7: remember(item_final)
remember(A_final)
result = await waiter          # elapsed_ms≈101, final_returned=True

# 사례 2: 새 최소 객체에서 실행
waiter = create_task(wait_for_input_transcription("A", 0.1))
await sleep(0)
remember(A_final)
for item in B0_to_B7: remember(item_final)
result = await waiter          # final_returned=False

# remember / wait_for_input_transcription은 실제 vendor 메서드.
# 위 코드는 재현 순서를 요약한 의사코드이며 외부 요청을 하지 않는다.

8-3. 격리·재연결과 현재 되묻기의 한계

8-4. 현재 구조를 유지하는 개선 우선순위 — 제안, 미적용

  1. 원인 관측: 기존 openai_server_event_received(:1333)를 활용해 handler 전 committed/completed/failed 수신을 기록한다. commit 요청·송신 완료·final 저장·허용/거부를 epoch, turn_id, item_id, event_id와 monotonic 시각으로 연결한다. 전사 원문 대신 길이·시각·실패 사유를 기록한다. 현재 client_event_queued(:1280)는 send_str 직전이므로 송신 완료 증거가 아니다. receive(:1299) 직후 시각과 closing 필터·handler 처리 결과도 구분한다.
  2. 저장 로직 수정: 활성 waiter의 snapshot/Event를 유지하고 정리 이유를 기록한다. 위 두 순서를 회귀 테스트로 보호한다. 다중 FIFO 오결합은 이번 조사에서 재현되지 않았으므로 확정 버그로 취급하지 않는다.
  3. 일반 HC 총 대기 상한 4초 시험: 종료 flush·수동 commit 상한, 정확한 item_id·final 조건은 유지한다. final이 일찍 오면 즉시 진행한다. 같은 HC 턴 분모로 폐기율·응답 지연·2.5~4초 구제 건수를 비교하고 악화 시 2.5초로 복귀한다. 4초의 실제 구제율은 미검증이다.
  4. HC 실패 안내의 LLM 의존성 제거: Typecast가 구성된 session.say("잘 못 들었어. 다시 말해줄래?")로 고정 안내를 1회 실행한다. VP와 공통인 선점·취소 관리는 공유하되 HC 안내 방식을 분리한다. timeout·blank·정상 취소·세션 교체를 구분하고, 모든 await 뒤 유효성을 재검사한다. 새 발화·수동 중단·종료 때 예약 task와 생성된 SpeechHandle을 취소한다. handle의 완료·실패·중단을 기록하고 실제 아동 재생은 별도 확인한다.
  5. 재연결 중 턴 처리: 예외로 사라지는 턴을 명시적인 provider_reconnecting 상태로 기록하고, 연결 준비 후 필요할 때 한 번 재발화를 요청한다. 잘못된 턴 매칭을 막는 격리는 유지한다. 오디오를 자동 재전송하는 방식은 중복·턴 경계 검증 없이 도입하지 않는다.

변경 범위: apps/livekit-agent/agent.py, apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py, apps/livekit-agent/vendor/livekit-plugins-openai/livekit/plugins/openai/realtime/realtime_model.py 및 직접 관련 테스트. session.say()의 Typecast 경로는 agent_activity.py:2024의 _tts_task이며 OpenAI 응답 생성 요청이 필요하지 않다. Typecast·LiveKit·아동 재생 성공까지 보장하는 것은 아니다.

8-5. OpenAI와 로컬 처리를 가르는 판정 기준

관측가능한 판정
같은 epoch·item의 non-empty completed를 기한 전에 수신·저장했지만 정상 턴이 탈락로컬 매칭·저장·수명·허용 경로를 조사한다. 정상 취소·대체된 턴은 먼저 제외한다.
completed가 실제 수신 경계에서 2.5초 이후에 관측됨전체 왕복 경로의 지연과 우리 제한의 충돌. OpenAI 처리 시간과 네트워크·로컬 수신 지연은 아직 분리되지 않는다.
수신 경계에도 completed/failed가 없음OpenAI 단독 원인으로 단정할 수 없다. 송신 완료·연결 종료·루프 지연·provider 기록을 추가 확인한다.

다음 비교 실험: 별도 재현 세션에서 동일 오디오·설정을 최소 API 클라이언트와 현재 vendor 경로에 비교 입력한다. 충분한 대기 시간을 두고 2.5초에 item을 강제 삭제하지 않아 완료 지연을 관찰한다. 시간대 변동을 고려해 반복 비교하며, 미수신이 재현되면 해당 세션·이벤트 식별자로 provider 측 확인을 요청한다. 단순한 API 클라이언트 미수신만으로 서버 내부 장애까지 확정하지 않는다.

8-6. 검증 결과와 남은 작업

검증결과범위
test_turn_terminalization.py + test_realtime_livekit_vad_identity.py109 passed, 4.37초실제 vendor 소스를 PYTHONPATH로 지정. 기존 보호 동작의 회귀 기준선이며 위 제안의 구현 검증이 아니다.
정확한 final·interim 거부·기한 만료 관련 선택 테스트 4개통과109개와 일부 중복되므로 113개로 합산하지 않는다.
저장 한도 충돌 2개 순서결함 재현실제 vendor 메서드에 합성 이벤트 입력. 운영 귀속은 미확정.
interrupt 대기 중 수동 중단되묻기 생성 경합 재현테스트 harness의 fake interrupt barrier. 운영 귀속은 미확정.
OpenAI·Typecast 실호출, 실제 아동 재생미검증이번 읽기 전용 분석 범위 밖.
# apps/livekit-agent에서 기존 테스트 실행
PYTHONPATH=vendor/livekit-agents:vendor/livekit-plugins-openai \
  .venv/bin/python -m pytest -q \
  tests/test_turn_terminalization.py \
  tests/test_realtime_livekit_vad_identity.py

추가 회귀 케이스: 저장 한도 충돌 두 순서, 3초 final 도착, 최종 기한 초과 후 1회 안내, 늦은·중복 final, 재연결 중 새 발화, interrupt 대기 중 수동 중단, SpeechHandle 비동기 실패, 새 발화·종료에 따른 안내 취소, 종료 flush·수동 commit 상한 유지.

적용 상태: 기존 LLM 되묻기는 develop@0f94a87a / PR #1148에 병합돼 있다. 운영 배포 여부는 이번 조사에서 확인하지 않았다. 이 8절의 관측 보강·저장 결함 수정·4초 시험·고정 Typecast 안내·재연결 개선은 제안이며 아직 적용하지 않았다.