김라온 13회기 AI 응답 20초 지연
— gpt-realtime 첫 토큰 지연 원인 분석 분석 완료 · OpenAI 측 지연 유력(직접 증거 없음) · 코드 변경 없음

마지막 업데이트 2026-10-22

발생: 2026-10-21 21:14:05 KST 모드: Half-Cascade (gpt-realtime 텍스트 + Typecast TTS) job AJ_BP4RT8iGVhyM · worker AW_rsUWCfNhqDCM 분석 기준: develop c47c2a21

1. 코드 경로

위치역할
apps/livekit-agent/agent.py:1357-1372HC 모드 RealtimeModel(model=gpt-realtime, modalities=["text"]) 생성. 텍스트만 받아 TTS로 넘긴다.
apps/livekit-agent/agent.py:2481on_user_turn_completed — 턴 확정 진단 이벤트(entered → resolved / committed_sdk_publish) 발행 뒤 SDK 응답 생성으로 넘긴다.
apps/livekit-agent/agent.py:2020-2029tts_node — 텍스트 스트림이 TTS로 흘러들 때 agent_response_started(trigger=tts_node) 기록.
vendor/livekit-agents/.../voice/agent_activity.py:5294-5318SDK가 generate_reply를 호출하고 response.created를 기다린다. 실패 시 failed to generate a reply ERROR 로그.
vendor/livekit-agents/.../llm/_realtime/openai.py:1997-2033response.create 전송, 10초 안에 response.created가 없으면 generate_reply timed out 예외.
vendor/livekit-agents/.../llm/_realtime/openai.py:133LK_OPENAI_DEBUG — 켜면 OpenAI 서버 이벤트를 전부 로그로 남긴다(현재 꺼짐).

2. 목적 요약 · 결론

증상: 아동 발화 "그냥 뭐 책 만들고." 이후 AI 전사와 음성이 약 20초 동안 나오지 않다가 함께 출력됐다.

원인: 응답 요청 이후 gpt-realtime의 첫 텍스트 토큰이 20.6초 늦게 도착했다. STT(0.8초)·TTS(첫 오디오 0.96초)·전달 경로와 우리 서버(CPU·메모리·이벤트루프)는 정상이었다. HC 모드는 텍스트가 와야 TTS와 전사를 만들기 때문에 둘이 함께 멈췄다.

주장 등급: A로그·코드·메트릭으로 직접 확인 / B근거에 기반한 추론 / C가설.

3. 입출력 흐름 — 시간순 인과 다이어그램 A

21:14:00.8  아동 발화 시작 (user_state speaking)
21:14:04.97 발화 종료 확정 (user_turn_committed, 무음 2.5초 대기)
21:14:05.77 STT final 수신 "그냥 뭐 책 만들고."              정상, 종료 후 0.8초
21:14:05.774 on_user_turn_completed resolved = committed_sdk_publish
   → SDK generate_reply → OpenAI response.create 전송
   │
   │  ── 20.6초 동안 이 job의 agent 로그 0건 (경고·오류 없음) ──
   │  · 10초 안에 response.created 도착 (timed out / failed to generate 0건)
   │  · 21:14:20.77 user away (15초 무입력 부수 현상, 원인 아님)
   ▼
21:14:26.37 첫 텍스트 토큰 → agent_response_started (trigger=tts_node)
21:14:27.33 Typecast 첫 오디오 프레임                         0.96초, 정상
21:14:29    아동 화면 AI 음성 재생 "우와, 직접 책도 만드는구나! …"
STT 0.8s
gpt-realtime 첫 토큰 대기 20.6s
TTS 1s
21:14:04.97 발화 종료21:14:27.33 첫 오디오

4. 세부 분석

4-1. 지연 구간의 위치 A / B

4-2. 우리 쪽 요인 배제 A

가설근거판정
앱 처리 지연턴 확정 0.6ms, 이 job에 오류·경고 없음기각
agent CPU 기아이벤트루프 정지·VAD 지연 경고가 느린 워커와 빠른 워커에서 비슷함. 이 job은 지연 구간 0건기각
ECS 부하 (CPU·메모리)지연 정점 21:10대 CPU 최대 76%, 오히려 93.7%였던 21:00대가 덜 느림. 메모리 최대 53%기각
디스크메트릭 조회 경로 없음. 다만 대기 구간은 네트워크 응답 대기라 디스크 경로가 없음무관 B
프롬프트 크기같은 수업에서 가장 큰 프롬프트(25,261B, 21:20 세션)가 가장 빨랐음기각
모델·설정 차이HC 세션 409개 전부 gpt-realtime, temp 0.8, livekit_vad, 같은 endpointing기각
특정 활동지연이 tiki_basic·pingpong·taerin 등 여러 활동에 퍼짐기각

4-3. ECS agent 메트릭 (태스크 30개 · 태스크당 2 vCPU) A

시각CPU 최대CPU 평균메모리 최대8초 이상 지연 비율
20:4592.8%41.6%49%(로그 없음)
21:0093.7%26.0%50%5.3%
21:0577.6%34.3%53%7.2%
21:1076.1%35.5%53%8.6%
21:1579.0%35.3%51%4.0%
21:2073.2%21.8%49%0.6%

5분 해상도라 순간 스파이크는 가려질 수 있다. 이 부분은 4-2의 이벤트루프·VAD 경고 대조로 보완했다.

4-4. 지연이 몰린 시간대 (HC 전체 턴) A

시간대 (KST)전체 턴8초 이상비율
21:00~21:05266145.3%
21:05~21:10306227.2%
21:10~21:15301268.6%
21:15~21:20346144.0%
21:20~21:2515910.6%
21:25~21:301700%

1분 단위 정점은 21:13(8초 이상 9건, 상위 10% 11.5초, 최대 33.4초). 21:20 이후는 턴 수가 절반 이하로 줄어, 지연이 사라진 이유가 OpenAI 회복인지 우리 동시 접속 감소인지 구분되지 않는다.

4-5. 세션(연결) 단위로 고정되는 지연 A / B

세션 173개 중 32개(18%)가 수업 내내 느렸다. 같은 아동·같은 활동·같은 설정에서도 세션마다 갈린다.

시작활동jobworker프롬프트응답 대기
21:04tiki_basicAJ_vciqS2ngmfKFAW_u5EgJPXcy4e914,586B0.6~1.3s
21:08daon_questionT2AJ_uZbGAnZMGvvUAW_ZX5FVtfb5KhN19,626B2.0~6.4s
21:10daon_questionT2AJ_ACjzwRMyvZrkAW_EqMzcCNPWKuJ20,173B2.9~7.3s
21:13daon_questionT2AJ_BP4RT8iGVhyMAW_rsUWCfNhqDCM23,534B2.5~24.8s
21:20daon_questionT2AJ_QQRV8BJUK4mFAW_fLiYbyP7VdoK25,261B0.7~2.2s

이슈 세션의 8초 이상 턴: turn-4 20.6s(이번 이슈) · turn-5 11.9s · turn-9 9.6s · turn-20 24.8s.

응답마다 프롬프트를 다시 보내므로 설정이 같으면 지연도 비슷해야 한다. 세션(OpenAI WebSocket 연결)마다 다르다는 점은 그 연결을 처리하는 OpenAI 서버 쪽 차이로 보는 것이 가장 자연스럽다 B.

4-6. 워커 쏠림 C

8초 이상 비율이 AW_fCMwc8akD8vG 27.5%, AW_ba3n8vebnpvb 21.6%로 높고, 14개 워커는 0%다. 이슈 워커 AW_rsUWCfNhqDCM은 10.4%(30개 중 5위)다. CPU 신호로는 설명되지 않는다. 워커당 세션 수가 3~10개로 적어 우연일 수 있고, 워커별 네트워크 경로(NAT·AZ) 영향은 확인하지 못했다.

4-7. OpenAI 상태 페이지 A

10/21에 Realtime·Audio가 포함된 "Degraded performance in ChatGPT, Codex, and APIs" 공지가 있으나, 페이지 원본 시각은 10/21 11:26~12:28 KST로 이번 지연(21:00~21:20 KST)과 무관하다. 상태 페이지는 대규모 장애만 공지하며 일부 요청의 꼬리 지연은 보통 올라오지 않는다.

5. 주의사항 · 미확정 · 후속 제안

미확정
  • agent가 response.create 전송·response.created 수신·첫 텍스트 수신 시각과 OpenAI 응답 ID를 기록하지 않는다. OpenAI 대기열 지연인지 생성 지연인지 직접 나눌 수 없고, OpenAI 지원 문의 근거도 약하다.
  • 21:00 이전 로그가 없어 지연 시작 시점을 모른다.
  • 워커 쏠림(4-6)의 원인.

후속 제안 (모두 미적용)

제안효과비용
① agent 계측 — 응답 요청 전송 → response.created → 첫 텍스트 → 완료, 네 시각과 OpenAI 세션·응답 ID를 이벤트로 기록다음 사례에서 OpenAI 측 확정, 지원 문의 근거 확보작은 코드 수정
② OpenAI 지원 문의OpenAI 서버 측 처리 시간 확인① 필요
③ 카나리 측정 — 같은 ECS 네트워크에서 1분마다 짧은 Realtime 요청으로 첫 토큰 시간 기록우리 트래픽과 무관한 기준선작은 job 하나
④ 첫 토큰 타임아웃 — 6~8초 안에 첫 텍스트가 없으면 응답 취소 후 재요청, 반복되면 Realtime 연결 재수립 검토아동 체감 지연 상한코드 수정, 중복 응답 위험 검토 필요
⑤ LK_OPENAI_DEBUG=1 — 워커 1대나 dev에서만서버 이벤트 전체 시각로그량 매우 큼

재사용 판별법

  1. 아동 세션로그 LiveKit data received에서 on_user_turn_completed_trace → agent_response_started 간격을 본다. 길면 LLM 단계다.
  2. CloudWatch /ppi/livekit/prod/agent(ppicw logs --job AJ_…)에서 그 구간에 로그가 비어 있는지, VAD inference is slower·event loop blocked가 없는지 본다. 있으면 좀비 job CPU 기아 쪽이다.
  3. failed to generate a reply가 없으면 response.created는 10초 안에 왔다. 남은 대기는 OpenAI 생성 쪽이다.
  4. 같은 시간대 다른 HC 세션의 응답 대기 분포를 함께 본다. 여러 세션에 퍼져 있으면 업스트림 문제다.

관련 문서 · 근거 파일