김라온 13회기 AI 응답 20초 지연
— gpt-realtime 첫 토큰 지연 원인 분석 분석 완료 · OpenAI 측 지연 유력(직접 증거 없음) · 코드 변경 없음
마지막 업데이트 2026-10-22
1. 코드 경로
| 위치 | 역할 |
|---|---|
| apps/livekit-agent/agent.py:1357-1372 | HC 모드 RealtimeModel(model=gpt-realtime, modalities=["text"]) 생성. 텍스트만 받아 TTS로 넘긴다. |
| apps/livekit-agent/agent.py:2481 | on_user_turn_completed — 턴 확정 진단 이벤트(entered → resolved / committed_sdk_publish) 발행 뒤 SDK 응답 생성으로 넘긴다. |
| apps/livekit-agent/agent.py:2020-2029 | tts_node — 텍스트 스트림이 TTS로 흘러들 때 agent_response_started(trigger=tts_node) 기록. |
| vendor/livekit-agents/.../voice/agent_activity.py:5294-5318 | SDK가 generate_reply를 호출하고 response.created를 기다린다. 실패 시 failed to generate a reply ERROR 로그. |
| vendor/livekit-agents/.../llm/_realtime/openai.py:1997-2033 | response.create 전송, 10초 안에 response.created가 없으면 generate_reply timed out 예외. |
| vendor/livekit-agents/.../llm/_realtime/openai.py:133 | LK_OPENAI_DEBUG — 켜면 OpenAI 서버 이벤트를 전부 로그로 남긴다(현재 꺼짐). |
2. 목적 요약 · 결론
증상: 아동 발화 "그냥 뭐 책 만들고." 이후 AI 전사와 음성이 약 20초 동안 나오지 않다가 함께 출력됐다.
원인: 응답 요청 이후 gpt-realtime의 첫 텍스트 토큰이 20.6초 늦게 도착했다. STT(0.8초)·TTS(첫 오디오 0.96초)·전달 경로와 우리 서버(CPU·메모리·이벤트루프)는 정상이었다. HC 모드는 텍스트가 와야 TTS와 전사를 만들기 때문에 둘이 함께 멈췄다.
- A이 수업만의 문제가 아니다. 같은 30분 동안 HC 턴 1,395개 중 77개(5.5%, 세션 38개)가 8초 이상 걸렸고, 최대 34.1초였다. 응답 대기 중앙값은 0.7초로 정상이었다.
- A지연은 21:05~21:15에 몰렸고(정점 8.6%), 21:20 이후 사실상 사라졌다.
- BOpenAI 측 지연이 가장 유력하다. 우리 쪽 요인을 모두 배제한 결과이며, OpenAI 응답 이벤트 시각이 로그에 없어 직접 증거는 없다.
주장 등급: A로그·코드·메트릭으로 직접 확인 / B근거에 기반한 추론 / C가설.
3. 입출력 흐름 — 시간순 인과 다이어그램 A
21:14:00.8 아동 발화 시작 (user_state speaking)
21:14:04.97 발화 종료 확정 (user_turn_committed, 무음 2.5초 대기)
21:14:05.77 STT final 수신 "그냥 뭐 책 만들고." 정상, 종료 후 0.8초
21:14:05.774 on_user_turn_completed resolved = committed_sdk_publish
→ SDK generate_reply → OpenAI response.create 전송
│
│ ── 20.6초 동안 이 job의 agent 로그 0건 (경고·오류 없음) ──
│ · 10초 안에 response.created 도착 (timed out / failed to generate 0건)
│ · 21:14:20.77 user away (15초 무입력 부수 현상, 원인 아님)
▼
21:14:26.37 첫 텍스트 토큰 → agent_response_started (trigger=tts_node)
21:14:27.33 Typecast 첫 오디오 프레임 0.96초, 정상
21:14:29 아동 화면 AI 음성 재생 "우와, 직접 책도 만드는구나! …"
4. 세부 분석
4-1. 지연 구간의 위치 A / B
- 턴 확정(
entered05.7738 →resolved05.7744)까지 0.6ms. 앱 처리 지연이 없다. - SDK는
response.created를 10초 안에 받지 못하면failed to generate a reply를 남긴다. 30분 로그 전체에서 0건이다. 따라서 20.6초 중 최소 10.6초는 OpenAI가 요청을 접수한 뒤 첫 텍스트를 내보내기까지의 시간이다 B. - 전사 델타 7개가 26.37~26.42에 몰려 도착했다. 텍스트 생성이 시작되자 곧바로 끝났다는 뜻으로, 대기는 생성 시작 전에 있었다.
4-2. 우리 쪽 요인 배제 A
| 가설 | 근거 | 판정 |
|---|---|---|
| 앱 처리 지연 | 턴 확정 0.6ms, 이 job에 오류·경고 없음 | 기각 |
| agent CPU 기아 | 이벤트루프 정지·VAD 지연 경고가 느린 워커와 빠른 워커에서 비슷함. 이 job은 지연 구간 0건 | 기각 |
| ECS 부하 (CPU·메모리) | 지연 정점 21:10대 CPU 최대 76%, 오히려 93.7%였던 21:00대가 덜 느림. 메모리 최대 53% | 기각 |
| 디스크 | 메트릭 조회 경로 없음. 다만 대기 구간은 네트워크 응답 대기라 디스크 경로가 없음 | 무관 B |
| 프롬프트 크기 | 같은 수업에서 가장 큰 프롬프트(25,261B, 21:20 세션)가 가장 빨랐음 | 기각 |
| 모델·설정 차이 | HC 세션 409개 전부 gpt-realtime, temp 0.8, livekit_vad, 같은 endpointing | 기각 |
| 특정 활동 | 지연이 tiki_basic·pingpong·taerin 등 여러 활동에 퍼짐 | 기각 |
4-3. ECS agent 메트릭 (태스크 30개 · 태스크당 2 vCPU) A
| 시각 | CPU 최대 | CPU 평균 | 메모리 최대 | 8초 이상 지연 비율 |
|---|---|---|---|---|
| 20:45 | 92.8% | 41.6% | 49% | (로그 없음) |
| 21:00 | 93.7% | 26.0% | 50% | 5.3% |
| 21:05 | 77.6% | 34.3% | 53% | 7.2% |
| 21:10 | 76.1% | 35.5% | 53% | 8.6% |
| 21:15 | 79.0% | 35.3% | 51% | 4.0% |
| 21:20 | 73.2% | 21.8% | 49% | 0.6% |
5분 해상도라 순간 스파이크는 가려질 수 있다. 이 부분은 4-2의 이벤트루프·VAD 경고 대조로 보완했다.
4-4. 지연이 몰린 시간대 (HC 전체 턴) A
| 시간대 (KST) | 전체 턴 | 8초 이상 | 비율 |
|---|---|---|---|
| 21:00~21:05 | 266 | 14 | 5.3% |
| 21:05~21:10 | 306 | 22 | 7.2% |
| 21:10~21:15 | 301 | 26 | 8.6% |
| 21:15~21:20 | 346 | 14 | 4.0% |
| 21:20~21:25 | 159 | 1 | 0.6% |
| 21:25~21:30 | 17 | 0 | 0% |
1분 단위 정점은 21:13(8초 이상 9건, 상위 10% 11.5초, 최대 33.4초). 21:20 이후는 턴 수가 절반 이하로 줄어, 지연이 사라진 이유가 OpenAI 회복인지 우리 동시 접속 감소인지 구분되지 않는다.
4-5. 세션(연결) 단위로 고정되는 지연 A / B
세션 173개 중 32개(18%)가 수업 내내 느렸다. 같은 아동·같은 활동·같은 설정에서도 세션마다 갈린다.
| 시작 | 활동 | job | worker | 프롬프트 | 응답 대기 |
|---|---|---|---|---|---|
| 21:04 | tiki_basic | AJ_vciqS2ngmfKF | AW_u5EgJPXcy4e9 | 14,586B | 0.6~1.3s |
| 21:08 | daon_questionT2 | AJ_uZbGAnZMGvvU | AW_ZX5FVtfb5KhN | 19,626B | 2.0~6.4s |
| 21:10 | daon_questionT2 | AJ_ACjzwRMyvZrk | AW_EqMzcCNPWKuJ | 20,173B | 2.9~7.3s |
| 21:13 | daon_questionT2 | AJ_BP4RT8iGVhyM | AW_rsUWCfNhqDCM | 23,534B | 2.5~24.8s |
| 21:20 | daon_questionT2 | AJ_QQRV8BJUK4mF | AW_fLiYbyP7VdoK | 25,261B | 0.7~2.2s |
이슈 세션의 8초 이상 턴: turn-4 20.6s(이번 이슈) · turn-5 11.9s · turn-9 9.6s · turn-20 24.8s.
응답마다 프롬프트를 다시 보내므로 설정이 같으면 지연도 비슷해야 한다. 세션(OpenAI WebSocket 연결)마다 다르다는 점은 그 연결을 처리하는 OpenAI 서버 쪽 차이로 보는 것이 가장 자연스럽다 B.
4-6. 워커 쏠림 C
8초 이상 비율이 AW_fCMwc8akD8vG 27.5%, AW_ba3n8vebnpvb 21.6%로 높고, 14개 워커는 0%다. 이슈 워커 AW_rsUWCfNhqDCM은 10.4%(30개 중 5위)다. CPU 신호로는 설명되지 않는다. 워커당 세션 수가 3~10개로 적어 우연일 수 있고, 워커별 네트워크 경로(NAT·AZ) 영향은 확인하지 못했다.
4-7. OpenAI 상태 페이지 A
10/21에 Realtime·Audio가 포함된 "Degraded performance in ChatGPT, Codex, and APIs" 공지가 있으나, 페이지 원본 시각은 10/21 11:26~12:28 KST로 이번 지연(21:00~21:20 KST)과 무관하다. 상태 페이지는 대규모 장애만 공지하며 일부 요청의 꼬리 지연은 보통 올라오지 않는다.
5. 주의사항 · 미확정 · 후속 제안
- agent가
response.create전송·response.created수신·첫 텍스트 수신 시각과 OpenAI 응답 ID를 기록하지 않는다. OpenAI 대기열 지연인지 생성 지연인지 직접 나눌 수 없고, OpenAI 지원 문의 근거도 약하다. - 21:00 이전 로그가 없어 지연 시작 시점을 모른다.
- 워커 쏠림(4-6)의 원인.
후속 제안 (모두 미적용)
| 제안 | 효과 | 비용 |
|---|---|---|
① agent 계측 — 응답 요청 전송 → response.created → 첫 텍스트 → 완료, 네 시각과 OpenAI 세션·응답 ID를 이벤트로 기록 | 다음 사례에서 OpenAI 측 확정, 지원 문의 근거 확보 | 작은 코드 수정 |
| ② OpenAI 지원 문의 | OpenAI 서버 측 처리 시간 확인 | ① 필요 |
| ③ 카나리 측정 — 같은 ECS 네트워크에서 1분마다 짧은 Realtime 요청으로 첫 토큰 시간 기록 | 우리 트래픽과 무관한 기준선 | 작은 job 하나 |
| ④ 첫 토큰 타임아웃 — 6~8초 안에 첫 텍스트가 없으면 응답 취소 후 재요청, 반복되면 Realtime 연결 재수립 검토 | 아동 체감 지연 상한 | 코드 수정, 중복 응답 위험 검토 필요 |
⑤ LK_OPENAI_DEBUG=1 — 워커 1대나 dev에서만 | 서버 이벤트 전체 시각 | 로그량 매우 큼 |
재사용 판별법
- 아동 세션로그
LiveKit data received에서on_user_turn_completed_trace→agent_response_started간격을 본다. 길면 LLM 단계다. - CloudWatch
/ppi/livekit/prod/agent(ppicw logs --job AJ_…)에서 그 구간에 로그가 비어 있는지,VAD inference is slower·event loop blocked가 없는지 본다. 있으면 좀비 job CPU 기아 쪽이다. failed to generate a reply가 없으면response.created는 10초 안에 왔다. 남은 대기는 OpenAI 생성 쪽이다.- 같은 시간대 다른 HC 세션의 응답 대기 분포를 함께 본다. 여러 세션에 퍼져 있으면 업스트림 문제다.
관련 문서 · 근거 파일
- VP 모드 AI 응답 지연 — 엔드포인팅 타이머 리셋 — 같은 "AI 응답 늦음" 증상이지만 원인은 STT 엔드포인팅(VP 모드).
- 좀비 job 슬롯 점유 — 같은 컨테이너 수업 job 지연 — agent CPU 기아로 인한 지연. 이번 건은 이 신호가 없었다.
- LiveKit 파이프라인 모드 — half-cascade vs voice pipeline — HC 모드에서 텍스트가 TTS로 넘어가는 구조.
- 근거 파일(로컬): ~/Downloads/lesson-log-20261021.jsonl.gz(아동·진행자 세션로그), ~/Downloads/ppi-livekit-agent-prod-20261021_2100-2130.log(agent 원본), ~/Downloads/ppi-livekit-20261021_2100-2130.log(LiveKit 서버), ~/Downloads/gpt-realtime-latency-20261021_2100-2130.log(8초 이상 턴 77건 추출)
- OpenAI 상태: 10/21 Degraded performance 공지