두부핑퐁 23회기 Android 스텝 영상 error — AI 사전 준비(LiveKit 연결) 직후 영상 초기화 실패 분석원인 미확정 · 가설 · 로깅·1회 재로드 PR #1195

마지막 업데이트 2026-10-22

2026-10-21 작성 · 같은 날 제안 1·2 적용(PPI-1406, PR #1195, 실기기 미검증) · 10-22 오디오 출력 경합 분석, 정체 복구 뒤 NetEQ 백로그 대응 추가 사건 2026-10-21 16:15:44 · 16:18:15 (KST) roomId 50561091-…_24 · 아동 Android Chrome 155 (8코어/8GB, 저사양 false) · apps/web

요약

증상: 아동 화면에서 활동 첫 영상 movie_04(주원퇴장영상)와 movie_05(복도브릿지영상)가 재생되지 않았다. loadedmetadata 직후 5~7ms 만에 Video error event fired가 발생했다(readyState 1, currentTime 0). 진행자가 다음 스텝으로 넘길 때까지 화면이 각각 44초, 28초 멈췄다.

배제: 콘텐츠 문제는 아니다. 원본은 H.264 Baseline·faststart이고 전체 디코드에서도 오류가 없었으며, 진행자 데스크톱에서는 정상 재생됐다. 캐시·blob 경로도 원인이 아니다. 정상 재생된 03·08도 똑같이 진입 직전에 새로 다운로드한 blob이었다. LiveKit 쪽 이상도 없다. 실패 건과 정상 건의 연결 지표가 같다.

유일한 차이(가설): 활동 첫 영상 동안 다음 AI 세션을 미리 여는 기능(PPI-1351)의 LiveKit 연결 완료와 오디오 그래프 생성이 영상 loadstart보다 먼저 끝난 경우에만 영상이 실패했다. 영상이 먼저 로드를 시작한 03은 정상이었다. 실패 2건과 정상 1건만 비교한 것이라 확정이 아니다.

확정 걸림돌: 영상 에러 로그에 video.error.code와 message가 없다. Chrome은 이 message에 PIPELINE_ERROR_DECODE 같은 상세 원인을 넣어 주므로, 이 값만 있으면 원인을 바로 가를 수 있다.

적용(로컬): 에러 로그에 mediaErrorCode·mediaErrorMessage를 남기고, 첫 에러 뒤 500ms에 같은 blob으로 load()를 1회 재시도한다. 사전 준비 순서 조정(제안 3)은 재로드 결과를 본 뒤 결정한다(5절).

1. 코드 경로

단계파일:줄역할
활동 전환entities/guest-page-session/model/use-step-transition.ts:109-117새 활동 진입 시 기존 AI 세션 종료
AI 사전 준비use-step-transition.ts:139-166비AI 첫 스텝이면 first_video_prepare_requested 로그 후 prepareSession()을 await 없이 시작
사전 준비 조건entities/guest-page-session/lib/first-video-ai-prepare.ts:15-55새 활동의 full:video이고 뒤쪽에 AI 스텝이 있을 때. 기본 on, ?aiPrepare=off 또는 localStorage로 끔
오디오 그래프lib/voice-agent/livekit-audio-chain-processor.ts:402Audio chain graph built 로그
영상 에러shared/ui/meet-video.tsx:778-808분석 시점에는 getPlaybackSnapshot(:317)만 기록하고 재시도가 없었다. 적용 후 MediaError code·message를 기록하고 1회 재로드한다(5절).
리소스 캐시hooks/use-resource-cache.ts:426-470디스크 캐시 적중 시 로그 없이 blob 반환, 미적중이면 S3 다운로드 후 Successfully cached

2. 시간순 인과 (movie_04, 단위 ms, 0 = error)

-750  자동전환 매칭 "됐어!안들을래!" → activity 8 / step 0 (full:video)
-625  이전 LiveKit 방(jwv2) disconnected
-621  first_video_prepare_requested → 다음 AI 세션 사전 준비 시작 (await 없음)
-463/-375  다음 아바타 sav3 idle·talking 새로 다운로드
-436  LiveKit connecting (sav3 방)
-214  LiveKit connected
 -73  Audio chain graph built  → -70 livekit_connect_end
 -41  movie_04 S3 새로 다운로드 완료 → blob URL
 -13  loadstart → -7 loadedmetadata (1280x720, 24.768s)
  -1  RESOURCE_ERROR blob:…
   0  Video error event fired  readyState 1 · networkState 1 · currentTime 0
+379  session_prepared (AI 세션 정상 준비 완료)
+44.3s 진행자 전환으로 step 1 진입 (영상은 끝내 재생 안 됨)
movie_05도 순서가 같다. -981 사전 준비 시작 → -271 LiveKit connected → -92 graph built → -12 loadstart → 0 error. 이후 27.8초 정지.

3. 비교 — 실패 2건 vs 정상 2건

직전 상황04 실패05 실패03 정상08 정상
영상 새로 다운로드 (캐시 미적중)OOOO
다음 아바타 영상 새로 다운로드O (sav3)O (jwv3)O (jwv2)X
AI 사전 준비OOOX (마지막 활동)
LiveKit connected 시점loadstart 전 (-201)loadstart 전 (-259)loadstart 후 (+27)—
graph built 시점loadstart 전 (-60)loadstart 전 (-80)canplay 후 (+49)—
결과errorerrorcanplay·재생canplay·ended
시점은 각 영상의 loadstart(03은 canplay) 기준이다. 03에서도 LiveKit 연결과 영상 로드가 겹쳤지만, 영상 파이프라인이 먼저 초기화를 시작했다.

LiveKit 쪽은 매번 정상 (영상 → LiveKit 방향 영향 없음)

항목03 정상04 실패05 실패
connect 소요441ms368ms560ms
agent_ready 소요481ms449ms583ms
이후 60초 Audio chain health11/11 정상12/12 정상12/12 정상
warn/error셋 다 DataChannel closed, Failed to flush pending LiveKit ASR continuation window만 있음 (활동 전환마다 나오는 고정 로그)

4. 가설 판정

가설판정근거
콘텐츠(인코딩) 손상기각movie_04 원본 ffprobe·ffmpeg -xerror 전체 디코드 무오류, 진행자 데스크톱 정상
대기실 프리페치 누락 → 새 다운로드 blob 문제기각 (단독 원인 아님)정상 03·08도 새 다운로드. intro·01·02만 캐시 적중, 활동 7 이후 전부 미적중(프리페치 중단 추정, LogRocket Guest:WaitingPrefetchFinished로 확인 필요)
아바타 blob 로드 부하기각 (단독 원인 아님)정상 03도 직전 jwv2 로드
저사양 디코드 과부하 (DECODE_OVERLOAD)해당 없음8코어/8GB, 저사양 false. 실패는 재생 중이 아니라 첫 프레임 전
LiveKit 오디오 경로 활성화 직후 영상 파이프라인 초기화 실패유력 (미확정)실패 2건만 connected·graph built가 loadstart 앞. Android Chrome에서 WebRTC 오디오 출력이 막 활성화된 순간 영상의 디코더나 오디오 렌더러 확보가 실패한 것으로 추정. 경로별 검토는 4-1절

4-1. AI 사전 준비가 영상 파이프라인에 영향을 주는 경로 — 오디오 출력 경합

이 절의 내용은 코드와 구조에서 추론한 것이고 확정이 아니다.

실패 지점: 메타데이터 성공 → 첫 프레임 전 실패

loadstart → loadedmetadata (성공: 1280x720, 24.768s, moov 파싱)
         → [디코더·렌더러 준비 → 첫 프레임 디코드 → readyState 2]  ✗ 도달 못 함
         → 5~7ms 뒤 error (readyState 1, currentTime 0)

사전 준비 때 단말에서 일어나는 일 (lib/voice-agent/livekit-client-session.ts)

경로별 가능성

경로가능성이유
영상 디코더(하드웨어 MediaCodec) 직접 경합낮음LiveKit은 오디오만 다루고 Opus를 소프트웨어로 디코드하므로 영상 하드웨어 디코더를 쓰지 않는다.
오디오 출력·렌더러 경합상대적으로 유력새 AI 오디오 출력이 열리는 순간 영상의 오디오 렌더러가 초기화된다. 렌더러 초기화가 실패하면 Chrome은 영상까지 포함한 파이프라인 전체를 error로 처리한다.
앱 WebAudio 그래프(공유 AudioContext) 경합Android 해당 없음영상 오디오를 공유 ctx로 보내는 loopback은 iOS 게스트에서만 켜진다(shared/ui/guest-layout-content.tsx:98-103). Android에서는 영상 오디오가 <video> 기본 출력으로 바로 나가므로 LiveKit 그래프와 앱 안에서 공유하는 노드가 없다.
Android 통화 모드 전환낮음WebRTC가 오디오를 쓰면 Android가 통화 모드로 바뀌지만, 아동 마이크는 mediasoup으로 이미 송출 중이라 이 시점에 처음 바뀌는 게 아니다.
CPU 순간 부하낮음부하라면 지연이나 정체로 나타나야 하는데, 5~7ms 만에 바로 error가 났다.
같은 시점 아바타 영상(blob) 로드별개 변수하드웨어 디코더를 실제로 쓰지만, 정상 재생된 03에도 같은 로드(jwv2)가 있었다.

겹치는 지점: 앱 바깥의 출력 계층

영상 <video> 오디오 ─┐
                       ├→ Chrome 오디오 서비스 → Android 오디오 출력
LiveKit AI 오디오 ─────┘   (WebRTC 재생)

앱 코드에서는 겹치는 곳이 없고, 브라우저와 OS의 출력 계층에서만 만난다. 실패 2건은 LiveKit 연결과 graph built가 영상 loadstart보다 먼저 끝났고, 정상 1건(03)은 순서가 반대였다(3절). 이 순서 차이와 위 설명이 맞아떨어진다.

참고: WebRTC에서 NetEQ의 역할

NetEQ는 WebRTC의 수신 오디오 처리 엔진이다. 네트워크로 들어온 오디오 패킷을 끊김 없는 PCM으로 바꿔 렌더러에 넘기는 일까지 맡는다.

네트워크 RTP 패킷 → [NetEQ] → 10ms 단위 PCM → 오디오 렌더러(<audio>·출력 싱크) → 스피커
하는 일설명
지터 버퍼불규칙하게 도착한 패킷을 잠시 모았다가 일정 간격으로 꺼낸다. 버퍼 깊이는 네트워크 상태를 보고 스스로 조절한다.
디코드Opus 같은 코덱 패킷을 PCM으로 푼다. Opus 디코드는 NetEQ 안에서 소프트웨어로 처리한다.
패킷 손실 은닉(PLC)빠진 패킷 자리를 앞뒤 소리로 만든 그럴듯한 소리로 메운다.
시간 늘이기·줄이기버퍼가 비어 가면 소리를 살짝 늘리고(감속), 쌓이면 줄여서(가속) 지연을 맞춘다. 음높이는 유지한다.
순서 정렬·중복 제거늦게 오거나 순서가 바뀐 패킷을 재정렬하고 중복은 버린다.
무음·컴포트 노이즈상대가 말하지 않아 패킷이 줄어든 구간(DTX)에 자연스러운 배경음을 채운다.

참고: 재생 정체 복구 뒤 쌓인 패킷 — 초기화 방법과 일반 웹의 대응

LiveKit 재생 정체(Playout stall detected, 패킷은 수신·samples 0)를 복구하면 그동안 쌓인 패킷이 가속으로 소진되며 빨리감기가 난다(윤건이 10/20 사례, 추정). NetEQ 버퍼만 비우는 웹 API는 없다.

재생 정체 (요소가 PCM을 가져가지 않음)
 → RTP 패킷은 계속 도착 → NetEQ 버퍼에 쌓임
 → reattach/replace 복구 (livekit-client-session.ts:3447)는 <audio> 요소만 교체
 → RTCRtpReceiver·NetEQ는 그대로 → 쌓인 버퍼 유지
 → 재생 재개 → 버퍼가 목표치를 크게 넘음 → 가속 → 빨리감기
방법버퍼 초기화비용·위험
트랙 재구독 setSubscribed(false→true)됨(추정). 수신기가 새로 생기며 NetEQ도 새로 만들어짐재협상 수백 ms, 밀린 발화 구간 손실. transceiver 재사용 시에도 새로 생기는지 실측 필요
가속 구간 음소거안 됨. 빨리감기 소리만 가림getStats removedSamplesForAcceleration 증가가 멈출 때까지 muted. 구현은 쉽지만 내용 손실은 같음
jitterBufferTarget 조정안 됨목표 지연만 바꿈. 낮추면 가속이 더 세짐
setEnabled(false/true)안 됨서버 전송만 멈춤. 클라이언트에 쌓인 패킷은 남음
Agent 발화 취소·재생성의미상 초기화재구독과 함께 써야 소리도 깔끔하게 끊김

일반적인 웹 서비스는 버퍼를 직접 비우지 않는다. 세 층 중 하나에 맡긴다.

계열대응특징
화상회의 (Meet, Zoom 웹, Discord)NetEQ에 맡김. 짧은 정체는 가속으로 따라잡고, 버퍼가 넘치면 NetEQ가 스스로 비운다사람 간 통화에서 1~2초 빨라짐은 순간 끊김으로 받아들여진다
긴 정체·미디어 경로 이상ICE restart나 PeerConnection 재생성(LiveKit SDK의 resume·full reconnect)수신기가 새로 생겨 버퍼도 사라진다. 재구독과 같은 효과지만 목적은 연결 복구다
음성 AI (OpenAI Realtime, LiveKit Agents, Pipecat)"사용자가 실제로 어디까지 들었나"를 서버와 맞춘다. OpenAI는 conversation.item.truncate(audio_end_ms), LiveKit Agents는 끼어들기 때 재생된 위치까지만 기록한다밀린 발화를 따라잡지 않고 취소·재생성한다. 듣지 못한 말을 AI가 "말했다"고 기억하는 문제가 더 크다

"NetEQ + MP4 오디오 출력 싱크 실패" 경로 검토

AI 사전 준비 → WebRTC 연결 → NetEQ → AI <audio> 출력 싱크 열림
                                         ✕ 동시에
MP4 <video> → 오디오 렌더러 → 출력 싱크 열기 실패 → 파이프라인 error → 멈춤
고리판단근거
NetEQ무관패킷을 버퍼링·디코드하는 단계일 뿐 출력 장치를 열지 않는다(위 참고).
AI 오디오 싱크가 열리는 시점확인 필요AI 트랙을 구독하면 <audio>에 붙일 때(livekit-client-session.ts:3426) 싱크가 열린다. movie_04는 agent_ready가 error보다 약 45ms 뒤(connecting −436 + 481ms)라 error 시점에 AI 싱크가 아직 없었을 수 있다. movie_05는 약 190ms 앞이라 두 건이 엇갈린다.
MP4 싱크 실패 → error약함알려진 Chrome 동작상 영상의 오디오 출력 장치에 오류가 나면 null sink로 바꿔 재생을 계속한다(확인 필요). 이 경우 결과는 error가 아니라 무음 재생이다.
setSinkId 실패해당 없음실패하면 video setSinkId failed warn만 남고 error 이벤트로 이어지지 않는다. 이번 세션에는 이 warn도 없었다.

싱크 실패가 원인이라면 증상은 멈춤이 아니라 무음 재생이어야 맞다. readyState 1에서 error가 난 이번 패턴에는 디코더(MediaCodec) 할당 실패가 더 잘 맞는다(추정).

판별 방법

한계: Chrome 내부 동작이라 코드로는 확인할 수 없고, 비교 사례가 실패 2건·정상 1건뿐이다.

5. 확정 방법과 개선 제안 — 1·2 적용, 3 보류

제안상태내용
1. MediaError 기록적용(로컬)Video error event fired 로그에 mediaErrorCode, mediaErrorMessage, reloadAttempted를 추가했다. 다음 재발 때 디코드 실패(PIPELINE_ERROR_DECODE)인지 렌더러 초기화 실패인지 갈린다. 공용 getPlaybackSnapshot은 바꾸지 않아 다른 로그는 그대로다.
2. 에러 후 1회 재로드적용(로컬)같은 영상 URL에서 첫 error가 나면 ERROR_RELOAD_DELAY_MS(500ms) 뒤 같은 blob으로 load()를 한 번 다시 시도하고 Video error reload attempt 로그를 남긴다. 재생 재개는 기존 경로를 쓴다(모바일은 autoPlay, 데스크톱은 canplay 핸들러). 복구되면 기존 onMediaVideoRecovered가 진행자에게 "복구"를 보낸다.
3. 사전 준비를 canplay 이후로보류재로드 결과를 보고 결정한다(아래).
4. ?aiPrepare=off A/B배포 불필요이미 있는 런타임 오버라이드다.

재로드 구현 세부 (apps/web/shared/ui/meet-video.tsx)

한계(P2, 미수정): 재로드는 currentTime을 0으로 되돌린다. 이번 사례처럼 첫 프레임 전 실패에는 문제가 없지만, 재생 도중 error가 나면 영상이 처음부터 다시 나온다. 모니터 seek 모드에서도 재로드 뒤 위치를 다시 맞추지 않는다.

제안 3(canplay 이후 LiveKit 연결)의 타당성

다음 순서: 실기기 검증 → 배포 → 재발 로그에서 mediaErrorMessage와 Video error reload attempt 뒤의 canplay(또는 두 번째 error, 이때 reloadAttempted: true)를 확인 → 제안 3 여부를 결정한다.

6. 주의사항 · 이슈 히스토리

관련 문서