마지막 업데이트 2026-10-21
증상: 진행자(실버)가 모니터에서 AI 발화 "와~ 오늘 진~짜 많은걸 했다! 오늘 재밌었어? 소감이 어때?"가 빨리감기처럼 재생되는 것을 들었다(누적 22:01, 체크아웃 활동 시작 직후).
원인(추정): 새 AI 세션의 첫 발화에서 아동 브라우저가 패킷은 받는데 재생은 하지 않는 정체에 빠졌다. PPI-1377의 자동 복구(reattach)로 재생이 재개되자, 정체 동안 쌓인 1~2초분 음성을 WebRTC 수신 버퍼(NetEQ)가 시간 압축(accelerate)해 지연을 목표치로 줄였다. 이 구간이 빨리감기로 들렸다.
배제: 서버·TTS·네트워크는 아니다. 패킷이 초당 50개(실시간 속도)로 들어왔고 손실 0, 보정 샘플 0이었다. 복구 단계는 replace까지 가지 않고 reattach 1회로 끝났으며, seek이나 playbackRate 조작은 코드에 없다.
한 줄: 무음 정체 동안 쌓인 패킷 때문에 지연이 커지고, 재생이 재개되면 NetEQ가 지연을 줄이려고 음성을 시간 압축해 빨리감기처럼 들린다(압축량은 미계측).
음성 패킷은 20ms마다 하나씩 보내져도 네트워크를 거치면 도착 간격이 들쭉날쭉하고(지터) 순서가 바뀌기도 한다. 도착하는 대로 재생하면 소리가 끊기므로, 수신 쪽에 잠깐 모아 두었다가 일정한 간격으로 내보내는 대기실을 둔다. 이것이 지터 버퍼다.
도착: ──■─■──────■■─■───■── (들쭉날쭉) ▼ 지터 버퍼에 잠깐 모아 둠 (예: 40ms) 재생: ──■──■──■──■──■──■── (일정한 간격)
WebRTC(Chrome)에 들어 있는 음성 전용 지터 버퍼 + 디코더 + 보정 엔진이다. 재생 장치가 10ms마다 소리를 꺼내 갈 때(GetAudio) 아래를 판단한다.
| 상황 | NetEQ 동작 | 들리는 소리 |
|---|---|---|
| 버퍼가 목표치 수준 | 그대로 디코딩해 내보냄 | 정상 |
| 버퍼가 너무 많음 (지연 과다) | accelerate — 음성을 시간 압축해 빨리 소진 | 빨라짐 ← 이번 사례 |
| 버퍼가 너무 적음 | decelerate — 음성을 늘려 시간을 범 | 약간 느려짐 |
| 패킷이 안 옴 | concealment — 앞 소리를 바탕으로 대체 소리 생성 | 웅웅거림·뭉개짐 |
목표 지연은 최근 네트워크 상태로 계속 바뀐다(이 세션 평소 20~50ms). 이 판단은 브라우저 내부에서 이루어져 웹 페이지가 끄거나 바꿀 수 없다.
| 지표 | 의미 | 이번 사례 |
|---|---|---|
totalSamplesReceived | NetEQ가 내보낸 샘플 수 (재생 쪽이 꺼내 간 양) | 정체 중 증가 0 |
packetsReceived | 네트워크에서 받은 패킷 수 | 정체 중에도 초당 ~50개 증가 |
jitterBufferDelay / jitterBufferAvgMs | 소리가 NetEQ 버퍼에 머문 평균 시간 | 복구 직후 크게 상승 (누적 0.50s, 5초 창 100ms) |
concealedSamples | 대체 소리로 만든 양 (손실 보정) | 0 — 손실 없음 |
removedSamplesForAcceleration | accelerate로 압축해 없앤 양 | 미계측 — 그래서 가설 미확정 |
// 이번 사례 대입 정체 중 패킷 계속 도착 → NetEQ 버퍼에 쌓임, 아무도 꺼내 가지 않음 reattach 다시 꺼내 가기 시작 → 버퍼 1~2초 vs 목표 수십 ms NetEQ "지연 과다" → accelerate → 빨리감기
// 아동 S3 세션로그 기준 (KST) 17:21:59.455 체크아웃 활동 진입 → 이전 세션 종료 → 새 세션 시작 17:22:00.526 Playout drift monitor started (새 트랙 76b4207f) 17:22:02.7 AI 첫 발화 전사 delta 시작 = 음성 패킷 수신 시작 17:22:03.533 Playout stall detected deltaPackets 20, deltaSamples 0 // 받는데 재생 안 함 │ → 정체 중 패킷이 수신 버퍼에 쌓임 (약 1~2초분) 17:22:03.534 stage_started stage=reattach // detach → attach → play() 17:22:04.230 AI speech delivery response-1: pk 50, samples 33,600(0.7초분) // 창 중간에 재개 17:22:05.045 recovered deltaPackets 76, deltaSamples 72,000 │ → 버퍼가 목표치(수십 ms)보다 훨씬 큼 ▼ → NetEQ accelerate(시간 압축)로 소진 ← 빨리감기로 들림 17:22:10.535 drift sample jitterBufferAvgMs 100 (같은 세션 이후 75~98, 다른 활동 평소 20~50)
| 감지 | 활동 룸 | 트랙 | 감지 시 pk / samples | 단계 | 결과 |
|---|---|---|---|---|---|
| 17:05:09 | 20_hoduk | 5101fdb5 | 50 / 0 | reattach | recovered |
| 17:08:07 | 20_hoduk | 57af719a | 50 / 0 | reattach | recovered |
| 17:11:38 | 01_taerin | ec25739e | 51 / 0 | reattach | recovered |
| 17:15:05 | tiki_basic | 5b6bdc59 | 4 / 0 | reattach | recovered |
| 17:17:07 | tiki_basic | 83a2476a | 19 / 0 | reattach | recovered |
| 17:18:50 | 14_rewardjisung | 2fd39a5b | 50 / 0 | reattach | recovered |
| 17:22:03 | 12_tiki | 76b4207f | 20 / 0 | reattach | recovered ← 신고 |
LogRocket webrtc stats의 jitterBuffer(누적 평균 지연)를 보면 정체가 있던 세션은 복구 직후 값이 크다. 17:22 구간은 LogRocket 상한으로 잘려 같은 패턴인 17:05 세션으로 비교했다.
| 세션 | 정체 | 재생 시작 후 첫 측정 | 이후 추이 |
|---|---|---|---|
| 17:01 체크인 (70d1f525) | 없음 | 0.03 s | 0.03 유지 |
| 17:05 호덕 (5101fdb5) | 있음 | 0.501 s (17:05:22) | 0.196 → 0.142 → 0.095 |
| 17:08 호덕 (57af719a) | 있음 | 0.163 s | 0.078 → 0.056 |
| 17:11 태린 (ec25739e) | 있음 | 0.121 s | 0.094 → … → 0.054 |
packetsDiscarded는 정상 세션에서도 수신 수에 근접해(예 854 중 789) 판별에 쓰지 않았다.LIVEKIT_AI_SPEECH_DELIVERY: 응답마다 1초 창에 패킷 46~51개(20 ms Opus 기준 실시간), packetsLostDelta 0, concealedSamplesDelta 0.apps/web/lib/voice-agent/livekit-playout-stall.ts 감지기는 1초 간격으로 inbound-rtp를 읽는다. 1.5초 유예 뒤 "패킷 증가 & 샘플 증가 없음"이 2회 연속이면 정체로 판정하고 reattach → replace 순서로 단계를 실행한다. 각 단계 뒤 1.5초 동안 샘플이 늘었는지 확인한다.
// apps/web/lib/voice-agent/livekit-client-session.ts:3447 reattachActiveAudioElement audioTrack.detach(activeAudioElement); audioTrack.attach(activeAudioElement); activeAudioElement.autoplay = true; activeAudioElement.volume = 1.0; await applyLiveKitRemoteAudioPlaybackGate(...); // play() // replace 단계도 새 Audio 요소로 옮겨 붙일 뿐 — currentTime / playbackRate / seek 조작 없음
srcObject)이라 원래 seek할 수 없다. 요소의 playbackRate도 실시간 스트림에는 효과가 없다.① 시간 압축 자체는 추정이다. NetEQ가 실제로 압축한 양(removedSamplesForAcceleration)을 로그에 남기지 않는다. 밀린 양이 아주 크면 NetEQ가 압축 대신 버퍼를 비우기도 하는데, 그때는 빨라지는 대신 앞부분이 끊긴다. 이번은 1~2초분이라 압축 쪽으로 판단했다.
② 세션 시작마다 정체되는 근본 원인은 모른다. 정체 로그 environment에 오디오 요소가 문서에 붙어 있지 않은 상태(isConnected:false)가 찍혀 있지만, 이것이 원인인지는 확인하지 않았다(김태민 3회기와 같은 정체 계열).
stage_result와 drift sample에 removedSamplesForAcceleration·insertedSamplesForDeceleration 증가량을 추가해 다음 사례에서 바로 판정한다.RTCRtpReceiver.jitterBufferTarget은 목표 지연의 하한만 정하므로, 1~2초 밀린 버퍼를 가속 없이 두려면 목표를 그만큼 올려야 하고 그러면 이후 발화가 계속 그만큼 늦게 들린다. Chrome field trial은 페이지에서 바꿀 수 없다.LogRocket 내보내기 상한: 아동 로그가 16,000건에서 잘려 17:16:46에 끝났다. 신고 시점(17:22)은 S3 prod/lesson-logs/<userId>/lesson-1/parts/20261020/guest-*.jsonl.gz(72개)를 합쳐서 확인했다.
모니터 로그에는 전사 문장이 없다. 발화 시점은 아동 로그의 assistant_transcript_delta와 활동 진입 시각으로 맞춘다.