윤건이 1회기 AI 발화 빨리감기 — 재생 정체 복구 뒤 밀린 음성 가속 소진 분석메커니즘 추정 · 코드 변경 없음

마지막 업데이트 2026-10-21

2026-10-21 작성 · 같은 날 갱신(0절 배경 개념) 사건 2026-10-20 17:22 (체크아웃 활동) Android 10 · Chrome 155 · SM-F776N · HC(livekit) · apps/web

요약

증상: 진행자(실버)가 모니터에서 AI 발화 "와~ 오늘 진~짜 많은걸 했다! 오늘 재밌었어? 소감이 어때?"가 빨리감기처럼 재생되는 것을 들었다(누적 22:01, 체크아웃 활동 시작 직후).

원인(추정): 새 AI 세션의 첫 발화에서 아동 브라우저가 패킷은 받는데 재생은 하지 않는 정체에 빠졌다. PPI-1377의 자동 복구(reattach)로 재생이 재개되자, 정체 동안 쌓인 1~2초분 음성을 WebRTC 수신 버퍼(NetEQ)가 시간 압축(accelerate)해 지연을 목표치로 줄였다. 이 구간이 빨리감기로 들렸다.

배제: 서버·TTS·네트워크는 아니다. 패킷이 초당 50개(실시간 속도)로 들어왔고 손실 0, 보정 샘플 0이었다. 복구 단계는 replace까지 가지 않고 reattach 1회로 끝났으며, seek이나 playbackRate 조작은 코드에 없다.

한 줄: 무음 정체 동안 쌓인 패킷 때문에 지연이 커지고, 재생이 재개되면 NetEQ가 지연을 줄이려고 음성을 시간 압축해 빨리감기처럼 들린다(압축량은 미계측).

0. 배경 개념 — 지터 버퍼와 NetEQ

지터 버퍼 (jitter buffer)

음성 패킷은 20ms마다 하나씩 보내져도 네트워크를 거치면 도착 간격이 들쭉날쭉하고(지터) 순서가 바뀌기도 한다. 도착하는 대로 재생하면 소리가 끊기므로, 수신 쪽에 잠깐 모아 두었다가 일정한 간격으로 내보내는 대기실을 둔다. 이것이 지터 버퍼다.

도착: ──■─■──────■■─■───■──   (들쭉날쭉)
          ▼ 지터 버퍼에 잠깐 모아 둠 (예: 40ms)
재생: ──■──■──■──■──■──■──   (일정한 간격)

NetEQ

WebRTC(Chrome)에 들어 있는 음성 전용 지터 버퍼 + 디코더 + 보정 엔진이다. 재생 장치가 10ms마다 소리를 꺼내 갈 때(GetAudio) 아래를 판단한다.

  1. 디코딩된 소리 버퍼(sync buffer)에 10ms가 있으면 그것을 내준다.
  2. 다음 순서 패킷이 패킷 버퍼에 있으면 디코딩해 sync buffer에 붙인다.
  3. 현재 지연 추정치(버퍼 수준)를 목표 지연과 비교해, 너무 많으면 압축(accelerate)하고 너무 적으면 늘린다(decelerate).
  4. 10ms를 내준다.
상황NetEQ 동작들리는 소리
버퍼가 목표치 수준그대로 디코딩해 내보냄정상
버퍼가 너무 많음 (지연 과다)accelerate — 음성을 시간 압축해 빨리 소진빨라짐 ← 이번 사례
버퍼가 너무 적음decelerate — 음성을 늘려 시간을 범약간 느려짐
패킷이 안 옴concealment — 앞 소리를 바탕으로 대체 소리 생성웅웅거림·뭉개짐

목표 지연은 최근 네트워크 상태로 계속 바뀐다(이 세션 평소 20~50ms). 이 판단은 브라우저 내부에서 이루어져 웹 페이지가 끄거나 바꿀 수 없다.

로그 지표와의 관계

지표의미이번 사례
totalSamplesReceivedNetEQ가 내보낸 샘플 수 (재생 쪽이 꺼내 간 양)정체 중 증가 0
packetsReceived네트워크에서 받은 패킷 수정체 중에도 초당 ~50개 증가
jitterBufferDelay / jitterBufferAvgMs소리가 NetEQ 버퍼에 머문 평균 시간복구 직후 크게 상승 (누적 0.50s, 5초 창 100ms)
concealedSamples대체 소리로 만든 양 (손실 보정)0 — 손실 없음
removedSamplesForAccelerationaccelerate로 압축해 없앤 양미계측 — 그래서 가설 미확정
// 이번 사례 대입
정체 중   패킷 계속 도착 → NetEQ 버퍼에 쌓임, 아무도 꺼내 가지 않음
reattach  다시 꺼내 가기 시작 → 버퍼 1~2초 vs 목표 수십 ms
NetEQ     "지연 과다" → accelerate → 빨리감기

1. 시간순 인과 (17:22 체크아웃)

// 아동 S3 세션로그 기준 (KST)
17:21:59.455  체크아웃 활동 진입 → 이전 세션 종료 → 새 세션 시작
17:22:00.526  Playout drift monitor started (새 트랙 76b4207f)
17:22:02.7    AI 첫 발화 전사 delta 시작 = 음성 패킷 수신 시작
17:22:03.533  Playout stall detected  deltaPackets 20, deltaSamples 0   // 받는데 재생 안 함
      │        → 정체 중 패킷이 수신 버퍼에 쌓임 (약 1~2초분)
17:22:03.534  stage_started  stage=reattach                      // detach → attach → play()
17:22:04.230  AI speech delivery response-1: pk 50, samples 33,600(0.7초분)  // 창 중간에 재개
17:22:05.045  recovered  deltaPackets 76, deltaSamples 72,000
      │        → 버퍼가 목표치(수십 ms)보다 훨씬 큼
      ▼        → NetEQ accelerate(시간 압축)로 소진   ← 빨리감기로 들림
17:22:10.535  drift sample jitterBufferAvgMs 100  (같은 세션 이후 75~98, 다른 활동 평소 20~50)
시점은 모니터 스크린샷의 누적 시간 22:01(수업 17:00 시작)과 S3 세션로그의 체크아웃 진입 17:21:59가 맞아 확정했다. 진행자가 들은 AI 음성은 아동 브라우저가 재생한 소리를 SFU로 중계받은 것이라, 아동 쪽에서 빨라진 소리가 그대로 전달된 것으로 본다.

2. 증거

2-1. 이 세션의 모든 재생 정체 — 활동마다 첫 응답에서 1회, reattach 1회로 복구

감지활동 룸트랙감지 시 pk / samples단계결과
17:05:0920_hoduk5101fdb550 / 0reattachrecovered
17:08:0720_hoduk57af719a50 / 0reattachrecovered
17:11:3801_taerinec25739e51 / 0reattachrecovered
17:15:05tiki_basic5b6bdc594 / 0reattachrecovered
17:17:07tiki_basic83a2476a19 / 0reattachrecovered
17:18:5014_rewardjisung2fd39a5b50 / 0reattachrecovered
17:22:0312_tiki76b4207f20 / 0reattachrecovered ← 신고

2-2. 패킷이 버려지지 않고 쌓였다 — 복구 직후 지터버퍼 지연 급증

LogRocket webrtc stats의 jitterBuffer(누적 평균 지연)를 보면 정체가 있던 세션은 복구 직후 값이 크다. 17:22 구간은 LogRocket 상한으로 잘려 같은 패턴인 17:05 세션으로 비교했다.

세션정체재생 시작 후 첫 측정이후 추이
17:01 체크인 (70d1f525)없음0.03 s0.03 유지
17:05 호덕 (5101fdb5)있음0.501 s (17:05:22)0.196 → 0.142 → 0.095
17:08 호덕 (57af719a)있음0.163 s0.078 → 0.056
17:11 태린 (ec25739e)있음0.121 s0.094 → … → 0.054
누적 평균이 처음에 크고 시간이 지나며 줄어드는 모양은 재개 직후 짧은 구간에 큰 지연이 몰려 있었다는 뜻이다. 정체 중 패킷이 버려졌다면 재개 시점의 버퍼는 비어 있어야 하므로 이 모양과 맞지 않는다. packetsDiscarded는 정상 세션에서도 수신 수에 근접해(예 854 중 789) 판별에 쓰지 않았다.

2-3. 서버·네트워크 배제

3. 코드 경로 — 복구는 재생 위치를 건드리지 않는다

apps/web/lib/voice-agent/livekit-playout-stall.ts 감지기는 1초 간격으로 inbound-rtp를 읽는다. 1.5초 유예 뒤 "패킷 증가 & 샘플 증가 없음"이 2회 연속이면 정체로 판정하고 reattach → replace 순서로 단계를 실행한다. 각 단계 뒤 1.5초 동안 샘플이 늘었는지 확인한다.

// apps/web/lib/voice-agent/livekit-client-session.ts:3447 reattachActiveAudioElement
audioTrack.detach(activeAudioElement);
audioTrack.attach(activeAudioElement);
activeAudioElement.autoplay = true;
activeAudioElement.volume = 1.0;
await applyLiveKitRemoteAudioPlaybackGate(...);   // play()
// replace 단계도 새 Audio 요소로 옮겨 붙일 뿐 — currentTime / playbackRate / seek 조작 없음

4. 확정하지 못한 것

① 시간 압축 자체는 추정이다. NetEQ가 실제로 압축한 양(removedSamplesForAcceleration)을 로그에 남기지 않는다. 밀린 양이 아주 크면 NetEQ가 압축 대신 버퍼를 비우기도 하는데, 그때는 빨라지는 대신 앞부분이 끊긴다. 이번은 1~2초분이라 압축 쪽으로 판단했다.

② 세션 시작마다 정체되는 근본 원인은 모른다. 정체 로그 environment에 오디오 요소가 문서에 붙어 있지 않은 상태(isConnected:false)가 찍혀 있지만, 이것이 원인인지는 확인하지 않았다(김태민 3회기와 같은 정체 계열).

5. 확정 방법과 대처 방향 (제안, 미적용)

6. 조사 함정

LogRocket 내보내기 상한: 아동 로그가 16,000건에서 잘려 17:16:46에 끝났다. 신고 시점(17:22)은 S3 prod/lesson-logs/<userId>/lesson-1/parts/20261020/guest-*.jsonl.gz(72개)를 합쳐서 확인했다.

모니터 로그에는 전사 문장이 없다. 발화 시점은 아동 로그의 assistant_transcript_delta와 활동 진입 시각으로 맞춘다.

관련 문서