마지막 업데이트 2026-11-09
증상: 아동이 "🙉소리가 안 들려요"를 2번 눌렀다(20:10:56·20:10:59). 진행자가 강제 퇴장으로 3번 다시 입장시켰지만 회복되지 않았다. 보호자 확인으로는 기기 음소거나 볼륨 0은 아니었다.
수업 녹음에는 아동과 AI 발화가 모두 있다. 녹음 속 AI 음성은 아동 브라우저가 받은 AI 트랙을 복제해 서버로 다시 보낸 신호다. 따라서 AI 음성은 아동 브라우저까지 정상으로 도착해 디코드됐다(확정).
브라우저 안 재생 단계도 정상이었다. AI 오디오 요소는 재생 중이고 음소거가 아니며 볼륨 1이었다. 재생 시계도 실시간으로 흘렀다. 기본 출력 장치(Realtek 스피커)로 연 AudioContext도 정상으로 돌았다. 앱 오류나 자동재생 차단은 없었다.
남은 구간은 계측할 수 없다. 브라우저 → Windows 앱별 볼륨 → 드라이버 → 내장 스피커 구간이다. 이 구간의 원인은 로그로 판정할 수 없다. 로그 밖에서 확인해야 할 항목은 Windows 볼륨 믹서의 Chrome 값, 같은 Chrome의 다른 사이트 소리, 내장 스피커 동작이다(7절 보호자 안내).
// 2026-11-06 KST · 아동 단말: Windows, Chrome 156, 8코어/16GB, 카메라 "Samsung Camera Front" // 출력 장치 3개 = 모두 "스피커(Realtek(R) Audio)" (기본값/커뮤니케이션/일반) — 헤드셋·블루투스 없음 20:08:53 입장1 리소스 캐시 28개 완료, 마이크·카메라 정상 20:09:05 인트로 영상 재생 (volume 1, muted false, 오디오 디코드 진행) 20:09:06 LiveKit 연결 → agent 준비 → AI 오디오 트랙 수신 시작 20:09:20~ AI 대화: AI 응답 5턴 / 아동 발화 감지 5회 (대화 진행됨) 수신 손실 0·에너지 > 0, 재생 concealed 0·지연 30~85ms 20:09:26 LOW_POWER_PROBE WARN (rAF 30fps, lowPowerSuspected:true) 20:10:00 AI 응답 전사 "안 들려~ 다시 또박또박 말해줄래? 뭐 보이는지 궁금해!" 20:10:11 진행자 강제 퇴장 1 (아동 신고 이전, kick 사유는 로그에 없음) 20:10:22 녹음 시작 (파일명 111022 UTC 기준, 53초, 아동·AI 발화 모두 녹음됨) 20:10:26 입장2 AI 발화 3회 20:10:56·59 "소리가 안 들려요" 신고 2회 ISSUE_DIAG: ctx running, 출력 장치 Realtek, 화면 visible ai-audio 복제 트랙 audioLevel 0.10~0.18 (실제 소리 있음) 20:11:07 강제 퇴장 2 20:11:18 입장3 (Re-entry loop detected, 5분 내 3회) 20:11:41 강제 퇴장 3 → 20:11:44 로그 끝 (이후 회복 여부 불명)
| 단계 | 내용 | 코드 |
|---|---|---|
| 수신·재생 | LiveKit 원격 트랙을 <audio> 요소에 붙여 기본 출력 장치(default)로 재생 | lib/voice-agent/livekit-client-session.ts, AI_AUDIO_OUTPUT_SINK |
| 진행자·녹음용 복제 | 같은 수신 트랙을 복제해 mediasoup ai-audio producer로 송출 → 모니터 재생·서버 녹음 합본 | MEDIASOUP_PRODUCER "AI audio producer created" |
| 재생 감시 | 요소 currentTime과 inbound-rtp 지터버퍼만 본다. 스피커 출력은 볼 수 없다고 로그에 명시 | livekit-playout-drift-monitor.ts:523 speakerOutputObservable:false |
| 출력 프로브 | 새 AudioContext를 기본 장치로 열고 시계가 흐르는지만 본다 | shared/lib/audio-output-probe.ts:92 |
녹음 경로(복제 트랙 → 서버)는 브라우저 → Windows → 스피커 구간을 거치지 않는다. 그래서 녹음에 AI 음성이 있어도 아동 스피커에서 소리가 났다는 증거는 되지 않는다.
원본 로그에서 해당 이벤트를 전수 뽑아 확인했다. "확정"은 그 단계를 직접 측정한 값이고, "정황"은 다른 대상을 측정해 간접적으로 추론한 것이다.
| # | 단계 | 근거 (전수) | 판정 |
|---|---|---|---|
| ① | agent → LiveKit → 아동 수신·디코드 | LIVEKIT_AI_SPEECH_DELIVERY 10/10건 measurement:ok: 패킷 47~51/s, 손실 0, 에너지 0.0135~0.0631, concealed 0, 샘플 48,000~48,960/s | 확정 정상 |
| ② | 브라우저 안 AI 소리 신호 | ai-audio 송출은 수신 트랙의 clone()이다(코드 확인). 신고 시점 2건 audioLevel 0.101·0.176, 에너지 0.0303·0.0278. 생성 직후 3건은 0인데, 이때는 AI가 말하지 않던 때다. 수업 녹음에도 AI 발화가 있다. | 확정 정상 |
| ③ | AI <audio> 요소 상태 | 같은 10건 모두 paused false, muted false, volume 1, outputBlocked:false. lastPlayResult는 입장2·3이 resolved(5건), 입장1은 blocked/non_ai_step(5건, 아래 함정 참고) | 확정 정상 |
| ④ | 요소 재생 진행 | LIVEKIT_PLAYOUT 23/23건 renderDeficit 0ms, 지터버퍼 29.8~85ms, concealedRatio 0 / delivery의 요소 currentTime이 1초 창에서 1.001~1.013초 전진 | 정황 — 요소 시계 기준. 장치 출력을 잰 값은 아님 |
| ⑤ | 출력 장치 지정 | AI_AUDIO_OUTPUT_SINK 3/3건 deviceId:"default" / LogRocket AudioOutputDeviceAutoSelected "기본값 - 스피커(Realtek(R) Audio)" | 확정 기본 장치 |
| ⑥ | 기본 출력 장치 경로 | AUDIO_PROBE 아동 5/5건(warmup 3, issue-report 2): ctx running, currentTime 0.2613~0.272초 전진, outputLatency 0.03, suspectedSilent false | 정황 — 장치 경로는 동작 중. 단 프로브용으로 따로 연 ctx라 AI 요소와는 별개 |
| ⑦ | 영상 음성 | Video audio health 1건(인트로): volume 1, muted false, audioDecodedByteDelta 32,708 | 확정 요소 정상 (1건뿐) |
| ⑧ | 앱·브라우저 오류 | 아동 ERROR는 "음성 합치기 설정 변경 실패"(입장마다 2건, 입력 RPC)뿐이다. LogRocket 2개 탭에 자동재생 차단·play() 거부·sink 실패 없음. 단 LogRocket은 1000건 상한으로 잘림 | 재생 오류 없음 |
| ⑨ | 요소 → Windows 오디오 엔진 → 앱별 볼륨 → 드라이버 → 스피커 | 측정 수단 없음(speakerOutputObservable:false) · 아동 신고 2회 · 보호자 "음소거·볼륨 0 아님" | 관측 불가 · 무음 |
// ① ③ 수신·요소 — LIVEKIT_AI_SPEECH_DELIVERY (입장2, 신고 직전·직후) 20:10:50 f872 {"measurement":"ok","packetsReceivedDelta":51,"packetsLostDelta":0, "totalAudioEnergyDelta":0.063131,"concealedSamplesDelta":0,"totalSamplesReceivedDelta":48480, "currentTimeDeltaSec":1.013,"paused":false,"muted":false,"volume":1,"outputBlocked":false, "lastPlayResult":{"outcome":"resolved"}} 20:10:59 f872 {"measurement":"ok","packetsReceivedDelta":48,"packetsLostDelta":0, "totalAudioEnergyDelta":0.025332,"concealedSamplesDelta":0,"currentTimeDeltaSec":1.01, "paused":false,"muted":false,"volume":1,"outputBlocked":false,"lastPlayResult":{"outcome":"resolved"}} // ② 브라우저 안 AI 신호 — Audio producer outbound stats (신고 트리거) 20:11:00 f872 {"type":"ai-audio","trigger":"issue-report","audioLevel":0.1008,"audioEnergyDelta":0.03028, "trackReadyState":"live","trackMuted":false,"producerPaused":false} 20:11:03 f872 {"type":"ai-audio","trigger":"issue-report","audioLevel":0.1762,"audioEnergyDelta":0.027754} // ② 코드 — ai-audio는 수신 트랙의 복제 (녹음·모니터용) livekit-client-session.ts:3666 args.onRemoteAudioStream?.(new MediaStream([mediaTrack])) use-mediasoup-producer.ts:943 const clonedTrack = audioTrack.clone(); → produce({ type: "ai-audio" }) // ④ 재생 진행 — LIVEKIT_PLAYOUT (입장2 전체) 20:10:37~20:11:07 f872 renderDeficitMs 0 ×7, jitterBufferAvgMs 30~40, concealedRatio 0 ×7 20:10:31 f872 Playout drift monitor started "speakerOutputObservable":false, "coverageNote":"elementClock(currentTime...) + jitterBuffer(inbound-rtp)만 관측" // ⑤ ⑥ 출력 장치 — AI_AUDIO_OUTPUT_SINK / ISSUE_DIAG.probe 20:10:30 f872 AI audio sink applied {"deviceId":"default"} 20:10:59 f872 ISSUE_DIAG {"issueText":"소리가 안 들려요","probe":{"ctxStateAfter":"running", "currentTimeAdvanced":true,"currentTimeSec":0.272,"outputLatency":0.03, "outputDeviceLabels":["기본값 - 스피커(Realtek(R) Audio)","커뮤니케이션 - 스피커(Realtek(R) Audio)", "스피커(Realtek(R) Audio)"],"suspectedSilent":false},"visibilityState":"visible","aiSessionActive":true} // ⑦ 영상 음성 — 입장1 인트로 20:09:07 1df1 Video audio health {"volume":1,"muted":false,"paused":false,"currentTimeAdvanced":true, "audioDecodedByteDelta":32708,"readyState":4} // ⑨ 신고 — 모니터 수신 20:10:56 c932 [Monitor] guest-issue-report {"issueText":"소리가 안 들려요","issueIcon":"🙉"} 20:10:59 c932 [Monitor] guest-issue-report {"issueText":"소리가 안 들려요","issueIcon":"🙉"}
입장1의 lastPlayResult: blocked/non_ai_step은 무음 원인이 아니다. AI 세션을 인트로 영상(비AI 스텝) 중에 미리 연결할 때 기록된 값이다. AI 스텝 전환 후 실제로 재생될 때는 갱신되지 않는다(recordPlayResult는 TrackSubscribed의 play 처리에서만 호출, livekit-client-session.ts:3635~3658). 같은 샘플에서 요소는 paused:false였다. 입장2·3은 resolved인데도 무음이 신고됐다. 76d429e2 8회기와 같은 stale 값이다.
AUDIO_PROBE는 AI 요소가 아니라 프로브용으로 새로 연 AudioContext의 시계를 본다. 기본 장치 경로가 살아 있다는 정황일 뿐이다.LIVEKIT_PLAYOUT의 renderDeficit 0은 요소 currentTime이 실시간과 같이 흐른다는 뜻이다. 장치가 소리를 내보냈다는 뜻은 아니다(코드에 speakerOutputObservable:false로 명시).Failed to flush pending LiveKit ASR continuation window이고, 이번 3번 입장 모두 연결 직후 2건씩 기록됐다. 재생 관련 로그(③ outputBlocked:false, resolved)와 별개다.| 사례 | 공통점 | 차이 |
|---|---|---|
| 이이솔 25회기 (9/29, Windows 노트북) | Windows PC, 앱 재생 정상인데 무음, 새로고침·kick 무효 | 그때는 AudioContext 시계가 0.0107초에 고정돼 장치 출력이 멈춘 게 로그로 보였다(영상도 0초 정지). 이번엔 프로브 시계가 0.2613~0.272초 전진, outputLatency 0.03으로 그 시그니처가 없다. 영상 0초 정지도 없다(인트로 watchdog 종료 시 currentTime 15.055/15.104). |
| 76d429e2 8회기 (10/22, iPad Chrome) | 요소 정상·ai-audio 에너지 있음·신고 반복 | 그 건은 iPad(iOS WebKit)였다. 이번 UA는 Windows NT 10.0; Win64; x64 … Chrome/156이다. |
[수업 중 AI 목소리가 들리지 않을 때 확인 방법]
수업 기록상 AI 목소리는 노트북까지 정상적으로 도착했으나, 노트북 스피커에서 소리가 나지 않은 상황입니다. 아래 순서대로 확인 부탁드립니다.
※ 전체 볼륨이 켜져 있어도 Chrome만 따로 꺼져 있을 수 있습니다.
| 보호자 확인 결과 | 결론 |
|---|---|
| 볼륨 믹서에서 Chrome이 음소거·0이었음 | 원인 확정 — Windows 앱별 볼륨 |
| 유튜브도 무음, 볼륨 믹서 정상 | 스피커·Realtek 드라이버·오디오 향상 기능 문제 → 재부팅·서비스센터 |
| 유튜브는 들리는데 수업만 무음 | 로그로는 미판정 구간 → 재발 시 크롬 탭 디버깅으로 재조사 |
guest-issue-report ... 소리가 안 들려요 또는 아동 ISSUE_DIAG.LIVEKIT_AI_SPEECH_DELIVERY의 손실·에너지 + 신고 시점 ai-audio 송출 audioLevel > 0 + 녹음 합본에 AI 발화 존재.AUDIO_PROBE currentTimeSec이 0.0107 근처로 고정되고 outputLatency 0이면 장치 정지. 이번처럼 0.26초 전진·30ms면 장치 경로는 동작 중.lesson-log-20261106.jsonl.gz(guest 3 인스턴스 + monitor 3 인스턴스), 수업 녹음 261106_111022_…_17.mp3(53초), 아동 LogRocket 탭 2개(세션 6-01a1b08c…). agent CloudWatch는 조회하지 않았다.