mediasoup 녹음 activity 전환 끊김 원인 분석 BUG OPEN

결론 — 범인부터 공개한다

수사 일지 ① — 사건 발생 BUG

수사 일지 ② — 현장 검증: activity-2 → 3 전환 타임라인

녹음이 끊긴 경계는 09:38:24 ~ 09:38:45 구간(약 21초). 다른 활동 전환들이 0.8초 만에 끝난 것과 대조됨.

수사 일지 ③ — 왜 activity-3에서만 회복하지 못했는가

수사 일지 ④ — 왜 공백 동안 mic producer가 재생성되었나 (타임아웃 아님)

타임아웃이나 폴링 로직이 아니라 AI 세션 상태가 바뀔 때 React state guestMicStream이 null ↔ MediaStream으로 토글되는 것이 트리거입니다.

트리거 경로

use-guest-page-session.ts:956 의 nullish coalescing:

const mediasoupProducer = useMediasoupProducer({
  ...
  micStream: aiSession.guestMicStream ?? localMedia.audioStream,
  ...
});

use-ai-session.ts 에서 토글이 일어나는 두 지점:

// line 1387 — AI 세션 stop 시 (cleanup 함수 내부)
setGuestMicStream(null);

// line 1655 — AI 세션 start 시 (relay stream 생성 직후)
setGuestMicStream(relayStream);

use-mediasoup-producer.ts:536 의 useEffect는 [isReady, micStream, roomId, peerId] 에 의존합니다. 참조 동등성(reference equality)으로 변경을 감지하므로 null → MediaStream 또는 MediaStream A → MediaStream B 변경 모두 cleanup(옛 producer close) + 본문(새 producer 생성)이 순서대로 실행됩니다.

09:38:24 ~ 09:38:45 추적

수사 일지 ⑤ — 범행 수법 CAUSE

recordingManager.ts의 transitionFfmpeg에 두 개의 침묵 실패 지점이 있고, 활동 전환의 AI 세션 재시작 지연이 길어질 때 이 둘이 누적되어 녹음이 영구히 비게 됨.

① stale producer 참조로 인한 throw 무시 — line 1001~1014

if (session.childProducer) {
  newChildPair = await this.createPlainTransportConsumer(router, session.childProducer, true);
}
if (session.aiProducer) {
  newAiPair = await this.createPlainTransportConsumer(router, session.aiProducer, true);  // ← 닫힌 producer면 throw
}

session.aiProducer가 클라이언트가 이미 닫은 producer를 가리키는 상태로 남아 있어 transport.consume({ producerId: closedProducer.id })가 throw → enqueueSessionOp의 .catch(line 533)가 로그만 찍고 무시.

② consumer.resume() 실패 무음 swallow — line 1071~1076

try { await newChildPair.consumer.resume(); } catch {}  // ← 에러 무음 삼킴
try { await newAiPair.consumer.resume(); } catch {}    // ← 에러 무음 삼킴

resume이 실패하면 consumer가 paused 상태로 남아 새 ffmpeg는 spawn되었지만 RTP가 흐르지 않아 빈 OGG 파일(헤더만)이 생성됨.

③ 빈 segment 자동 폐기 — line 1086~1098

if (!valid) {
  const idx = session.segmentPaths.indexOf(oldRecordingPath);
  if (idx >= 0) session.segmentPaths.splice(idx, 1);  // ← 빈 segment 제거
}

빈 파일이 자동 제거되어 최종 concat 대상에서 빠지므로, mp3에는 activity-0/1/2 분량만 남음.

④ activity-3 트리거 조건

• 다른 활동 전환은 AI 세션 재시작이 0.8초 이내라 stale window가 transient하게 지나감.
• activity-3은 인트로 영상 step + MEET_VIDEO Video duration timeout fallback으로 AI 세션 재시작이 20.9초 지연 → stale window 누적 → 회복 불능.

피해액 산정 — 최종 mp3 길이 산식

검거 계획 — 해결 방안 FIX

P0 producer close 시 session 캐시 자동 정리 필수

stale 참조 자체를 원천 차단. 이 한 가지만으로 이번 케이스의 직접 원인은 막힘.

producer.observer.once("close", () => {
  for (const session of recordingManager.getAllSessions()) {
    if (session.aiProducer === producer) session.aiProducer = null;
    if (session.childProducer === producer) session.childProducer = null;
  }
});

P0 transitionFfmpeg에 producer.closed 가드 필수

if (session.childProducer && !session.childProducer.closed) {
  newChildPair = await this.createPlainTransportConsumer(router, session.childProducer, true);
}
if (session.aiProducer && !session.aiProducer.closed) {  // ← closed 가드
  newAiPair = await this.createPlainTransportConsumer(router, session.aiProducer, true);
}

P0 consumer.resume() 침묵 실패 가시화 필수

try {
  await newChildPair.consumer.resume();
} catch (err) {
  logger.error("Failed to resume new child consumer", { roomId: session.roomId, err });
  session.status = "error"; // 또는 restartFfmpeg 트리거
}

P1 ffmpeg 비정상 exit 감지 및 자동 복구 권장

startFfmpeg의 ffmpeg.on("exit", ...)에서 비정상 코드/시그널이면 ERROR 로그 + 자동 restartFfmpeg 트리거. 현재는 lastFfmpegExit만 기록하고 침묵.

P1 메트릭/관측성 강화 권장

• recording_transition_failed_total Prometheus 카운터 추가.
• [CAPTION-DIAG] OGG segment registered와 짝을 이루는 audioDurationMs=0 경고 로그 추가.
• 세션 종료 시점 final mp3 duration과 wall-clock duration 차이가 임계치 초과면 알림.

P2 MEET_VIDEO Video duration timeout 사전 방지 권장

인트로 영상의 ended 이벤트 누락 fallback이 19초까지 늦어지지 않도록, currentTime >= duration * 0.99일 때 즉시 onEnd 호출하도록 임계값을 낮춤. stale window 자체를 줄여 동일 부류 사고 재발 확률을 낮춤.

검증 방법

• 서버 로그(Loki/CloudWatch)에서 해당 roomId 09:36 ~ 09:50 구간의 다음 신호 카운트로 가설 1차 확인:
  • Recording session op failed
  • ffmpeg transitioned for room
  • lastFfmpegExit code/signal
  • [CAPTION-DIAG] OGG segment registered 개수와 audioDurationMs
• 수정 적용 후 인트로 영상이 있는 활동(activity-3 같은 구조)을 포함한 풀 세션 녹음 회귀 테스트.