MFCC 패턴 감지 튜닝 변천사

🎯 1. 배경 - 왜 MFCC인가

이전 방식. Whisper LID의 한계

초기(PPI-847/858/859)에는 Transformers.js Whisper tiny/base 모델로 영어 발화를 감지했습니다.

• 메모리 부담. tiny 모델도 수십 MB, 초기 로딩 지연
• 계산량 과다. 전체 음성 윈도우의 언어 확률 벡터 계산
• 임계값 모호성. 한국어/영어 확률 분포가 발화 길이에 따라 변동
• 정확도 변동. 짧은 발화에서는 신뢰도 급락

MFCC 채택 동기 (PPI-904)

🧮 2. 알고리즘 핵심 컴포넌트

처리 파이프라인

AI 음성 (16kHz)
  ↓
1. MFCC 추출 (apps/web/lib/mfcc.ts)
   300ms 윈도우, 10ms hop frame, Hamming → FFT → Mel(26ch) → DCT → 13계수
  ↓
2. 23개 템플릿 코사인 유사도 계산
   각 template_mfcc와 cos similarity → maxSimilarity, bestTemplateIdx 추출
  ↓
3. 패턴 규칙 매칭 (use-ai-english-guard.ts)
   각 규칙별 cursor 유지
   - 매 hop. bestTemplateIdx == rule.steps[cursor].tldx && sim >= threshold
     → cursor++
   - cursor == rule.steps.length → 영어 감지, 응답 즉시 중단
  ↓
4. 무음 처리. 5 hop(750ms) 연속 무음 → 모든 cursor 리셋

핵심 파일

• apps/web/lib/mfcc.ts - MFCC 추출 (순수 TypeScript)
• apps/web/hooks/use-ai-english-guard.ts - 패턴 매칭 메인 루프
• apps/web/hooks/use-mfcc-log-collector.ts - 턴별 로그 수집 + S3 업로드
• apps/web/stores/use-language-guard-settings-store.ts - 규칙 저장소
• apps/web/components/sections/mfcc-pattern-section.tsx - 규칙 등록 UI
• apps/web/app/main/debug/english-guard/page.tsx - 템플릿 23개 정의

주요 데이터 구조

interface MfccPatternRule {
  id: string;              // UUID
  name: string;            // "Negative Feedback" 등
  enabled: boolean;
  stopSpeech: boolean;     // 감지 시 응답 즉시 중단 여부
  steps: MfccPatternStep[]; // 시퀀스 스텝 배열
}

interface MfccPatternStep {
  tldx: number;            // 글로벌 템플릿 인덱스 (0~22)
  phrase: MfccPhraseType;  // "I_JUST_GOT_PROMOTED" 등
  sim?: number;            // 선택적 step별 threshold (없으면 기본 0.90)
}

🌱 3. PPI-904 - 기초 확립 (5/7~5/8)

WINDOW_SAMPLES_16K = 4800           // 300ms
HOP_SAMPLES_16K = 2400              // 150ms
MAX_SILENCE_HOPS_FOR_RESET = 5      // 750ms 무음까지 cursor 유지
ENGLISH_GUARD_SIMILARITY_THRESHOLD = 0.90

// 패턴 매처가 allSims[expectedGlobalTIdx]로 직접 인덱싱하는데
allSims.sort((a, b) => b.sim - a.sim);  // ← 원본 배열 정렬!
// 정렬 후 allSims[5]는 더 이상 tldx=5의 sim이 아님

// 1. 정렬 전 복사본 생성
const topN = allSims.slice().sort(...).slice(0, TOP_N_TEMPLATES);
// 원본 allSims는 그대로 → tldx 인덱싱 유효

// 2. 무음 임계 도입
if (silenceStreakHopsRef.current >= MAX_SILENCE_HOPS_FOR_RESET) {
  ruleCursorsRef.current.clear();  // 750ms 무음 시에만 리셋
}

if (stepSim >= stepThreshold) {
  // 진행
} else if (cursor > 0) {
  // hop 미스 시 cursor 즉시 리셋
  logger.info("MFCC 패턴 hop 미스 — cursor 리셋");
  ruleCursorsRef.current.set(rule.id, 0);
}

🔄 4. PPI-926 - 강화 시도 + 전체 롤백 (5/12~5/13)

// pendingMfccQueue로 임시 저장 (최대 50개, ~7.5초)
if (!sessionId) {
  pendingMfccQueueRef.current.push(event);
  return;
}
// sessionId 전파 시 일괄 emit

// pendingOrphanBuffer로 2초간 보류
pendingOrphanBufferRef.current = {
  buffer: currentTurnBufferRef.current,
  ownerUserId, receivedAt: Date.now(),
};
// turn_end가 2초 내 도착하면 해당 turnId로 flush, 초과 시 폐기

// 1차: 후보 수집
const matches = [];
for (const rule of mfccPatternRulesRef.current) {
  if (stepSim >= stepThreshold) matches.push({ rule, stepSim, ... });
}
// 2차: winner 선택 (sim 최고)
const winner = matches.reduce((best, cur) =>
  cur.stepSim > best.stepSim ? cur : best
);
// winner의 cursor만 전진, 나머지는 이 hop 무시

const PATTERN_RULE_MISS_TOLERANCE = 2;
const ruleMissStreakRef = useRef<Map<string, number>>(new Map());

// 각 규칙 독립 평가
for (const rule of mfccPatternRulesRef.current) {
  if (bestTemplateIdx === expectedTIdx && maxSimilarity >= stepThreshold) {
    ruleMissStreakRef.current.set(rule.id, 0);
    cursor++;  // 스텝 진행
  } else if (cursor > 0) {
    const missStreak = (ruleMissStreakRef.current.get(rule.id) ?? 0) + 1;
    if (missStreak >= PATTERN_RULE_MISS_TOLERANCE) {
      ruleCursorsRef.current.set(rule.id, 0);  // 2회 허용 후 리셋
      ruleMissStreakRef.current.set(rule.id, 0);
    } else {
      ruleMissStreakRef.current.set(rule.id, missStreak);
    }
  }
}

🪛 5. PPI-967 - 최종 로깅 보정 (5/21)

// 기존. event.item_id 없을 때 합성 ID 사용
aiTranscript.id = `assistant-${Date.now()}`;
lastFinalizedItemIdRef.current = aiTranscript.id;  // ← 합성 ID 저장
// → 이후 같은 itemId 비교가 실패해 dedup 실패

// 수정. 실제 item_id 존재 시에만 갱신
if (event.item_id) {
  lastFinalizedItemIdRef.current = event.item_id;
}

🔍 6. 롤백의 핵심 분석

be0ac039 vs 7008720c 비교

롤백을 부른 시나리오

Rule A. [12, 14, 20] threshold 0.92  (엄격)
Rule B. [16, 18, 22] threshold 0.90  (느슨)

hop N. tldx=12 매칭, simA=0.95, simB=0.88
  → be0ac039. winner=A, cursor_A=1, cursor_B=0
  → 7008720c. cursor_A=1 진행, B는 영향 없음

hop N+1. tldx=16 매칭, simA=0.85, simB=0.94
  → be0ac039. simA가 threshold(0.92) 미달이지만 winner=B (simB 더 높음)
            → cursor_B=1, 그런데 cursor_A는 이 hop에서 miss 처리됨
            → 다음 hop에서 cursor_A 리셋 (정책상)
            → Rule A 시퀀스 미완성
  → 7008720c. cursor_A는 miss(missStreak=1), cursor_B=1 독립 진행
            → 추후 Rule A의 step2 매칭 시 cursor_A 계속 진행 가능
            → 두 규칙 모두 정상 진행

핵심. "sim이 더 높다"가 "이 규칙이 더 중요하다"를 의미하지 않음. 각 규칙은 자신의 threshold 기준으로 독립 평가되어야 함.

📊 7. 반복된 튜닝 패턴

FP ↔ FN 트레이드오프

로깅/시각화 보강 패턴

• 3a5b9795. pattern_step 이벤트 추가
• 907b9c77. pendingMfccQueue로 초기 로그 누락 방지, orphan buffer로 순서 역전 보정
• de1eb174. 세션 로그에 matchedPatternSequence 표시
• 2aa75c7d. mfcc_sample 로그 레벨 조정
• 969c853e. turn_end 미전송 3가지 케이스 보정

핵심 교훈 3가지

1. "비교 기준"을 흐리지 말 것. sim 값 비교는 같은 threshold 안에서만 유효. 다른 threshold 규칙끼리는 sim 비교 무의미.
2. 음절 경계를 잊지 말 것. 사람 발화는 hop 단위로 깨끗하지 않음. miss tolerance / 무음 tolerance 필수.
3. 비동기 이벤트의 종료 다양성. 정상 종료 외 cancelled, incomplete, disconnect 모든 경로에서 cleanup 보장.

📌 8. 현재 최종 알고리즘 상태

핵심 파라미터 (7008720c + 969c853e 기준)

상태 변수 추적 (Refs)

// 패턴 시퀀스 모드
ruleCursorsRef     // Map<ruleId, cursor>  - 규칙별 현재 스텝
ruleMissStreakRef  // Map<ruleId, count>   - 규칙별 miss 횟수

// 무음 처리
silenceStreakHopsRef  // 무음 연속 hop 수

// 기존 연속 매칭 모드 (fallback)
consecutiveMatchCountRef    // 연속 매칭 횟수
consecutivePhraseGroupRef   // 현재 phrase group
lastMatchedOffsetRef        // 마지막 매칭 offset
lastMatchedTIdxRef          // 마지막 매칭 tIdx
missStreakRef               // threshold 미달 연속 횟수

🩺 9. 재발 시 디버깅 단서

로그 키워드

증상별 진단 매트릭스

알고리즘 튜닝 가이드

1. Threshold 조정. mfcc_sample 로그의 topN sim 분포 수집. 정상 발화의 최저 sim과 오탐의 최고 sim 중간값으로 설정.
2. Miss Tolerance 조정. 음절 경계에서 다른 bestTIdx 나오는 빈도 측정. 1회 이상이면 tolerance=1, 2회 이상이면 2, 3회 이상이면 3.
3. Max Silence Hops 조정. 발화 중 자연스러운 dip 지속 시간 측정. 보통 100~300ms이면 현재 5(750ms)는 보수적 설정.
4. Step 시퀀스 설계. 최소 3스텝 권장. 1~2스텝은 FP 위험. offset 변화도 고려해 발음 순서 자연스러운 시퀀스 선호.

기존 알고리즘 분석은 기계음 영어 발화 감지 로직 분석 문서 참조. 단, 그 문서는 Whisper LID 시점이므로 본 문서가 최신 상태(MFCC 기반)를 반영합니다.