KR2 양호 수업 진행 비율 — 로그 기반 지표 검토

마지막 업데이트 2026-11-11

진행자 기록 없이 로그만으로 "양호하게 진행된 수업 비율"을 KR로 관리할 수 있는지, prod 데이터로 실측한 결과 (조사일 2026-11-05 · 조회 기간 2026-09-01~09-29, 2026-10-06~11-04)

1. 데이터 소스

소스내용조인 키
ppi-session-log-prod (DynamoDB, 5.2GB)진행자 조치 interventionType (text, mute, unmute, preset, time_end, notification, cancel_ai, next/jump/prev_step, force_exit, activity_refresh, audio_correction)GSI userId-lessonIndex-index + createdAt(KST 일자)
S3 ppi/prod/lesson-logs/…/archives/lesson-log-{runDate}.jsonl.gz게스트·모니터 클라이언트 로그. 분모(진행 회기)로 사용userId, lessonIndex, runDate
ppi-issue-text-prod진행자 이슈 메모(자유 텍스트). 9월 정답셋으로 사용userId, lessonIndex, createdAt
ppi-lesson-prod회기별 수업 유형 lesson_type (group / one_on_one_voice / one_on_one_text)userId, index
진행자 조치 로그는 apps/web/features/host-intervention/api/log-intervention.ts에서 남긴다. 듣기 off·on은 모니터의 마이크 토글(apps/web/entities/monitor-controls/model/use-guest-controls.ts)에서만 기록되므로 자동 동작은 섞이지 않는다. 타임아웃은 진행자가 대화를 끝낼 때 누르는 버튼(endConversation("checkout"))이다.

2. 최근 한 달 진행자 개입 비중 (2026-10-06 ~ 11-04)

진행 회기 6,290건(S3 아카이브 기준). 수업 유형은 그룹 2,842 · 1:1 텍스트 1,750 · 1:1 음성 1,693 · 미기록 5.

2-1. 수업 유형별 텍스트 입력

수업 유형회기회기당 텍스트 입력텍스트 입력이 있는 회기
1:1 텍스트1,75051.2건99%
1:1 음성1,6938.3건82%
그룹2,8423.9건70%

텍스트 입력 114,593건 중 78%가 1:1 텍스트 수업에서 나온다. 텍스트 수업에서는 텍스트 입력이 진행 방식 자체라 개입으로 보지 않는다.

2-2. 텍스트 수업의 텍스트 입력을 뺀 개입 비중

개입 56,666건, 회기당 9.0건.

개입건수비중개입이 있었던 회기 비율성격
텍스트 입력 (음성·그룹 수업)25,00844.1%53.7%진행 도구 / 음성인식 대체 혼재
듣기 off9,95717.6%51.7%운영 습관 / 끼어들기 대응 혼재
듣기 on8,45614.9%44.4%듣기 off의 복원
프리셋 문구6,68111.8%46.1%진행 도구
타임아웃2,6394.7%36.6%종료 버튼
활동전환 (점프·다음·이전)1,1882.1%약 10%기술 대응 성격
말하기 멈춤9911.7%11.3%기술 대응 성격
알림 발송9881.7%11.3%운영
강제퇴장4770.8%5.1%기술 대응 성격
활동 새로고침1590.3%1.4%기술 대응 성격
오디오 보정1220.2%1.5%교정

기술 대응 성격의 개입(말하기 멈춤·활동전환·강제퇴장·새로고침)을 합치면 약 5%다.

2-3. 최근 1주 "기술성 조치 없는 회기" 비율 (참고, KR 부적합)

듣기 off·말하기 멈춤·수동 활동전환·새로고침·수업 중간 강제퇴장이 없는 회기 비율은 46.6%(10/29~11/04, 1,298회기, 일별 41~52%)였다. 이 값의 대부분은 듣기 off 하나가 좌우하는데, 3장에서 보듯 듣기 off는 문제 수업을 잘 가르지 못해 KR로는 쓰지 않는다.

3. 9월 진행자 메모와 대조한 구분력

9월 진행자 메모 2,258건(8/25~9/30)을 사람이 읽고 분류하는 방식으로 라벨링했다(에이전트 수행). 결과는 비기술 992 · 음성인식/턴 577 · 미디어/연결 276 · AI 응답 192 · 진행 흐름 70 · 불명 151이다. 이 라벨을 같은 날 같은 회기의 로그와 붙여, 기술 이슈 메모 회기와 비기술 메모만 있는 회기를 비교했다.

메모가 있는 회기는 전체의 약 8%뿐이다. 진행자가 적은 회기만 비교한 결과이므로, 표본이 작고(비기술 회기 78~116건) 선택 편향이 있다.

3-1. 진행자 조치 (9월 5,606회기 중 메모 426회기)

조치기술 이슈 회기비기술 회기배수미디어 이슈 회기흐름 이슈 회기
듣기 off ≥148.7%32.8%1.542%40%
듣기 off ≥327.1%16.4%1.723%23%
말하기 멈춤25.2%24.1%1.029%19%
수동 활동전환25.5%16.4%1.632%51%
타임아웃37.7%38.8%1.037%51%
수업 중간 강제퇴장10.3%1.7%6.026%7%

"수업 중간 강제퇴장"은 강제퇴장 이후 1분 넘게 진행자 조치가 이어진 회기, 즉 재접속 후 수업이 계속된 경우다. 수동 활동전환은 진행 흐름 이슈 회기의 51%에서 나와 흐름 문제의 보조 신호로는 쓸 수 있다.

3-2. 클라이언트 로그 신호 (9월 13일치, 5분 이상 회기 3,237건)

신호기술 이슈 회기비기술 회기배수미디어 이슈 회기9월 전체
아동 연결 끊김 (모니터 guest-disconnected received)32.2%11.5%2.849.4%17.0%
AI 음성 재생 밀림 (Playout drift suspected)16.9%5.1%3.324.1%12.8%
마이크 송출 실패 (Failed to produce mic audio)8.3%0.0%높음11.4%7.8%
전송 경로 끊김 (Mediasoup transport disconnected)6.2%2.6%2.416.5%3.5%
자동전환 체인 단절 (트리아지 룰)76.4%66.7%1.174.7%77.0%
error 로그 1건 이상71.5%60.3%1.274.7%63.9%

위 네 개 미디어 신호를 합친 복합 신호는 기술 이슈 회기 47.5%, 비기술 회기 17.9%로 배수 2.6이고, 미디어 이슈 회기는 65.8%를 잡는다. 이 기준으로 9월 양호 비율은 66.6%였다.

4. 함정 — 그대로 쓰면 기준값이 오염되는 신호

같은 복합 기준으로 최근 1주(10/29~11/04)를 계산하면 양호 34.4%로 9월(66.6%)의 절반이 된다. 표본 회기를 열어 보면 실제 악화가 아니라 신호 정의 문제였다.

5. 플랫폼팀 KR 후보와 다음 단계

KR 후보: 수업 중 끊김 없는 회기 비율 = 수업 중 끊김 0회 회기 ÷ 진행 회기 (KST 일 단위)

수업 중 끊김 = (아동 연결이 끊긴 뒤 30초 넘게 아동 로그가 다시 이어진 경우, 즉 재접속) + (진행자 강제퇴장 이후 수업이 계속된 경우)

9월 메모 대조에서 가장 강한 신호(배수 6.0)이고, 비기술 사유(아동 반응·지각·양육자 개입)가 섞이지 않으며, 플랫폼팀이 직접 줄일 수 있는 영역이다.

  1. 재정의 후 기준값 산출 (미완료): 끊김 시각과 이후 아동 로그 재개 여부를 넣어 9월과 최근 1주를 다시 추출한다. 다시 받는 데 약 10~15분 걸린다.
  2. pos-admin 리뷰와 대조: "안정적으로 수업이 진행되었나요?" 답변의 저장 위치를 확인하면, 로그 판정이 진행자의 판단과 얼마나 맞는지 회기 단위로 검증할 수 있다. 이때 듣기 off를 지표에 넣을지도 함께 결정한다.
  3. 분모 정리: 테스트·내부 계정 제외. 조각 로그만 있고 아카이브가 없는 회기(약 5%)는 "판정 불가"로 따로 센다.
  4. KR 설정: 기준값이 확정되면 "현재 X% → 목표 Y%"로 설정하고, 원인별 보조 지표(미디어·AI 응답·자동전환·턴 개입)를 함께 둔다.

6. 제안된 양호 기준 검토 (2026-11-05 추가)

제안 기준: ① 진행자 개입 없음 ② 아동 도움 요청 메시지 없음 ③ 슬랙 #두부핑퐁_cs_알림 없음. 세 가지를 모두 통과한 수업을 양호로 본다. 최근 1주(10/29~11/04, 1,296회기) 데이터로 검토했다.

기준판정근거
① 진행자 개입 없음문구 그대로는 부적합개입 0건 회기가 10~23%뿐이다. 텍스트 입력·프리셋·듣기 off 같은 일상 도구가 대부분이라 값이 진행자 스타일에 좌우된다. 9월 메모 대조에서도 구분력이 낮았다(배수 1.0~1.6).
② 아동 도움 요청 없음적합 (조건부)아동이 누르는 "도움이 필요해요" 메뉴가 회기 로그(Emitting GUEST_ISSUE_REPORT, ISSUE_DIAG)에 남는다. 1주 92회기(7.1%)였다. 기술 문제가 아닌 "잠깐 멈추고 싶어요"는 빼야 한다.
③ #두부핑퐁_cs_알림 없음보조로만1주 31건으로 회기의 약 1%다. 수업 중 기술·AI 문제는 약 15건이고 나머지는 예약·환불·커리큘럼 문의다. 회기 ID가 없어 아동명·회차로 맞춰야 하고, 며칠 뒤 양육자 신고로 들어온다.

6-1. 아동 도움 요청 항목 분포 (1주, 92회기)

항목건수회기기술 여부
잠깐 멈추고 싶어요5029아님 → 제외
화면이 안 보여요4824기술
대화가 이상해요4326기술 (AI)
소리가 안 들려요4320기술
이상한 소리가 들려요3816기술
친구가 안 보여요2712기술
화면/친구가 멈췄어요2417기술
다른 문제가 있어요2217불명 (일단 기술로 집계)

메뉴 정의는 apps/web/widgets/guest/guest-layout/ui/guest-layout.tsx의 issueMenuItems에 있다.

6-2. CS 알림 채널 (1주, 상담봇 게시 31건)

분류별로 긴급-불만족 11 · 일반-수업 문의 5 · 주의-수업 문의 4 · 주의-불만족 3 · 일반-불만족 3 · 최우선-불만족 2 · 기타 3건이다. 수업 중 문제로는 접속 실패·화면 멈춤, 소리 안 들림, 버퍼링·끊김, AI 무응답·반복·오인식, 종료 처리 반복이 있었다. 게시물에 pos-admin 수업 기록 링크(child_id)가 있어 아동 단위로는 맞출 수 있지만, 회기 단위로 맞추려면 날짜와 회차를 추가로 해석해야 한다. "긴급·최우선 불만족 + 수업 중 문제" 건만 걸러 반영하는 것을 권한다.

6-3. 권장 진행자 개입 기준

"플랫폼이 제대로 동작했다면 진행자가 할 필요가 없었던 조치"만 개입으로 센다.

구분조치근거
포함수업 중간 강제퇴장 → 재접속문제 수업을 가장 잘 가름(배수 6.0). 수업 종료 시점의 force_exit는 정상 종료라 제외한다.
포함수동 활동전환 (다음·점프·이전)진행 흐름 이슈 회기의 51%에서 발생(배수 1.6), 자동전환 실패 신호
포함활동 새로고침기술 문제 외에는 쓸 일이 없음
포함말하기 멈춤구분력은 약하지만(배수 1.0) AI 응답 품질 문제의 유일한 진행자 신호
제외텍스트 입력, 프리셋 문구, 타임아웃, 알림 발송, 오디오 보정, 듣기 on일상 진행·운영 도구. 타임아웃은 문제 수업과 정상 수업에서 비율이 같다(배수 1.0).
보류듣기 off회기의 52%에서 쓰고 정상 수업에서도 33%가 쓴다. 넣으면 진행자 습관에 끌려가므로 보조 지표로 둔다(3회 이상이면 배수 1.7). pos-admin 리뷰와 대조한 뒤 확정한다.

6-4. 기준 적용 결과 (1주)

수업 유형회기원안 ①+② (개입 0 · 도움 요청 0)수정안 (기술 조치 0 · 기술 도움 요청 0)참고: 듣기 off 회기
그룹66821.7%77.2%56.1%
1:1 음성2349.8%72.6%70.1%
1:1 텍스트39418.3%77.2%14.2%

수정안으로 잡으면 현재 약 75%라 "75% → 85%" 같은 목표를 둘 수 있다. 걸러낸 CS 건을 더해도 값은 1%p 안쪽으로만 움직인다. 원안 ①은 텍스트 수업의 텍스트 입력만 빼고 계산했다.

6-5. 최근 1개월 집계 (2026-10-06 ~ 11-04, 6,290회기)

KR2 양호 수업 = 아래 세 가지가 모두 없는 회기

  1. 진행자의 기술 대응 조치: 말하기 멈춤, 수동 활동전환, 활동 새로고침, 수업 중간 강제퇴장·재접속
  2. 아동의 기술 도움 요청: "잠깐 멈추고 싶어요"를 뺀 7개 항목
  3. CS 알림의 긴급·최우선 건 중 수업 중 기술 문제(해당 아동의 게시일 이전 3일 내 마지막 회기에 매칭)

최근 1개월 양호율 = 72.9% (① ②만 쓰면 73.2%)

수업 유형회기① 기술 조치② 기술 도움 요청③ CS양호 (①②③)참고: 듣기 off까지 넣으면
전체6,29023.2%7.3%0.6%72.9%38.3%
그룹2,84221.1%7.8%0.5%74.6%31.7%
1:1 텍스트1,75024.3%6.3%0.7%72.3%64.7%
1:1 음성1,69325.6%7.4%0.5%70.9%22.1%

수업 유형 미기록 5회기는 전체에만 포함했다. 듣기 off를 기준에 넣으면 양호율이 38%로 떨어지고, 그 영향이 1:1 음성(22%)과 그룹(32%)에 몰린다. 그래서 듣기 off는 계속 보조 지표로 둔다.

주별 추이

주 (수~화)회기① 기술 조치② 기술 도움 요청양호 (①②③)
10/07 ~ 10/131,38728.8%8.8%67.5%
10/14 ~ 10/201,71122.4%6.9%73.8%
10/21 ~ 10/271,39621.1%7.4%74.6%
10/28 ~ 11/031,30520.2%6.1%76.2%

10/06(293회기, 68.9%)과 11/04(198회기, 76.3%)는 하루치라 표에서 뺐다. 한 달 사이 67.5%에서 76.2%로 꾸준히 좋아졌고, 개선은 대부분 기술 조치 감소(28.8% → 20.2%)에서 나왔다.

양호가 아닌 사유 (회기 수, 중복 포함)

사유회기비율이 사유 하나만 있는 회기
말하기 멈춤71211.3%538
수동 활동전환65010.3%389
아동 기술 도움 요청4627.3%226
수업 중간 강제퇴장·재접속2994.8%98
활동 새로고침881.4%29

말하기 멈춤(AI 응답 품질)과 수동 활동전환(자동전환)이 가장 큰 사유다. 다만 말하기 멈춤은 9월 메모 대조에서 구분력이 약했다(배수 1.0). 그래서 이 사유가 양호율을 실제보다 낮추고 있을 수 있고, pos-admin 리뷰 대조 때 우선 확인해야 한다.

아동 도움 요청 항목 (1개월, 회기 수)

잠깐 멈추고 싶어요 142(제외) · 소리가 안 들려요 140 · 대화가 이상해요 129 · 화면/친구가 멈췄어요 121 · 다른 문제가 있어요 116 · 화면이 안 보여요 91 · 이상한 소리가 들려요 80 · 친구가 안 보여요 51

CS 알림 (10/06 ~ 11/04)

7. 그룹 수업만 측정하는 안 검토

권하지 않는다. 전체 KR 하나를 두고 수업 유형별 값을 함께 보는 구성이 맞다.

8. pos-admin 진행자 리뷰·CS 티켓 대조 (2026-11-05 추가)

결론: 로그만으로 만든 판정(6-5)은 진행자 리뷰와 69.9%만 일치하고, 진행자가 "이슈 있음"으로 적은 회기의 43%만 잡는다. 그래서 KR2는 진행자 리뷰를 기본 판정으로 두고, 로그·CS 신호로 보강하는 혼합 기준을 권한다.

권장 KR2 = 진행자 리뷰가 "완료 + 문제 없음"이고, 강한 로그 신호(수업 중간 재접속, 활동 새로고침, 아동 기술 도움 요청)와 CS 기술 티켓이 없는 회기 ÷ (완료 + 중간 종료 회기)

최근 1개월 값 = 70.8% (5,292 / 7,470). 진행자 리뷰만 쓰면 75.2%다.

8-1. 데이터 출처

8-2. 진행자 리뷰 현황

구분건수
완료 (completed)7,443
  그중 안정성 기록 있음7,431 (99.8%)
  문제 없음 / 이슈 있음 / 중간 종료5,621 / 1,800 / 10
취소 (cancelled)618 (그중 중간 종료 27)

8-3. 로그 판정과 진행자 리뷰 대조 (매칭 6,267회기)

리뷰: 문제 없음리뷰: 이슈 있음리뷰: 중간 종료
로그: 양호3,7068791
로그: 비양호1,00963735

일치율 69.9%. 로그가 양호라고 본 회기의 80.8%는 리뷰도 "문제 없음"이다. 반면 로그가 비양호라고 본 회기 중 리뷰가 이슈로 본 것은 40.0%뿐이고, 리뷰 이슈 회기 중 로그가 잡은 것은 43.3%다.

8-4. 신호별 구분력 (리뷰 기준으로 재검증)

신호리뷰 이슈 회기리뷰 정상 회기배수판정
수업 중간 강제퇴장·재접속15.4%1.3%12.1유지 (강함)
활동 새로고침3.7%0.6%5.9유지 (강함)
아동 기술 도움 요청13.4%5.3%2.5유지
수동 활동전환18.2%7.7%2.4보조 (정상 회기에서도 7.7% 발생)
말하기 멈춤15.3%10.1%1.5제외 권장
듣기 off63.7%47.9%1.3제외

9월 메모 대조 결과와 같은 방향이다. 재접속과 새로고침이 가장 강하고, 말하기 멈춤과 듣기 off는 약하다. 6-5에서 말하기 멈춤이 가장 큰 비양호 사유였던 것은 이 신호가 일상적으로 쓰이기 때문이다.

8-5. CS 기술 티켓과 진행자 리뷰

기술 카테고리 티켓(수업 중 장애, 기기·수업 접속 문제, 대화·AI품질, 기술이슈) 중 기간 안 76건을 아동·발생일로 매칭했다.

8-6. 앞선 설명 정정: 아카이브 없는 회기

CS 매칭 실패를 보고 "아카이브 없는 회기가 문제 수업에 몰려 72.9%가 과대평가됐을 수 있다"고 추정했지만, 리뷰로 확인하면 사실이 아니다. 완료 회기 중 로그 아카이브가 없는 회기는 1,221건(16%)이다. 이 회기들의 리뷰 이슈 비율은 24.6%로, 아카이브가 있는 회기(24.8%)와 같다. 다만 로그 기반 분모는 완료 회기의 84%만 덮는다. 그래서 분모는 진행자 리뷰 쪽이 더 완전하다.

8-7. KR2에서 잡을 진행자·아동 개입 이벤트 (최종)

진행자 리뷰와 대조했을 때 문제 수업을 확실히 가른 이벤트만 판정에 넣는다. 배수는 리뷰 "이슈 있음" 회기에서의 발생 비율을 "문제 없음" 회기에서의 비율로 나눈 값이다.

구분주체이벤트배수회기 비율 (1개월)로그 근거
판정 포함진행자수업 중간 강제퇴장·재접속12.14.8%force_exit 이후 1분 넘게 수업 지속
진행자활동 새로고침5.91.4%activity_refresh
아동기술 도움 요청 (7개 항목)2.57.3%Emitting GUEST_ISSUE_REPORT의 issueText
보조 지표진행자수동 활동전환2.410.3%문제 없는 회기에서도 7.7% 발생. 자동전환 품질 추적용
진행자말하기 멈춤1.511.3%일상적으로 씀. 넣으면 양호율이 약 10%p 내려감
제외진행자듣기 off·on(배수 1.3, 회기의 52%), 텍스트 입력, 프리셋 문구, 알림 발송, 오디오 보정, 타임아웃(대화 종료 버튼), 수업 종료 시점 강제퇴장(정상 종료 절차)
아동"잠깐 멈추고 싶어요" (기술 문제 아님)

아동 기술 도움 요청 7개 항목: 소리가 안 들려요 · 이상한 소리가 들려요 · 화면이 안 보여요 · 친구가 안 보여요 · 화면/친구가 멈췄어요 · 대화가 이상해요 · 다른 문제가 있어요

진행자 개입 중 재접속과 새로고침만 남긴 이유: 나머지 진행자 조치는 진행자 리뷰("문제 없음/이슈 있음")가 이미 판단을 대신한다. 아동 도움 요청은 진행자가 놓친 문제를 보완하려고 넣었다. 수동 활동전환·말하기 멈춤은 KR 값에는 넣지 않고, 주별 추이만 따로 본다.

8-8. 권장 KR2 값 (10/06 ~ 11/04)

정의양호 / 분모양호율
A. 진행자 리뷰만 ("완료 + 문제 없음")5,621 / 7,47075.2%
B. 권장: A + 강한 로그 신호 0 + CS 기술 티켓 05,292 / 7,47070.8%
C. A + 로그 5신호 전부 0 + CS 04,600 / 7,47061.6%

분모 7,470 = 완료 7,443 + 취소 중 중간 종료 27. 강한 로그 신호는 수업 중간 재접속, 활동 새로고침, 아동 기술 도움 요청이다. 로그가 없는 회기 1,222건은 리뷰와 CS만으로 판정했다.

수업 유형회기A 리뷰만B 권장
그룹2,83275.6%69.6%
1:1 텍스트1,73480.5%75.7%
1:1 음성1,68769.5%65.3%

수업 유형은 로그가 있는 회기만 알 수 있어 유형별 합계가 7,470보다 작다.

주 (수~화)회기A 리뷰만B 권장
10/07 ~ 10/131,39372.2%67.0%
10/14 ~ 10/201,71176.6%71.4%
10/21 ~ 10/271,84976.9%72.8%
10/28 ~ 11/031,89575.6%72.1%

B 기준으로 첫 주 67%에서 72% 수준으로 올라 유지 중이다. "70.8% → 80%"처럼 목표를 둘 수 있다.

9. 재현 방법

# 진행 회기 목록 (분모)
aws s3api list-objects-v2 --bucket ppi --prefix prod/lesson-logs/ \
  --query "Contents[?contains(Key,'/archives/')].[Key,Size]" --output text   # 전체 목록, 수 분 소요

# 회기별 진행자 조치 (회기마다 GSI query, 전체 scan 금지)
aws dynamodb query --table-name ppi-session-log-prod --index-name userId-lessonIndex-index \
  --key-condition-expression "userId = :u AND lessonIndex = :i" \
  --filter-expression "createdAt BETWEEN :lo AND :hi AND (begins_with(#t, :h) OR attribute_exists(interventionType))" \
  --projection-expression "#t,interventionType,createdAt" ...

# 수업 유형
aws dynamodb batch-get-item  # ppi-lesson-prod, ProjectionExpression userId,#i,lesson_type

클라이언트 로그 신호 추출과 자동전환 체인 판정은 ~/git-projects/lesson-log-triage/triage.py의 signature()·chain_breaks()를 재사용했다. 1주(약 1,300회기) 조회는 진행자 조치 약 1분, 로그 아카이브 약 5분이 걸렸다.

관련 문서