마지막 업데이트 2026-09-28
"진행자 측에서 아동 소리 안 들림" 같은 신고 한 건과 그 수업의 로그 4종을 넣으면, 원인이 어디(아동·진행자·서버·네트워크)에서 무엇(마이크·권한·오디오…)인지 확률 순으로 3개를 냅니다. 로그를 받는 길(그림 0)과 데이터가 흘러가는 길(그림 1~8)을 설명합니다.
예전에는 Grafana에서 파일 4개를 손으로 받아야 했습니다. 이제 fetch 한 번이면 한 폴더에 모입니다. 세션 로그는 Grafana가 아니라 S3에 있다는 점이 핵심입니다.
조회 구간은 따로 주지 않아도 됩니다. 입장 5분 전 ~ 퇴장 5분 후로 자동으로 정합니다.
uv run ppi-classify fetch --user-id <userId> --lesson 1 --out ./inputs/case-1/
uv run ppi-classify run --logs ./inputs/case-1/ --symptom "진행자 측에서 아동 소리 안 들림" --at 14:32 --label 아동070
# 로그·알림에서 복사한 UTC 시각도 그대로
uv run ppi-classify run --logs ./inputs/case-1/ --symptom "..." --at 2026-09-21T07:00:17.403Z
ppi-diagnostics는 S3·DynamoDB가 막혀 있어 못 씁니다. 기본값은 ppi-dev입니다~/.ppi-grafana-session 쿠키 재사용, 없으면 GF_VIEWER_PASSWORD로 로그인. 외부망은 ssh studio 경유--run-date 20260921--at--window-min) 로그만 봅니다. 16:00은 KST, …Z·+09:00처럼 시간대가 붙으면 그대로. 수업 구간 밖이면 신호가 없습니다--lesson N (socket roomId가 ${userId}_17). LiveKit 방 이름은 ppi-${userId}-${avatar}-${uuid}라 회기가 없어서 livekit만 userId + 수업 시간 구간으로 거릅니다. 이름으로 userId를 찾는 기능은 없습니다(사용자 테이블 스캔이 필요).다섯 단계. 파란 칸은 코드, 보라 칸은 모델, 초록 칸은 결과물입니다.
모델은 가운데 한 칸뿐입니다. 나머지는 전부 코드라 같은 입력이면 같은 결과가 나옵니다.
로그마다 생김새가 다릅니다. Grafana에서 받으면 한 번 더 포장돼 있기도 합니다. 포장을 벗기고 같은 모양으로 맞춥니다.
파일 확장자는 믿지 않습니다. 안을 열어 모양을 보고 판별하고, 애매하면 파일명(guest·monitor·아동·진행자…)을 봅니다.
Jev가 한 번에 읽는 양은 32k 토큰까지입니다. 게다가 상관없는 줄이 많을수록 틀립니다. 네 번 거릅니다.
③이 핵심입니다. Jev는 개수 세기와 시간 비교가 약해서 "25번"보다 "very many"를 더 정확히 읽습니다. 셈은 코드가 합니다.
--child 홍길동으로 준 실명은 모델에 보내기 전에 <name>으로 바뀌고, 문서 제목·파일명에는 --label 아동070 같은 표시 이름만 씁니다. 이메일·전화번호·토큰도 자동으로 가립니다.로그 문구마다 "이 문구가 보이면 이 유형일 가능성이 이만큼"을 적어 둔 표(rules.json)가 있습니다. 약 40개.
NotAllowedError · Permission deniedFailed to produce mic audio · 트랙 mutedConsumer suspected silentSend transport failed · 외부 연결 경고 합계 5+Guest force kickedGuest force kicked는 이름은 무섭지만 정상 종료 때도 나옵니다(206세션 중 139세션). 이름만 보면 모든 수업이 이슈가 되므로, lesson-log-triage가 실측한 p99 횟수를 넘어야 만점을 줍니다.결과는 4 × 11 격자의 한 칸입니다. 짙을수록 확률이 높습니다. 아래는 합성 예시 "아동 권한 거부 → 마이크 안 나감".
유형 11개: 오디오(수신) · 볼륨·출력 · 마이크 · 카메라 · 권한 · 브라우저 · 연결 · 영상 재생 · 자동전환 · STT·전사 · 입장
reported_by)"와 "어디가 원인인가"를 분리해서 모델에 넘깁니다.Jev는 글을 써 주는 모델이 아니라 정해진 보기 중 확률을 돌려주는 모델입니다. 한 요청에 질문을 여러 개 실으면 한꺼번에 평가합니다.
조각이 여러 개면 조각마다 요청을 동시에 보냅니다. 이것이 "병렬 분류"입니다. 과금은 입력 토큰만(100만 토큰당 $0.042), 답은 무료.
요청 예시 — 합성 테스트 로그(tests/fixtures/mic-permission)로 코드가 실제로 만든 본문을 줄인 것입니다. 실제 아동 로그가 아닙니다.
POST https://api.typesafe.ai/v1/systemone
Authorization: Bearer $TYPESAFE_API_KEY
Content-Type: application/json
{
"model": "jev-latest",
"state": {
"reported_symptom": "1회기 진행자 측에서 아동 소리 안 들림",
"reported_by": "host",
"log_sources": {
"guest": { "side": "child", "present": true, "warnings": "many", "errors": "once" },
"monitor": { "side": "host", "present": true, "warnings": "very many", "errors": "none" },
"livekit": { "side": "server", "present": true, "warnings": "none", "errors": "none" },
"socket": { "side": "server", "present": true, "warnings": "none", "errors": "none" }
},
"signals": [
{ "category": "permission", "side": "child", "log": "getUserMedia failed", "amount": "once", "reaches_threshold": true },
{ "category": "mic", "side": "child", "log": "Failed to produce mic audio", "amount": "once", "reaches_threshold": true }
],
"auto_transition_breaks": [],
"evidence": [
"23:13:22 guest(child) WARN [Media] getUserMedia failed | {\"name\": \"NotAllowedError\", \"message\": \"Permission denied\"}",
"23:13:23 guest(child) ERROR [Media] Failed to produce mic audio | {\"error\": \"NotAllowedError\"}",
"23:13:50 monitor(host) WARN [Consumer] Consumer suspected silent kind=audio peer=guest (x25, very many, until 23:17:50)"
],
"evidence_part": "1/1"
},
"questions": {
"primary_type": {
"type": "choice",
"instructions": "Given `reported_symptom` and the log `signals` and `evidence`, which problem type most likely caused the reported symptom?",
"criteria": {
"audio": "Incoming sound is not heard or is silent: ...",
"mic": "The sender's own voice does not go out: ...",
"permission": "Browser media permission was denied ...",
"unknown": "None of the other options fits, or the logs show no technical problem."
}
},
"matches_symptom": {
"type": "noul",
"instructions": "Do the log lines in `evidence` contain a problem that explains `reported_symptom`?",
"criteria": {
"true": "At least one log line directly explains the reported symptom.",
"false": "The log lines are unrelated to the reported symptom or show no problem."
}
},
"has_permission": {
"type": "noul",
"instructions": "Do the log lines in `evidence` or `signals` show this problem: Browser media permission was denied ...",
"criteria": { "true": "One or more log lines clearly show this problem.", "false": "No log line shows this problem." }
}
// … primary_side, has_audio … has_entry (11), side_child · side_host · side_server · side_network — 모두 18개
}
}
응답 예시 — 코드가 읽는 필드만. 숫자는 테스트용 가짜 응답과 같은 모양으로 적은 예시입니다.
{
"model": "jev-1.13.0",
"answers": {
"primary_type": { "probabilities": { "permission": 0.8, "mic": 0.02, "unknown": 0.02 }, "confidence": 0.97 },
"primary_side": { "probabilities": { "child": 0.85, "host": 0.05, "unknown": 0.05 }, "confidence": 0.95 },
"matches_symptom": { "noul": 0.97 },
"has_permission": { "noul": 0.96 }
},
"usage": { "input_tokens": 1500, "output_tokens": 20 }
}
state는 그림 3에서 줄인 결과이고, 횟수는 숫자 대신 none/once/few/many/very many로 갑니다. Choice 답은 probabilities(보기별 확률 분포), Noul 답은 noul(예일 확률) 하나입니다. state가 20,000토큰을 넘으면 evidence를 시간순으로 나눠 조각마다 같은 질문으로 동시에 보냅니다(evidence_part: "1/3").규칙은 확실하지만 문구가 있어야만 잡고, 모델은 문구가 달라도 뜻을 읽습니다. 둘을 섞습니다.
0.35 / 0.65 비율은 첫 값입니다. 원인이 확정된 과거 이슈 30~50건으로 맞춰 볼 예정입니다.
같은 결과를 두 가지로 남깁니다.
지금의 그림 속 숫자는 합성 로그와 가짜 응답으로 만든 예시입니다. 실제 정확도는 아직 모릅니다.