정지설 '이거알아' 솜사탕 활동
— 종료멘트 자동전환 실패 + 진행자 '대화종료' drop 분석 완료 · 수정 미적용
마지막 업데이트 2026-11-04
결론
① AI는 멈추지 않았다. 사진 3장(솜사탕·킥보드·공룡)을 한 세션에서 끝까지 진행했지만, 첫 스텝→둘째 스텝 전환 문구(
다음 거도 보여줄게!)를 발화하지 않아 화면이 스텝0 '솜사탕'에 고정됐다. 이후 마지막전환·종료멘트는 모두 스텝0의 auto-finish 문구로만 검사되어 미매칭 → 다음 활동으로 못 넘어갔고, AI는 종료 후 지시가 없어 작별 인사를 5분간 반복했다.② 진행자 수동 '대화종료'(20:17:05)는 Agent까지 도착했지만 drop됐다. 사유
agent_speaking_interruptions_disabled. Agent 상태는 listening이었는데 _agent_is_speaking()이 session.current_speech 미완료만으로 '말하는 중'이라고 판정했다.20:17:13 '대화시작'은 오입력이 아니다. 진행자 수동 전환 직후 다음 활동(빙글빙글2분토크) 세션이 시작되며 앱이 자동 전송한 시작 메시지(auto_start_message_sent)다. 진행자 입력은 Received message from host로 따로 남는데 이 시각에는 없다.
시간순 인과
20:05:28 '이거알아' 활동 시작, 스텝0 '솜사탕' 세션 연결 (auto-finish 문구 = [다음거,보여줄 / 다음것,보여줄]) 20:05:38 AI "이거 솜사탕이야! …" 20:07:31 아동 turn-6 → AI 응답 없음, 20:07:47 Realtime APIError(recoverable) 20:08:24 AI "이거 알아?" ← 중간전환 "다음 거도 보여줄게!" 누락 → 스텝0→1 전환 없음 20:10:02 AI "…이제 마지막이야!" ← 마지막전환은 발화. 그러나 현재 스텝=0이라 판정 대상 아님 20:11:14 AI 종료멘트 "우리 이번엔 다른 것도 해보자, 잠깐만!" └ 스텝0 문구로 checkPhrase → 미매칭 (20:11:45 / 20:13:16 / 20:14:43 반복 발화도 동일) 20:11~20:16 AI "응, 안녕! 다음에 또 만나!" 류 작별 인사 약 20회 (response-17~36) 20:16:50 / 20:16:55 진행자 수동 전환: 킥보드 → 공룡 (같은 세션, auto-finish config만 교체) 20:16:56 아동 turn-42 commit → STT 'unreadable' 폴백, 응답 미생성 20:16:59 진행자 듣기 OFF (host-toggle) 20:17:05 진행자 '대화종료' 입력 → LiveKit 전송 성공 └ Agent ppi.user_text_dropped reason=agent_speaking_interruptions_disabled 20:17:10 guest "No response from OpenAI within 5 seconds" 20:17:12 진행자 수동으로 다음 활동 전환 20:17:13 새 세션 → 앱 자동 '대화시작' (정상)
코드 경로
| 위치 | 역할 |
|---|---|
apps/web/entities/guest-session/ — Checking auto-finish phrase | AI 발화 완료 시 현재 스텝의 auto-finish 문구로만 매칭 |
STEP_TRANSITION same_activity_session_config_updated | 같은 활동 내 스텝 이동 시 세션 유지 + 문구만 교체(스텝1: 1개, 스텝2: 3개) |
apps/livekit-agent/agent.py:4986-5014 | 사용자 텍스트 수신 시 input_disabled / agent_speaking_interruptions_disabled이면 drop |
apps/livekit-agent/agent.py:4765 _agent_is_speaking | session.current_speech가 있고 done()이 아니면 참 — 실제 재생 여부와 무관 |
세부 ① 종료멘트 자동전환 실패 — 스텝 고정
- 사실응답이
response-1~36까지 연속, 세션 끊김 없음 → AI 정지 아님. - 사실20:05:28~20:16:50 동안
STEP_TRANSITION없음 → 화면 스텝0 고정. 모든Checking auto-finish phrase의phrases가["다음거,보여줄","다음것,보여줄"]. - 사실response-4(솜사탕) → response-5(
이거 알아?) 사이에 중간전환 발화 없음. - 추정중간전환을 담았을 응답이 turn-6 직후 APIError로 유실됐을 가능성. 오류 메시지 원문은 길이(37자)만 남아 확정 불가. 이 세션에서 동일 APIError 약 8회.
프롬프트 문제
- 단일 실패점 — 한 세션에서 3주제를 진행하며 화면 전환을 정확한 발화 문구에만 의존. 중간전환 1회 누락이 이후 모든 전환을 무효화.
- 지시 충돌 — 중간전환은 "다음 단계 첫 발화"인데 General Rules의 "주제 전환 시 '이거 알아?' 질문"이 경쟁해 바로
이거 알아?로 진입. 마지막전환처럼 이전 주제 마지막 턴 끝에 붙이는 형태가 더 안정적(실제로 "브레이크 연습하면 진짜 도움 돼! 이제 마지막이야!"로 나옴). - 종료 이후 행동 미정의 — 4단계 Exit와 5단계가 종료멘트를 중복 지시하고, 이후 입력 처리 규칙이 없음 → 작별 인사 반복("또 만나"는 '만나자' 금지 규칙에도 위배).
- 치환 안 된
{{설명요청}},{{종료}}자리표시 존재(실제 전달 여부 미확인).
세부 ② 진행자 '대화종료' drop
if _session_interruption_enabled(session) is False and _agent_is_speaking(session):
publish ppi.user_text_dropped(reason="agent_speaking_interruptions_disabled"); return
def _agent_is_speaking(session):
current_speech = session.current_speech
return current_speech is not None and not current_speech.done()
- 사실Agent 마지막
agent_state_changed는 20:16:52speaking → listening. drop 시점(20:17:05)까지 speaking 전환 없음. - 사실turn-42(20:16:56 commit)에 대한
agent_response_started없음. - 강한 추정turn-42(판독 불가)의 복구 응답이 대화 기록 갱신 실패 후 시작·완료되지 않고 남아
current_speech가 미완료 상태였음. 시간 순서와 다른 응답 부재로 좁힌 결론이며 handle을 직접 보여주는 로그는 없음(아래 '판독 불가 복구 응답' 절). - 사실guest는
ppi.user_text_dropped를 수신했지만 진행자에게 표시하지 않음 → 진행자는 "입력했는데 무반응"으로만 인지. - 이 세션의 진행자 텍스트 입력은 20:17:05 한 건뿐(20:11~20:16 반복 구간엔 입력 없음).
AI가 실제로 말하는 중이라 drop된 것인가? → 아니다
20:16:50.08 agent_response_started (response-36 "응, 안녕! 또 보자!") 20:16:52.14 agent_state_changed: speaking → listening ← 마지막 발화 종료 20:16:53~56 아동 turn-42 → commit 20:16:59 STT 'unreadable' 폴백, agent_response_started 없음 20:17:05.33 진행자 '대화종료' → user_text_dropped (agent_speaking_interruptions_disabled) └ 마지막 발화 종료 후 13초, 그 사이 speaking 전환 없음
실제 상태는
listening이었다. 진행자가 AI 발화 중에 입력해서 막힌 게 아니라, _agent_is_speaking()이 실제 재생 상태가 아닌 current_speech.done()만 보기 때문에 소리 없이 남은 미완료 speech handle(turn-42 응답 대기로 추정)을 '말하는 중'으로 오판해 drop했다.남아 있던 speech의 정체 — turn-42 판독 불가 복구 응답
turn-42는 아동이 실제로 말한 발화지만 STT 결과가 채택되지 않아 Agent가 (판독 불가)로 대체 기록한 턴이다(아동 발화 원문은 로그에 없음, 녹음으로만 확인 가능). 이 턴을 복구하려고 Agent가 만든 응답이 멈춘 채 남았고, 그 상태에서 진행자 텍스트가 도착했다.
20:16:56.58 turn-42 commit
20:16:59.08 WARNING "skipping Half Cascade turn without exact provider final"
→ user_stt_provider_final_failed (provider_final_not_admitted)
→ 판독 불가 복구 (_deliver_unreadable_recovery)
① 화면·세션로그에 "(판독 불가)" 기록
② session.interrupt(force=True)
③ session.generate_reply(내부 지시문) ← current_speech 생성
20:16:59.57 진행자 듣기 OFF (복구 응답은 이미 호출된 뒤라 영향 없음)
20:17:04.09 WARNING "failed to update the chat context before generating the reply" (호출 후 정확히 5초)
→ 응답 시작(agent_response_started)도 완료도 없음 → handle 미완료로 남음
20:17:05.33 진행자 '대화종료' → _agent_is_speaking() 참 → drop
20:17:12 진행자 수동 전환으로 세션 종료
- 판독 불가 복구 자체는 정상 동작이다. 보통 1~2초 안에 "잘 못 들었어" 류 응답을 말하고 끝나며, 그 뒤 텍스트는 정상 처리된다.
- 이번엔 복구 응답이 chat ctx 갱신 타임아웃 후에도 완료 처리되지 않은 것 + drop 판정이
current_speech만 보는 것이 겹쳤다. 판독 불가가 아니어도 일반 응답이 같은 식으로 멈추면 동일하게 drop된다. - 같은 경고
failed to update the chat context before generating the reply가 이 20분 로그(여러 세션 포함)에 63회. PR #821 문서의update_chat_ctx timed out패턴과 같은 계열.
판독 불가 → drop 코드 연결
agent_activity.py:3822 판독 불가 판정 (vendor SDK) → agent.py:4452 복구 예약 → agent.py:3610 generate_reply → agent_activity.py:5251 chat ctx 갱신 실패 후에도 응답 대기 (handle 미완료) → agent.py:4765 '말하는 중' 판정 → agent.py:5000 drop
| 위치 | 내용 |
|---|---|
apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py:3822-3826 | STT 결과 미채택 시 skipping Half Cascade turn without exact provider final 경고 후 턴 응답 건너뜀 |
agent.py:4440-4453 | user_stt_provider_final_failed 수신 → 복구 예약 |
agent.py:3711 _maybe_schedule_provider_final_fallback | 복구 대상 확인 후 task 생성 |
agent.py:3693 _run_provider_final_fallback | reason provider_final_not_admitted로 복구 실행 |
agent.py:3547 _deliver_unreadable_recovery | (판독 불가) 기록 → interrupt(force=True) → session.generate_reply(...)(3610) |
agent.py:161-165 | 기록 문구 (판독 불가), LLM 지시문 STT_NO_FINAL_LLM_INPUT_TEXT |
agent_activity.py:5245-5256 _realtime_reply_task | update_chat_ctx RealtimeError(타임아웃) 시 경고만 남기고 응답 생성 계속, handle 완료 처리 안 함 |
agent_activity.py:5257-5259 | 그 외 예외일 때만 speech_handle._mark_done(error=e) |
수정 지점 후보: drop 판정은 agent.py:4765·5000, 멈춘 복구 응답 정리(일정 시간 후 완료 처리·중단)는 agent.py:3610 이후. 같은 복구 경로가 이미 session.interrupt(force=True)를 쓰므로 A안은 이 SDK 기능으로 구현 가능.
관련 코드 위치
| 위치 | 내용 |
|---|---|
apps/livekit-agent/agent.py:144-145 | 상수 ppi.user_text_message / ppi.user_text_dropped |
agent.py:4918 _attach_ppi_text_transport | 텍스트 수신 핸들러 _handle_ppi_text_data 등록 |
agent.py:4986-4998 | drop ① input_disabled — input_gate.py:12가 항상 False 반환해 실제로는 안 걸림 |
agent.py:5000-5014 | 이번 drop — 끼어들기 OFF + _agent_is_speaking() 참이면 return |
agent.py:4765 _agent_is_speaking | current_speech가 있고 done() 아님 → 참. agent_state는 안 봄 |
agent.py:288, 1216, 1393 | allow_interruptions 기본 False → 세션 interruption.enabled |
agent.py:4928 | 음성 교정 RPC(ppi.audio_correction)도 같은 판정 사용 → 같은 영향 |
apps/web/lib/voice-agent/livekit-client-session.ts:4338-4360 | topic ppi-user-text로 전송, 전송 성공만 로그 |
apps/web/entities/guest-session/model/use-ai-session.ts:703-709 | 5초 무응답 시 경고 로그만 |
| (없음) | Web에 ppi.user_text_dropped 처리 코드 없음 → 진행자에게 실패 미표시 |
판정 로직 수정 필요 여부 → 필요 (검사 제거가 아니라 기준 변경)
- 유지할 목적: 끼어들기 OFF 세션에서 AI가 실제로 말하는 중에 텍스트 응답을 만들면 응답이 겹치거나 쌓인다.
- 문제: 판정이 실제 재생 상태와 다르고, drop 뒤 재시도·대기열·진행자 통보가 없다.
- 이력: 이 검사를 도입한 PR #821(d8933ee2, 2026-07-14) 문서에 dev에서 "Realtime timeout으로
current_speech가 길어질 때 반복대화시작이 같은 사유로 drop"된 기록이 있다. 당시엔 2차 증상으로 정리됐고, 이번엔 prod에서 진행자의 명시적 입력이 막혔다.
| 안 | 내용 | 위험 |
|---|---|---|
| A (추천) | agent_state == "speaking"일 때만 drop. current_speech가 남아 있지만 말하지 않는 상태면 남은 speech를 중단시키고 진행자 텍스트 처리 | 끼어들기 OFF에서 실제로 중단되는지 SDK 버전별 확인 필요 |
| B | drop 대신 대기열에 넣었다가 speech 종료 후 처리, 몇 초 안에 안 끝나면 A처럼 처리 | 구현량 많음 |
| 공통 | drop 로그에 current_speech id·경과 시간·agent_state 기록 + Web에서 drop 수신 시 진행자에게 "전송 실패" 표시 | 낮음 |
개선 제안 (미적용)
| 영역 | 제안 |
|---|---|
| 프롬프트 | 전환 멘트를 이전 주제 마지막 턴 끝에 붙이기 / 종료 후엔 "잠깐만 기다려줘!"만 짧게 답하도록 규칙 추가 |
| Web auto-finish | 현재 스텝 문구 외에 이후 스텝(특히 마지막 스텝)의 종료 문구도 매칭해 스텝 고정에서 복구 |
| Agent 텍스트 입력 | 진행자 텍스트는 실제 재생 상태(agent_state == speaking) 기준으로 판정하거나, 미완료 speech를 interrupt 후 처리 |
| 관측 | drop 시 current_speech id·생성 시각·allow_interruptions 기록 / 진행자 화면에 "전송 실패·재시도" 표시 |
미확인: APIError 원문, 스텝2('공룡') auto-finish 문구 3개 내용(로그에는 개수만), drop 시점 current_speech의 실체.
관련 문서
- 이윤준 8회기 종료멘트 선발화 자동전환 실패 — 스텝 미매칭 (현재 스텝 문구만 검사하는 같은 구조적 원인)
- 박승율 1회기 종료멘트 자동전환 실패 — LiveKit 완료이벤트 누락
- 김지효 3회기 진행자 텍스트 AI 무응답 57초