정지설 '이거알아' 솜사탕 활동
— 종료멘트 자동전환 실패 + 진행자 '대화종료' drop 분석 완료 · 수정 미적용

마지막 업데이트 2026-11-04

작성일: 2026-11-04사건: 2026-11-03 20:05~20:17 KST활동: 공통_공통_이거알아_1_0_태양 (activity-caaf644d…)voiceSession: 2d1b2c3d…런타임: LiveKit(HC, gpt-realtime)근거: 아동 LogRocket 내보내기 + livekit-agent prod 로그 20:00~20:20

결론

① AI는 멈추지 않았다. 사진 3장(솜사탕·킥보드·공룡)을 한 세션에서 끝까지 진행했지만, 첫 스텝→둘째 스텝 전환 문구(다음 거도 보여줄게!)를 발화하지 않아 화면이 스텝0 '솜사탕'에 고정됐다. 이후 마지막전환·종료멘트는 모두 스텝0의 auto-finish 문구로만 검사되어 미매칭 → 다음 활동으로 못 넘어갔고, AI는 종료 후 지시가 없어 작별 인사를 5분간 반복했다.
② 진행자 수동 '대화종료'(20:17:05)는 Agent까지 도착했지만 drop됐다. 사유 agent_speaking_interruptions_disabled. Agent 상태는 listening이었는데 _agent_is_speaking()이 session.current_speech 미완료만으로 '말하는 중'이라고 판정했다.

20:17:13 '대화시작'은 오입력이 아니다. 진행자 수동 전환 직후 다음 활동(빙글빙글2분토크) 세션이 시작되며 앱이 자동 전송한 시작 메시지(auto_start_message_sent)다. 진행자 입력은 Received message from host로 따로 남는데 이 시각에는 없다.

시간순 인과

20:05:28 '이거알아' 활동 시작, 스텝0 '솜사탕' 세션 연결 (auto-finish 문구 = [다음거,보여줄 / 다음것,보여줄])
20:05:38 AI "이거 솜사탕이야! …"
20:07:31 아동 turn-6 → AI 응답 없음, 20:07:47 Realtime APIError(recoverable)
20:08:24 AI "이거 알아?"            ← 중간전환 "다음 거도 보여줄게!" 누락 → 스텝0→1 전환 없음
20:10:02 AI "…이제 마지막이야!"     ← 마지막전환은 발화. 그러나 현재 스텝=0이라 판정 대상 아님
20:11:14 AI 종료멘트 "우리 이번엔 다른 것도 해보자, 잠깐만!"
          └ 스텝0 문구로 checkPhrase → 미매칭 (20:11:45 / 20:13:16 / 20:14:43 반복 발화도 동일)
20:11~20:16 AI "응, 안녕! 다음에 또 만나!" 류 작별 인사 약 20회 (response-17~36)
20:16:50 / 20:16:55 진행자 수동 전환: 킥보드 → 공룡 (같은 세션, auto-finish config만 교체)
20:16:56 아동 turn-42 commit → STT 'unreadable' 폴백, 응답 미생성
20:16:59 진행자 듣기 OFF (host-toggle)
20:17:05 진행자 '대화종료' 입력 → LiveKit 전송 성공
          └ Agent ppi.user_text_dropped reason=agent_speaking_interruptions_disabled
20:17:10 guest "No response from OpenAI within 5 seconds"
20:17:12 진행자 수동으로 다음 활동 전환
20:17:13 새 세션 → 앱 자동 '대화시작' (정상)

코드 경로

위치역할
apps/web/entities/guest-session/ — Checking auto-finish phraseAI 발화 완료 시 현재 스텝의 auto-finish 문구로만 매칭
STEP_TRANSITION same_activity_session_config_updated같은 활동 내 스텝 이동 시 세션 유지 + 문구만 교체(스텝1: 1개, 스텝2: 3개)
apps/livekit-agent/agent.py:4986-5014사용자 텍스트 수신 시 input_disabled / agent_speaking_interruptions_disabled이면 drop
apps/livekit-agent/agent.py:4765 _agent_is_speakingsession.current_speech가 있고 done()이 아니면 참 — 실제 재생 여부와 무관

세부 ① 종료멘트 자동전환 실패 — 스텝 고정

프롬프트 문제

  1. 단일 실패점 — 한 세션에서 3주제를 진행하며 화면 전환을 정확한 발화 문구에만 의존. 중간전환 1회 누락이 이후 모든 전환을 무효화.
  2. 지시 충돌 — 중간전환은 "다음 단계 첫 발화"인데 General Rules의 "주제 전환 시 '이거 알아?' 질문"이 경쟁해 바로 이거 알아?로 진입. 마지막전환처럼 이전 주제 마지막 턴 끝에 붙이는 형태가 더 안정적(실제로 "브레이크 연습하면 진짜 도움 돼! 이제 마지막이야!"로 나옴).
  3. 종료 이후 행동 미정의 — 4단계 Exit와 5단계가 종료멘트를 중복 지시하고, 이후 입력 처리 규칙이 없음 → 작별 인사 반복("또 만나"는 '만나자' 금지 규칙에도 위배).
  4. 치환 안 된 {{설명요청}}, {{종료}} 자리표시 존재(실제 전달 여부 미확인).

세부 ② 진행자 '대화종료' drop

if _session_interruption_enabled(session) is False and _agent_is_speaking(session):
    publish ppi.user_text_dropped(reason="agent_speaking_interruptions_disabled"); return

def _agent_is_speaking(session):
    current_speech = session.current_speech
    return current_speech is not None and not current_speech.done()

AI가 실제로 말하는 중이라 drop된 것인가? → 아니다

20:16:50.08 agent_response_started (response-36 "응, 안녕! 또 보자!")
20:16:52.14 agent_state_changed: speaking → listening   ← 마지막 발화 종료
20:16:53~56 아동 turn-42 → commit
20:16:59    STT 'unreadable' 폴백, agent_response_started 없음
20:17:05.33 진행자 '대화종료' → user_text_dropped (agent_speaking_interruptions_disabled)
            └ 마지막 발화 종료 후 13초, 그 사이 speaking 전환 없음
실제 상태는 listening이었다. 진행자가 AI 발화 중에 입력해서 막힌 게 아니라, _agent_is_speaking()이 실제 재생 상태가 아닌 current_speech.done()만 보기 때문에 소리 없이 남은 미완료 speech handle(turn-42 응답 대기로 추정)을 '말하는 중'으로 오판해 drop했다.

남아 있던 speech의 정체 — turn-42 판독 불가 복구 응답

turn-42는 아동이 실제로 말한 발화지만 STT 결과가 채택되지 않아 Agent가 (판독 불가)로 대체 기록한 턴이다(아동 발화 원문은 로그에 없음, 녹음으로만 확인 가능). 이 턴을 복구하려고 Agent가 만든 응답이 멈춘 채 남았고, 그 상태에서 진행자 텍스트가 도착했다.

20:16:56.58 turn-42 commit
20:16:59.08 WARNING "skipping Half Cascade turn without exact provider final"
            → user_stt_provider_final_failed (provider_final_not_admitted)
            → 판독 불가 복구 (_deliver_unreadable_recovery)
               ① 화면·세션로그에 "(판독 불가)" 기록
               ② session.interrupt(force=True)
               ③ session.generate_reply(내부 지시문)  ← current_speech 생성
20:16:59.57 진행자 듣기 OFF (복구 응답은 이미 호출된 뒤라 영향 없음)
20:17:04.09 WARNING "failed to update the chat context before generating the reply" (호출 후 정확히 5초)
            → 응답 시작(agent_response_started)도 완료도 없음 → handle 미완료로 남음
20:17:05.33 진행자 '대화종료' → _agent_is_speaking() 참 → drop
20:17:12    진행자 수동 전환으로 세션 종료

판독 불가 → drop 코드 연결

agent_activity.py:3822  판독 불가 판정 (vendor SDK)
  → agent.py:4452        복구 예약
  → agent.py:3610        generate_reply
  → agent_activity.py:5251  chat ctx 갱신 실패 후에도 응답 대기 (handle 미완료)
  → agent.py:4765        '말하는 중' 판정
  → agent.py:5000        drop
위치내용
apps/livekit-agent/vendor/livekit-agents/livekit/agents/voice/agent_activity.py:3822-3826STT 결과 미채택 시 skipping Half Cascade turn without exact provider final 경고 후 턴 응답 건너뜀
agent.py:4440-4453user_stt_provider_final_failed 수신 → 복구 예약
agent.py:3711 _maybe_schedule_provider_final_fallback복구 대상 확인 후 task 생성
agent.py:3693 _run_provider_final_fallbackreason provider_final_not_admitted로 복구 실행
agent.py:3547 _deliver_unreadable_recovery(판독 불가) 기록 → interrupt(force=True) → session.generate_reply(...)(3610)
agent.py:161-165기록 문구 (판독 불가), LLM 지시문 STT_NO_FINAL_LLM_INPUT_TEXT
agent_activity.py:5245-5256 _realtime_reply_taskupdate_chat_ctx RealtimeError(타임아웃) 시 경고만 남기고 응답 생성 계속, handle 완료 처리 안 함
agent_activity.py:5257-5259그 외 예외일 때만 speech_handle._mark_done(error=e)

수정 지점 후보: drop 판정은 agent.py:4765·5000, 멈춘 복구 응답 정리(일정 시간 후 완료 처리·중단)는 agent.py:3610 이후. 같은 복구 경로가 이미 session.interrupt(force=True)를 쓰므로 A안은 이 SDK 기능으로 구현 가능.

관련 코드 위치

위치내용
apps/livekit-agent/agent.py:144-145상수 ppi.user_text_message / ppi.user_text_dropped
agent.py:4918 _attach_ppi_text_transport텍스트 수신 핸들러 _handle_ppi_text_data 등록
agent.py:4986-4998drop ① input_disabled — input_gate.py:12가 항상 False 반환해 실제로는 안 걸림
agent.py:5000-5014이번 drop — 끼어들기 OFF + _agent_is_speaking() 참이면 return
agent.py:4765 _agent_is_speakingcurrent_speech가 있고 done() 아님 → 참. agent_state는 안 봄
agent.py:288, 1216, 1393allow_interruptions 기본 False → 세션 interruption.enabled
agent.py:4928음성 교정 RPC(ppi.audio_correction)도 같은 판정 사용 → 같은 영향
apps/web/lib/voice-agent/livekit-client-session.ts:4338-4360topic ppi-user-text로 전송, 전송 성공만 로그
apps/web/entities/guest-session/model/use-ai-session.ts:703-7095초 무응답 시 경고 로그만
(없음)Web에 ppi.user_text_dropped 처리 코드 없음 → 진행자에게 실패 미표시

판정 로직 수정 필요 여부 → 필요 (검사 제거가 아니라 기준 변경)

안내용위험
A (추천)agent_state == "speaking"일 때만 drop. current_speech가 남아 있지만 말하지 않는 상태면 남은 speech를 중단시키고 진행자 텍스트 처리끼어들기 OFF에서 실제로 중단되는지 SDK 버전별 확인 필요
Bdrop 대신 대기열에 넣었다가 speech 종료 후 처리, 몇 초 안에 안 끝나면 A처럼 처리구현량 많음
공통drop 로그에 current_speech id·경과 시간·agent_state 기록 + Web에서 drop 수신 시 진행자에게 "전송 실패" 표시낮음

개선 제안 (미적용)

영역제안
프롬프트전환 멘트를 이전 주제 마지막 턴 끝에 붙이기 / 종료 후엔 "잠깐만 기다려줘!"만 짧게 답하도록 규칙 추가
Web auto-finish현재 스텝 문구 외에 이후 스텝(특히 마지막 스텝)의 종료 문구도 매칭해 스텝 고정에서 복구
Agent 텍스트 입력진행자 텍스트는 실제 재생 상태(agent_state == speaking) 기준으로 판정하거나, 미완료 speech를 interrupt 후 처리
관측drop 시 current_speech id·생성 시각·allow_interruptions 기록 / 진행자 화면에 "전송 실패·재시도" 표시

미확인: APIError 원문, 스텝2('공룡') auto-finish 문구 3개 내용(로그에는 개수만), drop 시점 current_speech의 실체.

관련 문서