PPI-879 Redis(Valkey) 이관 회고

Production 배포 후 socket 서버가 REDIS_URL is not set로 부팅 실패. 컨테이너 재시작 루프.

.github/actions/deploy-socket/action.yml의 docker run 커맨드에 -e REDIS_URL이 없었음. dev 배포에서만 전달되고 prod는 누락.

inputs.redis_url을 required: true로 추가하고 docker run -e REDIS_URL=... 부착.

배포 직후 debug 페이지에서 SOCKETIO_ADAPTER=memory 표시. 코드 기본값은 redis인데 운영 토글이 memory.

환경변수 체인의 마지막 단계(terraform/branch-deploy/variables.tf)에 기본값 memory가 박혀 있어서 코드 기본값을 덮어쓰고 있었음.

variable "socketio_adapter" {
  default = "redis"   # memory → redis
}
variable "room_meta_source" {
  default = "redis"   # memory → redis
}

게스트 F5 → 호스트 화면에서 게스트 카드 사라짐. 재진입해도 복구 안 됨. 일부 케이스는 TOO_MANY_REDIRECTS로 세션 실패.

if owner == newInstanceId then
  redis.call('EXPIRE', roomInstanceKey, ttl)
  return {1, newInstanceId}  -- 원래는 pinned=0으로 잘못 반환되던 경로
end

owner가 자기 자신인데 pinned=0으로 응답 → 클라이언트가 redirect → 자기 자신으로 → 무한 루프.

같은 peerId가 이미 새 socket으로 점유된 상태에서 이전 socket이 disconnect 처리되며 owner-replaced 검사 없이 cleanup 실행. 호스트 라우터 cleanup과 PEER_LEFT 이벤트가 중복 발생.

const isOwnerReplaced =
  guestPeerId && peers[guestPeerId]?.socketId !== socket.id;
if (isOwnerReplaced) {
  logger.warn("Guest already replaced, skip cleanup");
  return;
}

호스트가 카드뷰 토글(끼어들기, 음소거 등) 클릭 → 화면에 즉시 반영 안 됨. 2~3초 후 갑자기 반영. 다중 인스턴스 환경에서 호스트가 비-owner 인스턴스로 라우팅되면 Redis 갱신 자체가 안 됨.

routerManager의 setter 순서를 await Redis → 메모리 갱신에서 메모리 갱신 → await Redis로 바꿨는데, 호출자 37곳이 await를 부착하지 않아 stale 메모리 시점에 broadcastRoomList()가 실행됨.

// 비-owner 인스턴스 (room이 메모리에 없음)
if (!room) return;  // ← Redis 쓰기 자체가 스킵됨!

async updateGuestState(roomId: string, updates: Partial<GuestState>) {
  // 1. 메모리 먼저 갱신
  const room = this.rooms.get(roomId);
  if (room) {
    room.guestState = { ...room.guestState, ...updates };
  } else {
    // 2. 비-owner 브랜치도 Redis write 강제
    const current = await redisGetRoomMeta(roomId);
    if (current) {
      const merged = applyGuestStateUpdates(current.guestState, updates);
      await redisUpdateRoomMeta(roomId, { guestState: merged });
    }
    return;
  }
  await redisUpdateRoomMeta(roomId, { guestState });
}

적용 대상. createRouter, closeRouter, increment/decrementPeerCount, setAutoTransitionEnabled, setRealtimeModelVersion, setIsTest, setGroupId, setExternalSttEnabled, setAutoResponseEnabled, setVadSettings, updateGuestState 등 14개 메서드.

호스트가 환경소음 알림을 ON → 다른 인스턴스에 연결된 모니터에는 반영 안 됨.

ambientNoiseEnabled 플래그를 메모리 변수로만 저장. Socket.IO broadcast는 같은 인스턴스의 클라이언트에게만 전파됨.

settings-store.ts 신설. ppi:socket:{stage}:settings:ambientNoiseEnabled 키에 Redis 저장. Socket.IO Redis adapter가 broadcast를 다른 인스턴스로 자동 전파.

같은 room이 두 인스턴스의 instance:{id}:rooms set에 중복 등록. Reaper가 둘 다 owner로 간주하여 비결정적 cleanup.

PIN_ROOM_LUA 실행 후 Lua 밖에서 추가 SADD 호출이 있었음. Lua eval 사이에 병렬 요청이 끼어들어 두 인스턴스가 동시에 SADD 호출 가능.

-- 모든 명령어를 Lua 내부에서 원자 실행
if redis.call('EXISTS', hbKey) == 0 then
  local oldRoomsKey = keyPrefix .. 'instance:' .. owner .. ':rooms'
  redis.call('SREM', oldRoomsKey, roomId)
  redis.call('SET', roomInstanceKey, newInstanceId, 'EX', ttl)
  redis.call('SADD', newRoomsKey, roomId)  -- ← Lua 안에서 처리
  return {1, newInstanceId}
end

추가 개선. peer-store.removePeerFromStore를 CAS Lua로 변경(GUEST_POINTER_CAS_DEL_LUA), reaper.reapInstance도 각 room을 CAS Lua로 원자 처리.

게스트 재접속 시 영상/음성이 2~3초 조기 종료. 일부 케이스는 TOO_MANY_REDIRECTS로 세션 시작 실패.

// 문제 있는 코드
room.peerCount--;
const shouldClose = room.peerCount <= 0;  // ← await 전에 캡처
await redisDecrementPeerCount(roomId);    // ← 이 동안 peer B 진입 가능!
if (shouldClose) closeRouter(roomId);     // ← 살아있는 peer의 router 닫음

catch (err) {
  return { pinned: true, ownerInstanceId: "" };  // ← 빈 instanceId!
}
// 클라이언트가 ?instance= 로 redirect → 무한 루프

// Redis 갱신 후 peerCount 재확인
await redisDecrementPeerCount(roomId);
const stillEmpty = this.rooms.get(roomId)?.peerCount ?? 0;
if (stillEmpty <= 0) {
  await closeRouter(roomId);
}

// tryPinRoom 폴백을 자기 자신으로
catch (err) {
  return { pinned: true, ownerInstanceId: instanceId };
  // 정합성 회복은 reaper/heartbeat에 위임 (graceful degradation)
}

같은 peerId가 다른 roomId로 이동해도 이전 room 인덱스에 잔존. 모니터링 인덱스에 stale 누적. Reaper가 실재하지 않는 peer를 cleanup 시도.

이전 코드가 새 인덱스에 SADD만 하고 이전 인덱스 SREM을 안 함. 또한 partial HSET으로 optional 필드(displayName, monitoringRoomId)가 stale 잔존.

// 1. 기존 peer 데이터 읽고 비교
const prev = await redis.hgetall(peerKey(info.peerId));
const pipeline = redis.multi();

// 2. 변경된 인덱스 SREM (socket, room, role, monitoring 4종)
if (prevSocketId !== info.socketId) {
  pipeline.srem(socketPeersKey(prevSocketId), info.peerId);
}
if (prevRoomId !== newRoomId || prevRole !== newRole) {
  pipeline.srem(roomPeersKey(prevRoomId), info.peerId);
  if (prevRole === "guest") {
    pipeline.eval(GUEST_POINTER_CAS_DEL_LUA, 1, ...);  // CAS
  }
}

// 3. DEL + HSET atomic (optional 필드 stale 방지)
pipeline.del(peerKey(info.peerId));
pipeline.hset(peerKey(info.peerId), serializePeer(info));

// 4. 새 인덱스 추가
pipeline.sadd(...);
await pipeline.exec();

레거시 핸들러가 roomId만 확인. 누구든 roomId만 알면 임의로 게스트에게 환경소음 알림 전송 가능.

if (targetRoom.host !== socket.id) {
  logger.warn("Invalid sender for ambient-noise-alert");
  return;
}

비-owner 인스턴스에서 setGroupId(), updateGuestState() 호출. Redis는 갱신되지만 owner 인스턴스 메모리는 stale 상태로 옛값을 broadcast.

// 비-owner 브랜치
async setGroupId(roomId: string, groupId: string) {
  await redisUpdateRoomField(roomId, 'groupId', groupId);
  publishRoomSync(roomId);  // { roomId, by: instanceId } 발행
}

// owner 브랜치
redis.subscribe(redisKey('router-sync'));
redis.on('message', async (channel, message) => {
  const { roomId, by } = JSON.parse(message);
  if (by === instanceId) return;        // echo 방지
  if (!routerManager.hasRoom(roomId)) return;  // owner만 처리
  await refreshFromRedis(roomId);       // 메모리 동기화
  broadcastFn();                         // 변경사항 전파
});

비-owner 인스턴스에서 setAutoTransitionEnabled() 호출 → Redis room hash가 아직 없는 초기 상태이면 partial HSET이 hash를 생성. 직후 owner의 createRouter()에서 setRoomMeta() 전체 덮어쓰기 → 사용자 설정 유실.

async setAutoTransitionEnabled(roomId: string, enabled: boolean) {
  const exists = await redis.exists(roomKey(roomId));
  if (!exists) {
    logger.warn("Room meta not initialized, skip partial update");
    return;  // ← owner가 full setRoomMeta 할 때까지 대기
  }
  await redisUpdateRoomField(roomId, 'autoTransitionEnabled', enabled);
}

적용. setAutoTransitionEnabled, setRealtimeModelVersion, setIsTest, setGroupId, setExternalSttEnabled, setAutoResponseEnabled, setVadSettings 7개 setter.