Pixie 소개: 라이브 방송을 위한 AI 공동 진행자

Nick은 한 번도 해 본 적 없는 옛날 게임을 자주 방송합니다. 게임에서 막히는 것도 경험의 일부지만, 답을 찾아보느라 방송이 멈춰 버릴 수 있습니다. 그는 게임을 처음 발견해 나가는 즉흥성은 지키면서, 그 순간을 시청자에게 더 흥미롭게 만들고 싶었습니다.

Pixie를 만들 때 Nick은 어린 시절 함께 자란 친근한 가상의 AI와 로봇 캐릭터에서 영감을 얻었습니다. 《조니 5 파괴작전》의 조니 5, 《스타워즈》의 C-3PO, 《로스트 인 스페이스》의 로봇이 그런 캐릭터입니다.

가장 초기의 아이디어는 단순했습니다. Nick이 ChatGPT로 질문을 하고, 그 답변을 음성으로 재생하는 방식이었습니다. 시간이 지나면서 그는 이 상호작용을 중심으로 더 완성도 있는 시스템을 만들고, 어시스턴트에게 캐릭터로서의 정체성을 부여했습니다. Pixie는 점차 게임 질문에 답하는 역할을 넘어섰습니다. 공동 진행자로서 Nick에게 반응하고, Twitch 시청자와의 대화에도 참여하기 시작했습니다.

Pixie의 애니메이션은 Nick이 직접 한 장씩 그립니다. 게임 어시스턴트에서 방송의 공동 진행자로 성장하는 동안 그녀의 모습도 계속 달라졌습니다.

이 변화는 음성의 역할도 바꿔 놓았습니다. 시스템이 답변을 정확하게 읽어 주는 것만으로는 더 이상 충분하지 않았습니다. Pixie는 라이브 쇼에 어울리는 캐릭터처럼 들려야 했습니다.

실시간 상호작용에서는 응답에 쓸 수 있는 시간이 엄격하게 제한됩니다. 아무리 훌륭한 목소리라도 대화가 이미 다음으로 넘어간 뒤에 도착한다면 더 이상 쓸모가 없습니다.

Nick은 Pixie를 개발하면서 클라우드 기반과 로컬 기반의 텍스트 음성 변환 시스템을 두루 시험해 봤습니다. 어떤 시스템은 응답은 빨랐지만 모든 대사를 비슷하고 예측 가능한 방식으로 읽었습니다. 또 어떤 시스템은 감정의 폭은 넓었지만 어색한 공백이 생길 만큼 지연이 컸습니다. 그는 속도와 음질, 표현력 사이에서 무엇을 택할지 고민해야 하는 상황에 자주 놓였습니다.

Pixie에 쓸 음성 솔루션을 찾던 중 Nick은 BreezeBlue를 알게 되었습니다.

Nick에게는 두 가지 능력이 함께 필요했습니다. Pixie는 실시간 대화의 리듬을 지킬 수 있을 만큼 빠르게 말을 시작해야 했고, 동시에 자연어 지시문을 따라 다채롭고 생생한 연기를 들려줘야 했습니다.

Pixie의 목소리는 중립적인 내레이터나 고객 상담 어시스턴트처럼 들리도록 설계되지 않았습니다. 어느 순간에는 장난스러워야 하고, 다음 순간에는 극적이어야 하며, 때로는 하나의 답변 안에서 전달 방식을 바꿔야 합니다.

Nick은 각 대사를 어떻게 연기할지 자연어 지시문으로 안내합니다. 지시문에는 감정이나 속도, 억양을 비롯해 전달 방식의 여러 측면을 담을 수 있습니다. 정해진 감정 레이블 목록에서 고르는 대신 일상적인 말로 쓰기 때문에, 대화의 맥락에 따라 매번 달라질 수 있습니다.

Nick의 시스템은 이 지시문을 동적으로 생성할 수 있습니다. 언어 모델이 대화에서 벌어지는 상황을 파악해, Pixie가 다음 답변을 어떻게 말해야 할지 자연어 지시문으로 만들어 냅니다. 그러면 BreezeBlue가 텍스트와 그 지시문을 음성으로 바꿉니다.

Nick은 프리셋 음성을 고르거나 슬라이더를 조절할 필요도, 새 캐릭터 음성을 직접 만들 필요도 없었습니다. Pixie의 답변을 생성한 언어 모델이 그 답변을 어떻게 연기할지에 대한 자연어 지시문까지 함께 만들어 내고, BreezeBlue가 이를 그때그때 해석합니다. 덕분에 Pixie는 실시간 대화 중에도 목소리를 즉흥적으로 지어낼 수 있습니다.

하나의 오디오 안에서도 Pixie는 그 순간에 필요한 대로 속삭이고, 웃고, 감정을 바꾸고, 말하는 속도를 조절할 수 있습니다.

시청자가 Pixie에게 무엇을 요청할지, 그 요청에 맞춰 언어 모델이 음성 연기를 어떻게 묘사할지는 Nick도 미리 알 수 없습니다. 그의 경험상 BreezeBlue는 정해진 형식을 요구하지 않으면서도 이처럼 제각각인 자연어 지시문을 잘 처리합니다. 그 유연함 덕분에 Pixie는 Nick이 현실적으로 미리 예상하거나 프로그래밍해 둘 수 없는 요청과 상황에도 반응할 수 있습니다.

Nick은 Pixie가 말을 시작하기까지 걸리는 시간을 줄이도록 애플리케이션도 설계했습니다. 전체 답변을 하나의 긴 텍스트 음성 변환 요청으로 보내는 대신, 시스템은 답변을 세 부분으로 나눕니다:

나머지 답변을 준비하는 동안 앞부분을 먼저 재생할 수 있습니다. 덕분에 Pixie가 긴 답변을 들려줄 때도 대화가 한층 즉각적으로 느껴집니다.

Nick은 자신의 환경에서 Breeze TTS 2가 보통 약 300밀리초 만에 오디오를 반환하기 시작한다고 말합니다. 지금까지 써 본 음성 시스템 중 가장 빠르다는 것이 그의 평가입니다.

이 애플리케이션에는 라이브 환경을 위한 안전장치도 들어 있습니다. 응답이 너무 늦게 도착했는데 대화가 이미 달라졌다면, 시스템은 철 지난 답변으로 지금 이 순간을 방해하는 대신 그 응답을 건너뛸 수 있습니다.

바로 이 점이 실시간 음성과 오디오 파일 제작의 차이입니다. 성공의 기준은 오디오가 결국 생성되었는지에만 있지 않습니다. 그 목소리가 도착했을 때 해당 응답이 여전히 대화에 어울리는지가 중요합니다.

이제 Pixie는 Nick뿐 아니라 그의 Twitch 방송을 보는 사람들과도 소통합니다. 시청자는 그녀의 말을 듣기만 하지 않습니다. 직접 대화에 참여할 수 있고, 그래서 AI 공동 진행자는 배경에서 흘러나오는 목소리가 아니라 쇼의 또 다른 참여자가 됩니다.

시청자들은 Pixie에게 다양한 목소리와 억양, 스타일로 말해 달라고 요청하며 그녀가 어디까지 할 수 있는지 시험해 보기를 늘 즐겼습니다. BreezeBlue는 이전 시스템이 설득력 있게 해내지 못한 능력을 하나 더해 주었습니다. 바로 노래입니다. Pixie가 목소리를 쓰는 방식을 바꿔 실제로 노래까지 부를 수 있다는 사실을 알게 된 뒤로, 노래는 금세 단골 요청이 되었습니다.

Nick에게 이런 시청자 참여는 시스템이 계속 유연해야 한다는 뜻이기도 합니다. 계획된 내레이션은 미리 생성해 둘 수 있지만, 시청자의 메시지는 그럴 수 없습니다. Pixie의 답변은 그 자리에서 만들어지고, 빠르게 전달되며, 캐릭터에 어울리는 방식으로 연기되어야 합니다.

이런 조합 덕분에 음성 생성은 라이브 방송 포맷 자체의 일부가 되었습니다. Pixie는 Nick이 미리 써 둔 내용을 읽기만 하지 않습니다. 스트리머와 시청자, 캐릭터가 서로 주고받지 않으면 생기지 않았을 순간을 함께 만들어 냅니다.

Pixie는 이미 목소리를 가진 게임 어시스턴트라는 처음의 구상을 훌쩍 넘어섰습니다. 다음으로 Nick은 그녀의 음성과 화면 위 텍스트, 애니메이션을 지금보다 더 정확하게 맞춰, 실시간 상호작용에서 캐릭터의 존재감을 한층 더 살리려고 합니다.

BreezeBlue 덕분에 Nick은 Pixie가 실시간 대화 속에 살아 있다고 느껴지게 만드는 데 필요한 속도와 표현 제어력을 갖췄습니다. 빠른 음성 생성은 대화를 계속 이어 가게 하고, 정교한 연출은 모든 답변에 담긴 개성을 지켜 줍니다. BreezeBlue는 Nick이 Pixie를 쇼에 진짜로 참여하는 캐릭터로 계속 키워 갈 수 있도록 음성의 토대를 제공합니다.