Pixie 誕生：ライブ配信のために作られた AI 共同ホスト

Nick は、自分が一度も遊んだことのない古いゲームを配信することがよくあります。行き詰まるのも体験の一部ですが、答えを調べていると配信が止まってしまいます。彼は、ゲームを初めて発見していく即興感を保ちながら、その瞬間を視聴者にとってもっと楽しいものにしたいと考えていました。

Pixie を作るにあたって Nick が着想を得たのは、子どもの頃に親しんだ、人なつこい架空の AI やロボットのキャラクターたちでした。『ショート・サーキット』のジョニー5、『スター・ウォーズ』の C-3PO、そして『宇宙家族ロビンソン』のフライデーなどです。

最初の構想はとてもシンプルでした。Nick が ChatGPT で質問し、その回答を音声で再生する。やがて彼は、このやり取りの周りにもっと完成された仕組みを組み上げ、アシスタントにキャラクターとしての人格を与えました。Pixie は次第に、ゲームの質問に答えるだけの存在ではなくなっていきます。彼女は共同ホストとして Nick に応え、Twitch の視聴者との会話にも加わるようになりました。

Pixie のアニメーションは Nick 自身が手描きで制作しています。ゲームのアシスタントから配信の共同ホストへと成長するなかで、その見た目も変わってきました。

この変化は、声の役割も変えました。回答を正確に読み上げるだけでは、もう十分ではありません。Pixie の声は、ライブ番組にいて当然のキャラクターのように聞こえる必要がありました。

リアルタイムのやり取りでは、応答にかけられる時間に厳しい上限があります。どれほど素晴らしい声でも、会話が次に進んでしまってから届いたのでは、もう役に立ちません。

Pixie を開発する過程で、Nick はクラウド型とローカル型の音声合成システムを幅広く試しました。応答は速いものの、どのセリフも似たような予想どおりの読み方になるものもあれば、感情の幅は広くても、気まずい間ができるほどの遅延が生じるものもありました。彼は何度も、速さ、音質、表現力のどれを取るかという選択を迫られました。

Pixie のための音声ソリューションを探すなかで、Nick は BreezeBlue に出会いました。

Nick にとって、二つの能力は同時に成り立つ必要がありました。Pixie はライブ会話のリズムを保てるだけの速さで話し始めなければならず、同時に、自然な言葉による指示に従って、変化に富んだ生き生きとした演技を見せる必要があったのです。

Pixie の声は、中立的なナレーターやカスタマーサポートのアシスタントのように聞こえることを目指して設計されてはいません。ある瞬間には茶目っ気たっぷりに、次の瞬間には劇的に、ときには一つの回答の途中で話し方を切り替える必要もあります。

Nick は、それぞれのセリフをどう演じるかを、自然な言葉による指示で伝えています。指示には、感情、テンポ、アクセント、そのほか表現のさまざまな側面を書き込めます。固定された感情ラベルの一覧から選ぶのではなく、普段の言葉で書くため、会話ごとの文脈に合わせて変えられます。

Nick のシステムは、こうした指示を動的に生成できます。言語モデルが会話の状況を踏まえて、Pixie が次の回答をどう話すべきかを自然な言葉の指示として出力します。BreezeBlue は、そのテキストと指示を音声に変換します。

Nick は、プリセットの音声を選んだり、スライダーを調整したり、新しいキャラクターボイスを手作業で作ったりする必要はありませんでした。Pixie の回答を生成した言語モデルが、その回答をどう演じるかを自然な言葉の指示としても出力し、BreezeBlue がそれを動的に解釈します。そのおかげで Pixie は、ライブ会話の最中に声を即興で作り出せます。

同じ一つの音声のなかで、Pixie はその場の求めに応じて、ささやいたり、笑ったり、感情を変えたり、話すテンポを調整したりできます。

視聴者が Pixie に何を頼むのか、そしてそのリクエストに必要な声の演技を言語モデルがどう記述するのかを、Nick が事前に予測することはできません。彼の経験では、BreezeBlue はこうしたさまざまな自然な言葉の指示を、決まった書式に従わせることなくうまく扱ってくれます。その柔軟さのおかげで Pixie は、現実的には事前に想定してプログラムしておけないようなリクエストや状況にも応えられます。

Nick は、Pixie が話し始めるまでの時間を短くするために、アプリケーションの設計にも工夫を凝らしました。回答全体を一つの長い音声合成リクエストとして送るのではなく、システムはそれを三つの部分に分割します。

残りの回答をまだ準備している間に、前の部分から再生を始められます。これにより、Pixie が長めの答えを返すときでも、やり取りはより即座に感じられます。

Nick の見立てでは、彼の構成において Breeze TTS 2 は通常、約 300 ミリ秒で音声を返し始めます。これまで使ったなかで最も速い音声システムだと彼は語ります。

このアプリケーションには、ライブ環境のための安全策も組み込まれています。応答が遅れて届き、会話がすでに変わってしまっている場合、システムはそれを読み上げずに飛ばし、古い答えで今この瞬間を邪魔しないようにできます。

ここが、リアルタイム音声と音声ファイルの制作との違いです。成功を決めるのは、音声が最終的に生成されたかどうかだけではありません。その回答がまだ会話にふさわしいうちに、声が届くかどうかなのです。

いまや Pixie は、Nick とも、Twitch 配信を見ている人たちともやり取りします。視聴者はただ彼女の話を聞くだけではありません。自分もそのやり取りに加われるため、AI 共同ホストは背景で流れている声ではなく、番組のもう一人の参加者になります。

視聴者は以前から、いろいろな声、アクセント、スタイルで話すよう Pixie に頼んで、その限界を試すのを楽しんできました。BreezeBlue は、それまでのどのシステムも説得力をもって実現できなかった能力を一つもたらしました。歌うことです。声の使い方を変えて本当に歌えると視聴者が気づいてからは、歌はすぐに定番のリクエストになりました。

Nick にとって、こうした視聴者の参加は、システムが柔軟であり続けなければならないことも意味します。あらかじめ決まったナレーションは事前に生成できますが、視聴者のメッセージはそうはいきません。Pixie の回答は、その場で作られ、すばやく届けられ、しかも彼女のキャラクターに沿った演技で話される必要があります。

この組み合わせによって、音声生成はライブという形式そのものの一部になりました。Pixie は、Nick がすでに書いた内容をただ読み上げているのではありません。配信者と視聴者、そしてキャラクターのやり取りがなければ生まれなかった瞬間を、彼女は一緒に作り出しているのです。

Pixie は、声を持つゲームアシスタントという当初の構想をすでにはるかに超えています。次に Nick が目指しているのは、彼女の音声、画面上のテキスト、アニメーションをさらに精密に同期させ、ライブのやり取りのなかでキャラクターの存在感をいっそう高めることです。

BreezeBlue によって Nick は、ライブ会話のなかで Pixie に存在感を与えるために必要な速さと表現の制御を手に入れました。速い音声生成が一つひとつのやり取りを滞らせず、的確なディレクションがすべての回答に宿る個性を守ります。BreezeBlue は、Pixie を本当に番組に参加できるキャラクターへと育て続けるための、声の基盤を Nick に提供しています。