Hugging Face、オンデバイス音声合成Phononの半年を振り返り

発表の内容

Hugging Faceは、オンデバイス向けの小型音声合成モデル Phonon について、4月の発表以降の取り組みを振り返る記事を公開しました。Phononはサーバーやネットワークを必要とせず、利用者自身の端末上で音声を生成すると説明されています。

モデルは約65MBと約75MBの2サイズで、合わせて英語、フランス語、ドイツ語、スペイン語、ポルトガル語に対応します。スマートフォン、ノートPC、シングルボードコンピュータ、ブラウザのタブで動作するということです。

音声は100種類以上が組み込みで用意されており、Gradium Studioで独自の声を作成できます。音声クローンを利用する場合は、話者の同意が必要だとされています。

提供状況と料金

Phonon 31mはApache 2.0で提供され、商用製品を含めて無償で利用できますが、対応する言語は英語のみです。もう一方のPhonon 40mは5言語をカバーしますが、ライセンスはCC BY-NCで、非商用プロジェクトに限り無償となります。

CC BY-NCのモデルを商用利用する場合について、Hugging Faceは料金を利用者数に基づいて決めると説明しており、生成する音声の量は基準にしないとしています。具体的な金額や料金体系は示されていません。

利用状況と評価

Phononは4月に発表され、その後6か月はパートナーや初期利用者とともに開発が進められました。公開から2週間で20万回以上ダウンロードされ、Hugging Face上でトレンドが続いていると同社は述べています。

Hugging Face Open TTS Leaderboardの明瞭度では、ドイツ語とスペイン語で1位、評価したすべての言語で上位3位に入ったとしています。同リーダーボードは新しい取り組みだと説明されています。

Phononのために作られた推論フレームワーク ptts は、CPU、GPU、NPUにわたる10以上のバックエンドに対応します。PhononはTransformersのv5.21以降で、リファレンスのPyTorch実装として利用できます。学習は当初数値的に不安定で、いくつかの工夫が必要だったとも述べています。

クリエイターや事業者にとっての意味

端末内で完結するため、通信環境やサーバーを用意せずに音声を試せる点は、小規模な制作現場で検討する価値があるかもしれません。声のバリエーションを自前で用意できる点も、制作の幅を広げる選択肢になり得ます。

商用利用を検討する場合は、31mと40mで対応言語とライセンスが異なるため、用途に合わせて事前に確認しておくとよさそうです。組み込みの音声を商用利用できるかどうかについては、今回の情報では明確にされていません。