目次
BytePlus LASでは、DaftのオペレーターからVolcano Engineの音声合成APIを呼び出し、テキストを音声データに変換できます。利用には企業認証が必要なので、まず認証状況とAPIの接続情報を確認しましょう。
要点#
- 対象機能は「Text-to-Speech (Doubao Speech Large Model)」です。
- 入力はテキスト列、出力は音声データの列で、失敗時や空文字の入力は
Noneになります。 appid、token、uid、clusterが必要で、appidとtokenは環境変数から渡せます。- 音声形式、声の種類、速度、サンプリングレート、感情などを指定できます。
- この機能は企業認証を完了したユーザー向けです。
何ができるか#
このオペレーターは、Daftのデータ処理に音声合成を組み込みます。テキストをまとめて処理でき、複数入力の並列処理にも対応しています。音声結果はBase64形式の音声と元のレスポンスを扱えます。
用途としては、音声案内やカスタマーサポート用の音声、短い動画のナレーション、読み上げコンテンツの制作などが挙げられています。どの用途でも、実際に必要な声や形式がAPIの設定で選べるかを先に確認してください。
使う前に確認すること#
最初にVolcano Engineの企業認証を済ませます。認証が未完了なら、この機能のテストや正式利用には進めません。
次に、appid、token、uid、clusterを用意します。資料のコード例ではappidとtokenを環境変数OPENSPEECH_APPID、OPENSPEECH_TOKENから読み込んでいます。トークンをソースコードへ直接書かず、実行環境で設定する形です。
Daftから呼び出す#
資料の例では、AudioTtsDoubaoをlas_udfに渡し、テキスト列に適用しています。最小構成のイメージは次の通りです。
appid = os.getenv("OPENSPEECH_APPID")
token = os.getenv("OPENSPEECH_TOKEN")
df = daft.from_pydict({
"text_input": ["今天天气真好,适合出去走走。"]
})
df = df.with_column(
"tts_audio",
las_udf(
AudioTtsDoubao,
construct_args={
"appid": appid,
"token": token,
"uid": "test",
"concurrency": 1,
"timeout": 60,
},
num_cpus=1,
batch_size=1,
concurrency=1,
)(col("text_input")),
)実際に動かすには、daftとLASの関連モジュールを利用できる環境が必要です。Rayで実行する場合は、例のようにRayを初期化してからdaft.set_runner_ray()を呼び出します。サンプルでは、処理単位の並列数やバッチサイズはいずれも1です。
音声パラメーターを選ぶ#
既定値は、声がzh_female_wanqudashu_moon_bigtts、形式がmp3、速度が1.0、サンプリングレートが24000、ビットレートが160です。感情表現は既定で無効ですが、有効にするときの感情の既定値はhappy、強度は4です。
最初は既定値で短いテキストを処理し、声と出力形式を確認するのが簡単です。速度や感情を変える場合は、対象コンテンツに合うかを出力音声で確かめてから本番設定に反映しましょう。追加の音声パラメーターとリクエストパラメーターは、それぞれextra_audio_params、extra_request_paramsで指定できます。
制限と失敗時の扱い#
タイムアウトの既定値は60秒、コルーチン数は1です。入力が空文字の場合や合成に失敗した場合、対応する出力はNoneになります。そのため、後続処理では音声が欠けた行を検出できるようにしておきます。
資料には具体的な料金、利用上限、対応言語の一覧は示されていません。運用前に、企業アカウントでの提供条件と、使いたい言語・声が現在利用できるかをBytePlusの管理画面や担当窓口で確認してください。
次の一歩#
企業認証と4つの接続情報を確認し、環境変数を設定したうえで、短いテキスト1件を既定のMP3設定で合成して出力を確かめてください。
出典: https://docs.byteplus.com/en/docs/Byteplus_LAS/Text-to-Speech-doubao
目次
