目次
Open ASR Leaderboardに、エジプト訛りとナイジェリア訛りの英語を対象とする非公開テストが加わり、計2.89時間の自然な会話が追加されました。標準的な評価では十分に扱われていないアクセントを持つユーザー向けに音声認識モデルを選ぶ際、より関連性の高い判断材料が得られます。
主なポイント#
- Liva AIの非公開データセット2件により、エジプト英語1.34時間とナイジェリア英語1.55時間が追加されました。
- どちらも自然な会話音声を収録し、書き起こしには句読点、大文字・小文字の区別、言いよどみなどが保持されています。
- Privateタブでは、米国と米国以外の結果を比較できるようになり、カチュルの「3つの同心円」モデルに沿ったアクセントの分類も表示されます。
- これらのテストで評価範囲は広がりますが、各チームは自社のユーザーや録音条件での性能を引き続き確認する必要があります。
新しいテストの対象#
2026年11月6日に発表された今回の更新では、Liva AIが提供する2つのデータセットが追加されました。
| データセット | アクセント | 時間 | 発話スタイル | |---|---|---:|---| | Liva AI Conversational EG | エジプト英語 | 1.34時間 | 自然な会話 | | Liva AI Conversational NG | ナイジェリア英語 | 1.55時間 | 自然な会話 |
これらは訛りのある英語のテストであり、アラビア語やナイジェリアの他の言語を評価するものではありません。結果を製品に適用できるか判断する際には、この区別が重要です。
正解の書き起こしには、句読点や大文字・小文字の区別に加え、言いよどみなども含まれます。他のベンチマークとスコアを比較する前に、その書き起こしと採点のルールを確認してください。書き起こし方や正規化の違いが比較に影響する場合があります。
アクセント別の非公開テストが重要な理由#
音声認識の総合スコアが高くても、あらゆるアクセントで同じように機能するとは限りません。エジプト英語やナイジェリア英語の話者が使うサービスでは、総合スコアだけよりも、それぞれの話者群の結果が有用です。
非公開の評価データは、公開ベンチマークの例に直接合わせて最適化する余地を減らすことにも役立ちます。今回の追加は、新たな未使用の評価データと別のデータ提供元を導入することで、代表性と信頼性の両方を高めることを目的としています。
そのため、これらの評価区分はモデル選定の有用な根拠になります。ただし、本番環境での精度を保証するものではありません。幅広い平均値では見えにくい性能差を明らかにする点に価値があります。
内訳の読み方#
リーダーボードのPrivateタブには、アクセントに関する2種類の比較が表示されます。1つ目は米国英語と米国以外の英語の比較で、後者には英国、オーストラリア、カナダ、インド、ナイジェリア、エジプトが含まれます。
2つ目は、カチュルの「3つの同心円」モデルに沿った比較です。
- 内円:米国、英国、オーストラリア、カナダ。
- 外円と拡大円の統合区分:インド、ナイジェリア、エジプト。
発表によると、今後アクセントが増えれば、外円と拡大円は分けて表示される予定です。現時点では、統合区分を大まかな概要として捉えてください。製品が特定の話者群を対象とする場合は、可能な限り個別のアクセントの結果を確認しましょう。グループ化されたスコアでは、含まれる話者群の違いが見えなくなることがあります。
選定前に確認すべきこと#
新しいデータセットは合計でも3時間未満です。評価範囲は広がりますが、この時間だけで、両市場のあらゆる話者群、話題、機器、音響環境における性能を判断することはできません。
提供された発表には、モデルのスコアや最良のモデルの名前は記載されておらず、話者の多様性を評価するための詳細も十分ではありません。特定のシステムがエジプト英語やナイジェリア英語に最適だという主張は、実際のリーダーボードの結果と評価資料で確認する必要があります。
新しい結果で候補を絞り込み、残った候補が製品の要件を満たすか検証してください。
- 総合順位だけに頼らず、エジプト英語とナイジェリア英語の評価結果を個別に確認する。
- ベンチマーク間で結果を比較する前に、採点と正規化のルールを読む。
- 想定ユーザーを代表する音声を、実際に遭遇する録音条件も含めてテストする。
- 認識品質と併せて、アプリケーションが許容できる遅延とコストを比較する。
次のステップ#
Open ASR LeaderboardのPrivateタブを開き、現在使っている音声認識モデルと代替候補1つを、エジプト英語とナイジェリア英語の評価区分で比較し、それぞれの結果を個別に記録してください。
出典: https://huggingface.co/blog/open-asr-leaderboard-liva
目次
