目次
問い合わせ先の部署や緊急度スコアなど、アプリケーションが定義済みの答えを必要とする場合は、決定モデルを使います。Hugging Faceの決定インターフェースは、テキスト応答を生成せずに型付きの結果と確率を返し、事前に定義した選択肢を一貫した方法で評価できます。
要点#
- 入力の状態と許容する回答を定義し、返された確率に基づいてアプリケーションの動作を制御します。
- 選択肢には
choice、順序のある段階にはscore、はい/いいえの確率にはnoulを使います。 - 対応するTransformersおよびllama.cppの実装は、
/v1/systemoneエンドポイントを提供します。 - 判断を自動化する前に、自分のデータで精度、確率の較正、レイテンシを検証します。
決定モデルを使う場面#
決定モデルは、アプリケーションが回答候補をあらかじめ把握しているタスクに適しています。サポートチケットの振り分け、レビューの優先度付け、メッセージが返金を求めているかの判定、利用可能なツールの選択などが例です。
インターフェースはシンプルです。状態 + 質問 + 許容する回答 → 判断 + 確率。1回のリクエストに、同じ入力についての名前付きの質問を複数含められます。アプリケーションは、そのまま使える構造化された値を受け取ります。
これは分類と重なる部分があります。固定ラベルの分類器はすでに確率を返し、ゼロショット分類器はすでに推論時のラベル指定に対応しています。実用上の違いは、複数の質問形式で共通のインターフェースを使える点です。説明、返信の下書きなど、自由形式の出力が必要なタスクには、引き続きテキスト生成を使います。
回答の型を定義する#
判断に合った基本型を選びます。カテゴリの説明を明確にし、順序のある段階は、レビュー担当者が一貫して適用できるよう十分に区別します。
| 基本型 | 定義する内容 | 返される内容 | |---|---|---| | choice | 名前と説明を持つ選択肢 | 選ばれた選択肢と各選択肢の確率 | | score | 順序付きの基準リスト | 段階のインデックスの期待値とその確率分布 | | noul | はい/いいえで答える質問 | 答えが「はい」であるとモデルが推定する確率 |
緊急度の段階を0、1、2とし、確率が0.02、0.26、0.72の場合、スコアは1.70になります:0 × 0.02 + 1 × 0.26 + 2 × 0.72。これは選ばれたカテゴリではなく、分布に基づく平均です。noulの値が0.92なら、「はい」の確率は92%です。それが行動に移すのに十分かどうかは、アプリケーション側で判断します。
最初のリクエストを実行する#
対応するバージョンのTransformersを備えた環境で、決定パイプラインを読み込み、質問を1つ定義します。この例は、Hugging Faceの2026年11月10日の発表で説明されたインターフェースに沿っています。実行前に、パッケージの対応状況とモデルのハードウェア要件を確認してください。
from transformers import pipeline
decide = pipeline(
"decision",
model="autotrust/GEV-26B-Decide",
)
result = decide({
"state": "二重に請求されたので返金してほしいです。",
"questions": {
"department": {
"type": "choice",
"instructions": "どのチームが対応すべきですか?",
"criteria": {
"billing": "支払いと返金",
"technical": "バグと技術的な問題",
"sales": "料金とサブスクリプション",
},
},
},
})
print(result)結果をワークフローに組み込む前に、選ばれた部署と分布全体を確認します。代表的な例で振り分け基準が機能することを確認してから、緊急度や返金に関する質問を追加します。推論時にカテゴリを追加できるためインターフェースは柔軟ですが、それだけでモデルがそのカテゴリを確実に認識できるとは限りません。
共通APIで提供する#
HTTP連携では、対応するTransformersのサービング実装とllama.cppの実装が/v1/systemoneを使用します。リクエストにはstateとquestionsを含め、モデルの選択はサーバー設定に依存します。対応モデルは、Hugging Face Hubのdecision-modelタグで検索できます。
共通の仕様により、モデルや推論エンジンを変更する際の連携作業を減らせます。ただし、予測、対応モダリティ、性能が同一になる保証はありません。Transformersは、応答を生成せずに回答ラベルのロジットを評価することで、対応する自己回帰モデルでもこのインターフェースを利用できます。
出力トークンを生成しなくても、推論コストがゼロになるわけではありません。入力処理、モデルサイズ、質問数、実装は、依然としてレイテンシとメモリ使用量に影響します。リクエスト全体を測定し、既存の分類器や構造化出力を行うLLMと比較してください。
自動化の前に信頼度を確認する#
確率分布が集中していても、判断が誤っている場合があります。choiceについて文書に記載された信頼度は、一様分布を基準に最大確率を正規化します。選択肢が4つあり、最も高い確率が0.85なら、信頼度は0.80です。これは集中度を測る値であり、検証済みの精度ではありません。同じ計算がscoreにも当てはまると考えないでください。
導入前に、次の4点を確認します。
- 実際の業務から得たラベル付きの例で、判断の精度を測定します。
- 較正を確認します。予測確率が0.90付近なら、約90%の割合で正解する必要があります。
- 曖昧な入力や、許容する回答のどれにも当てはまらないケースを含めます。
- 同じ導入条件で、レイテンシとリソース使用量を比較します。
その結果に基づいて、人による確認が必要となるしきい値を設定します。たとえば、チケットの自動振り分けと返金の承認では、結果の重みが異なります。返金要求を検出しただけで、支払いを承認すべきではありません。
次のステップ#
実際のサポートチケット100件からラベル付きの評価セットを作成し、自動振り分けを有効にする前に、部署への振り分け精度とレイテンシを現在のシステムと比較してください。
出典: https://huggingface.co/blog/decision
目次
