目次

Strands Decider 2Bは、文章を生成する代わりに、選択肢から答えを選ぶ2Bパラメータのオープンソースモデルだ。手元のCPUやGPUで動かせるので、ツール選択や入力チェックのような判断を、低い遅延で試したいときに向いている。

要点#

  • 2Bパラメータで、ローカル環境での実行や追加学習を試しやすい。
  • 選択肢へのスコアと信頼度を返し、同じ入力について複数の質問も効率よく扱える。
  • JevBench公開セットで、2Bクラス33モデル中3位、2Bを少し超えるモデルを除くと30モデル中1位。
  • ローカル測定では中央値約115ms、M3 MacBookでは小さなタスクで約153ms。
  • チャットや要約、複雑な推論を担うモデルではなく、決まった判断の補助に使う。

何をするモデルか#

一般的なLLMは文章を自由に生成する。Deciderはその代わりに、あらかじめ渡された候補からひとつを選んだり、二択に答えたりする。たとえば、問い合わせを「billing」「sales」「retail」のどこへ回すか、といった分類だ。

回答とあわせて各候補のスコアを返すため、選択結果だけでなく、どの程度その判断を信頼するかも扱える。選択肢から必ず回答する設計なので、出力形式を絞った処理に組み込みやすい。

そのぶん、自由な文章は書けない。コード生成や文書要約、会話の相手をさせる用途には向かない。難しい問題を段階的に考えるのも得意ではないため、LLMの代替というより、エージェントの判断を一部受け持つモデルと考えるとよさそうだ。

2Bモデルの仕組み#

ベースにはQwen3.5-2Bを使い、文章を生成するLM headを取り除いている。そこへ、候補のスコアを付ける小さなpointer headを追加した。pointer headのパラメータは100万強で、ベースモデル本体はrank-16のLoRA adapterで追加学習している。

公開版はv19。初期のslot headを使った方式から改良を重ねた結果がこの版で、リポジトリには各バージョンでの変更も記録されている。学習データと学習用スクリプトも公開されているので、推論だけでなく、モデルの作り方を調べたり自分で学習させたりできる。

精度と速度の目安#

公開されている評価では、JevBenchの公開セットを使って正解率と信頼度の較正を確認している。Decider 2Bは2Bクラス33モデル中3位で、2Bを少し超えるモデルを除いた30モデルでは1位だった。簡単なタスクでは同ベンチマーク上の問題に100%正解したと報告されているが、これはベンチマーク上の結果であり、実際の業務データで同じ精度が出るとは限らない。

速度はタスクの大きさに応じておおむね直線的に増える。Nvidia RTX 3090での測定では中央値が約115ms、M3 MacBookでは小さなタスクで約153msだった。どちらも発表元によるローカル測定値なので、使う機器や入力の長さ、実装によって結果は変わる。導入先の環境で測り直すのが確実だ。

まずCLIで試す#

Python環境があるなら、まずCLIをインストールして、短い選択問題を実行できる。

snippet.txt
pip install strands-decider
strands-decider ask StrandsAgents/strands-decider-2B-hobson-v19 \
  --state "3日間、支払いが失敗しています。" \
  --choice "担当チームは?=billing,sales,retail"

出力には選ばれた候補とconfidence、候補ごとのスコアが含まれる。例ではbillingが選ばれ、confidenceは0.768、候補スコアはbillingが0.845、retailが0.091、salesが0.064となる。confidenceと候補スコアは表示上の別の値なので、実際の処理ではそれぞれの意味を確認して扱いたい。

用途の候補には、モデルの振り分け、ツール選択、評価、ガードレール、メモリやコンテキストの管理がある。複雑な判断はLLMに任せ、定型的な判断だけDeciderに回す構成なら、遅延やコストを抑えられる可能性がある。

エージェントに組み込むときの注意#

Strandsのサンプルでは、ツール実行の直前にDeciderでチェックする。例のエージェントは天気を聞かれると場所を推測してツールを呼びたがるが、Deciderが「引数はユーザーの発言に根拠があるか」「確認前に呼び出すのは早すぎないか」を判定する。場所が示されていなければ、呼び出しを止めてユーザーに確認する流れだ。

サンプルは、小さなデモとして手作業で質問やしきい値、ポリシーを設定している。導入するなら、誤判定したときの影響に合わせて質問と判断基準を設計し、実データで精度や信頼度を検証しよう。モデルのスコアだけで重要な操作を許可するのではなく、必要なら確認を挟む仕組みも用意したい。

次の一歩#

まずCLIを入れ、自分の用途に近い選択問題を少数用意して、回答・スコア・処理時間を手元の環境で確かめよう。

出典: https://strandsagents.com/blog/introducing-strands-decider/

目次