目次
Strands Decider 2Bは、文章を生成する代わりに、選択肢から答えを選ぶ2Bパラメータのオープンソースモデルだ。手元のCPUやGPUで動かせるので、ツール選択や入力チェックのような判断を、低い遅延で試したいときに向いている。
要点#
- 2Bパラメータで、ローカル環境での実行や追加学習を試しやすい。
- 選択肢へのスコアと信頼度を返し、同じ入力について複数の質問も効率よく扱える。
- JevBench公開セットで、2Bクラス33モデル中3位、2Bを少し超えるモデルを除くと30モデル中1位。
- ローカル測定では中央値約115ms、M3 MacBookでは小さなタスクで約153ms。
- チャットや要約、複雑な推論を担うモデルではなく、決まった判断の補助に使う。
何をするモデルか#
一般的なLLMは文章を自由に生成する。Deciderはその代わりに、あらかじめ渡された候補からひとつを選んだり、二択に答えたりする。たとえば、問い合わせを「billing」「sales」「retail」のどこへ回すか、といった分類だ。
回答とあわせて各候補のスコアを返すため、選択結果だけでなく、どの程度その判断を信頼するかも扱える。選択肢から必ず回答する設計なので、出力形式を絞った処理に組み込みやすい。
そのぶん、自由な文章は書けない。コード生成や文書要約、会話の相手をさせる用途には向かない。難しい問題を段階的に考えるのも得意ではないため、LLMの代替というより、エージェントの判断を一部受け持つモデルと考えるとよさそうだ。
2Bモデルの仕組み#
ベースにはQwen3.5-2Bを使い、文章を生成するLM headを取り除いている。そこへ、候補のスコアを付ける小さなpointer headを追加した。pointer headのパラメータは100万強で、ベースモデル本体はrank-16のLoRA adapterで追加学習している。
公開版はv19。初期のslot headを使った方式から改良を重ねた結果がこの版で、リポジトリには各バージョンでの変更も記録されている。学習データと学習用スクリプトも公開されているので、推論だけでなく、モデルの作り方を調べたり自分で学習させたりできる。
精度と速度の目安#
公開されている評価では、JevBenchの公開セットを使って正解率と信頼度の較正を確認している。Decider 2Bは2Bクラス33モデル中3位で、2Bを少し超えるモデルを除いた30モデルでは1位だった。簡単なタスクでは同ベンチマーク上の問題に100%正解したと報告されているが、これはベンチマーク上の結果であり、実際の業務データで同じ精度が出るとは限らない。
速度はタスクの大きさに応じておおむね直線的に増える。Nvidia RTX 3090での測定では中央値が約115ms、M3 MacBookでは小さなタスクで約153msだった。どちらも発表元によるローカル測定値なので、使う機器や入力の長さ、実装によって結果は変わる。導入先の環境で測り直すのが確実だ。
まずCLIで試す#
Python環境があるなら、まずCLIをインストールして、短い選択問題を実行できる。
pip install strands-decider
strands-decider ask StrandsAgents/strands-decider-2B-hobson-v19 \
--state "3日間、支払いが失敗しています。" \
--choice "担当チームは?=billing,sales,retail"出力には選ばれた候補とconfidence、候補ごとのスコアが含まれる。例ではbillingが選ばれ、confidenceは0.768、候補スコアはbillingが0.845、retailが0.091、salesが0.064となる。confidenceと候補スコアは表示上の別の値なので、実際の処理ではそれぞれの意味を確認して扱いたい。
用途の候補には、モデルの振り分け、ツール選択、評価、ガードレール、メモリやコンテキストの管理がある。複雑な判断はLLMに任せ、定型的な判断だけDeciderに回す構成なら、遅延やコストを抑えられる可能性がある。
エージェントに組み込むときの注意#
Strandsのサンプルでは、ツール実行の直前にDeciderでチェックする。例のエージェントは天気を聞かれると場所を推測してツールを呼びたがるが、Deciderが「引数はユーザーの発言に根拠があるか」「確認前に呼び出すのは早すぎないか」を判定する。場所が示されていなければ、呼び出しを止めてユーザーに確認する流れだ。
サンプルは、小さなデモとして手作業で質問やしきい値、ポリシーを設定している。導入するなら、誤判定したときの影響に合わせて質問と判断基準を設計し、実データで精度や信頼度を検証しよう。モデルのスコアだけで重要な操作を許可するのではなく、必要なら確認を挟む仕組みも用意したい。
次の一歩#
まずCLIを入れ、自分の用途に近い選択問題を少数用意して、回答・スコア・処理時間を手元の環境で確かめよう。
出典: https://strandsagents.com/blog/introducing-strands-decider/
目次
