目次

BotPsyは、用途を絞ったアシスタントのワークフローをローカルで実行する有力な選択肢だ。Tether AI Researchによると、この8億パラメータのモデルは、ツール利用ベンチマーク6種のうち5種で比較対象の2Bモデルを上回る。定型的なツール呼び出しでは試す価値があるが、検索性能と安全性スコアを見る限り、無制限の自律動作を任せられるものではない。

要点#

  • BotPsyは関数呼び出しに特化しており、評価対象のエージェント向けベンチマーク6種すべてで、ベースのQwen3.5-0.8Bを上回ったと報告されている。
  • そのうち5種でQwen3.5-2B-Thinkを上回る一方、一般知識では大きく劣る。
  • ローカル推論ならモデルの処理を手元のハードウェア内に保てるが、データの送信先は接続するツールにも左右される。
  • 発表ではsafetensors形式とGGUF形式が挙げられている。ダウンロードの可否、ライセンス条件、使用端末での性能は確認が必要だ。

BotPsyにできること#

2026年11月11日に発表されたBotPsyは、ツールの選択と引数の指定を目的に、Qwen3.5-0.8Bへ追加学習を施したモデルだ。想定するタスクには、カレンダーの更新、文書操作、カスタマーサポート、デバイス制御などがある。

ここでは、行動を選ぶことと答えを知っていることを区別するとわかりやすい。BotPsyは接続先のサービスを使って情報を取得したりタスクを実行したりできるが、ツールを提供し、権限を管理し、呼び出しを実行するアプリケーションが必要だ。モデルの重みだけで完全なパーソナルアシスタントになるわけではない。

まずは、カレンダーの空き時間を探す、注文状況を取得する、確認用のメッセージを下書きするといった、範囲の明確なタスクから始めよう。自由度の高い調査には、はるかに不向きだ。

スコアが示すこと#

研究チームは、0〜100の尺度で以下の結果を報告している。数値が高いほど性能がよい。

| ベンチマーク | BotPsy 0.8B | ベースモデル 0.8B | Qwen3.5 2B | |---|---:|---:|---:| | BFCL v4 | 44.0 | 23.4 | 37.7 | | ACEBench | 58.7 | 30.1 | 55.4 | | τ-bench | 51.5 | 23.2 | 46.5 | | ToolSandbox | 64.6 | 30.5 | 41.2 | | BrowseComp-Plus | 4.5 | 1.9 | 2.8 | | Claw-Eval | 46.5 | 39.3 | 48.9 |

これらは選定された比較対象に対する開発元の報告値であり、幅広い優位性を独立に証明するものではない。実用面で最も有力な材料は、構造化されたワークフローでの改善だ。BFCLの複数ターン評価では、ベースモデルの7.5からBotPsyの46.1へと向上している。

スコアの絶対値も重要だ。BrowseComp-Plusで比較対象中トップでも、4.5という値は難しい調査タスクでの性能の低さを示す。同様に、用途別の報告では、単純なシナリオの総合スコアが75なのに対し、複雑なシナリオでは39.5にとどまる。1回の呼び出しに成功しても、一連の処理を確実に自動化できるとは限らない。

学習方法#

BotPsyは4段階で順に学習する。教師ありファインチューニングでは、ツールを呼び出すべきでない例も含め、ツール利用の会話を学習する。続いて、複数教師によるオンポリシー蒸留で、特化した3つのQwen3.5-4B教師モデルを使い、ツール利用、推論、指示への追従を改善する。

その後、2段階の強化学習を行う。第1段階ではツール呼び出しを重視し、ツール名、引数名、引数値が正しければ部分点を与える。第2段階では、数学、コード、構造化出力、模擬的な業務操作など、検証可能なタスクへ対象を広げる。

この学習手順は、具体的なトレードオフに対処している。初期のツール特化によって知識と指示追従のスコアが低下したが、後続の段階で回復した。最終的なIFEvalスコアは90.8に達し、ベースモデルの59.7を上回る。この結果は、厳密な出力要件を課して試す根拠にはなるが、長い会話でも信頼性を維持できると証明するものではない。

導入前の確認事項#

発表ではbf16、Q8、Q4版が挙げられ、QVAC SDKとllama.cpp向けにsafetensorsファイルとGGUFファイルが用意されるとしている。ただし、公開について未来形の表現も使われているため、必要なファイルが入手可能か確認しよう。実際のライセンスも確認が必要だ。本文ではApache 2.0を挙げる一方、研究・教育用途とも説明している。

パラメータ数が少ないだけでは、スマートフォンで実用的に動くとはいえない。提示された結果には、端末別の遅延、ピークメモリ使用量、バッテリー消費、量子化による品質低下のデータがない。推論トークンの少なさは効率向上の可能性を示すが、ハードウェア上での実測の高速化ではない。

安全性も導入上の制約だ。チームの報告では、自動レッドチームテストの21%、プロンプトインジェクション攻撃下では31%で、安全でない応答が発生した。ツールの権限を絞り、取得したコンテンツは信頼できないものとして扱い、メッセージ送信、支払い、ファイル削除の前には確認を必須にしよう。また、ローカル推論でも、検索やメールのツールによる外部へのデータ送信は防げない。

次のステップ#

実際のアカウントへのアクセスを有効にする前に、対象端末のサンドボックス環境で代表的な20タスクを試し、ツール引数の正確さ、タスクの完了状況、遅延、権限のない操作の試行を記録しよう。

出典: https://huggingface.co/blog/qvac/botpsy

目次