目录

打开电子表格软件，对照指定列输入数字。在浏览器中切换页面，查找所需信息。如果能把这些工作交给 AI，确实会轻松不少，但很多自动化流程只要界面稍有变化就会停下来。

“Holo3.1-0.8B”尝试用一个 0.8B 规模的轻量模型来完成这些电脑操作。它会观察屏幕、决定下一步操作，再调用工具，而且还有可能在本地环境中运行。这样的小模型究竟能做到什么程度？下面梳理一下值得关注的地方。

Holo3.1-0.8B 是做什么的模型？#

Holo3.1-0.8B 是 H Company 发布的一款面向计算机操作的视觉语言模型（VLM）。它能够处理图像和文本，根据屏幕上的信息辅助操作电脑等设备。介绍文章称，它基于 Qwen 3.5 系列构建。

普通聊天 AI 的基本用法是，你问“这个界面上该点哪里？”，它给出回答。而电脑操作智能体还会进一步执行点击、输入等动作。据介绍，Holo3.1-0.8B 不仅能读取屏幕信息，还支持用于执行操作的函数调用。

型号中的 0.8B 指的是参数量约为 8 亿。与大型模型相比，它的规模较小，看起来更容易在本地运行。不过，所需内存和运行速度并不只由模型大小决定，还会受到图像处理方式、运行环境和量化设置的影响，因此仍需在自己的电脑上验证。

它可能完成哪些任务？#

值得期待的是那些需要看着屏幕完成的固定流程。例如，在浏览器中打开页面，找到相应字段并填写内容；在电子表格软件中切换单元格、输入数值。即使是没有 API 的老旧业务软件，这些操作也有可能通过界面实现自动化。

介绍文章在描述浏览和电子表格工作流的试用感受时写道：“感觉能搭起来，但失败也不少。”这一点很关键。模型能够提出操作方案，与它能够稳定地把工作完成，是两回事。

界面显示发生变化、找不到按钮、加载延迟，都会影响操作。在这些情况下执行错误动作，可能导致输入出错或触发非预期处理。尤其是提交、付款等难以撤销的操作，最好加入由人工进行最终确认的步骤。

本地运行的优势与现实#

本地运行的好处在于，有可能无需将屏幕信息发送到外部云服务，就能完成处理。涉及公司内部信息或个人信息的界面时，数据会被发送到哪里是一个值得关注的问题。对于希望在离线环境中使用的场景，本地模型也可以成为一种选择。

不过，不能简单地认为“在本地运行就安全”。实际会发送哪些数据，不仅取决于模型本身，还取决于所用应用和推理服务器的配置。部署前，应确认是否存在网络通信，以及日志保存在哪里。

目前已有介绍展示了通过 Transformers、vLLM、SGLang 等推理环境，以及 Docker、Llama.cpp 运行 Holo3.1-0.8B 的方法。支持的格式和所需硬件因配置而异，因此应先查看官方模型卡和快速入门指南。能否在自己的环境中运行、速度是否满足业务需求，实际试用后再判断最为可靠。

从小任务开始尝试#

与其一开始就把整个业务流程交给它，不如先用失败了也不会造成困扰的任务进行测试。初期可以采用以下流程。

  • 将目标应用限定为一个，例如浏览器或电子表格软件
  • 把“在哪个界面做什么”拆分成简短的任务
  • 在屏幕上确认输入或点击的结果
  • 记录失败的操作，调整指令和步骤
  • 稳定后，再逐步增加涉及的界面和任务

例如，即便只是向测试表格中输入指定文字，也能发现点击位置偏移或屏幕识别失败等问题。熟悉之后，可以再加入浏览器搜索和页面跳转。最后，记录操作次数和失败率，也有助于判断哪些工作可以交给它。

介绍文章还提到，在尚未进行微调的阶段，模型的执行能力已经展现出潜力，但失败也很多。要在特定业务界面中稳定使用，可能需要调整指令或进行额外训练。可以先用未经微调的模型重复执行几次相同任务，确认它容易在哪些地方卡住。

别只看模型轻不轻，还要看完成率#

小型模型容易让人觉得运行负担较小、部署成本也更低。但在业务中，重要的并不只是模型大小。如果流程中途频繁停下，就会增加人工陪同处理的时间。

测试时，除了处理速度，还应关注“执行多次后，有多少次能正确完成”。例如，将同一操作执行 10 次，记录成功次数、需要修正的次数，以及处理耗时。这并不能直接确定部署收益，但可以作为一个简单的判断依据，帮助你了解它是否适合自己的环境和任务。

此外，也应限制它可以操作的范围。涉及删除文件、发送内容、购买等动作的任务，不要让它未经确认就执行。使用少量测试数据，并确保出现问题时能够恢复，会更便于推进测试。

先在自己的环境中试一个任务#

Holo3.1-0.8B 提供了一个选择，让我们可以探索轻量模型究竟能完成多少屏幕操作。本地运行和移动端支持虽然令人感兴趣，但从介绍文章的使用体验来看，它仍会失败，目前还很难说可以把所有事情都交给它。

第一步很简单：通过官方模型资料确认支持的环境，再选择一个即使失败也不会造成困扰的浏览器操作或电子表格测试任务。尝试 10 次左右，记录成功率和耗时，就能初步看出是否值得在自己的电脑上继续使用。先从这样一次小规模验证开始吧。

来源: https://note.com/humble_bobcat51/n/nc31b333b9f59

目录