autoMate：基于 OmniParser 的本地 AI+RPA 工具
autoMate 是一个 AI+RPA 自动化工具，基于 OmniParser 构建。它的思路是让大模型直接理解屏幕内容并操作电脑：OmniParser 负责把当前界面的视觉信息解析成结构化数据，模型再根据任务目标判断下一步做什么、点哪里、输入什么。
所以 autoMate 不要求用户像传统 RPA 那样为每个按钮写选择器或配置复杂规则。只要能用自然语言描述任务，它就有可能把“读屏幕→做判断→执行操作”这条链路跑通。它主要处理的是重复性的界面操作，例如跨窗口填表、文件整理、页面数据录入这类原本需要人工一步步点完的流程。
功能特点
- 自然语言驱动：用自然语言描述任务即可，不需要编写自动化代码。
- 全界面操控：识别的是屏幕上的内容，不绑定特定软件或控件类型。
- 中文环境支持：仓库提供中文 README 和安装依赖清单，clone 后按步骤部署即可。
- 本地运行：自动化框架运行在本机，环境、依赖和数据边界由自己控制。
- 多模型支持：兼容主流大语言模型，使用时自己配置 API key。
需要一个可用的 API key。虽然部署在本地，模型调用本身不一定在本地；如果配置的是云端 API，相关输入仍会发给对应服务商。纯 CPU 环境也能跑，但速度会非常慢，建议只用来验证流程。
安装与启动
克隆项目并创建独立环境：
git clone https://github.com/yuruotong1/autoMate.git
cd autoMate
conda create -n "automate" python==3.12
conda activate automate
pip install -r requirements.txt
启动应用：
python main.py
浏览器打开 http://localhost:7888/，在配置页填入你自己的 API key 和基本设置。
CUDA 版本不匹配
如果启动时出现“显卡驱动不适配，请根据 readme 安装合适版本的 torch”，说明当前驱动和 torch 期望的 CUDA 版本不一致。
可以先不处理，程序会退回 CPU 模式运行，但速度会非常慢。要正常用 GPU，可以按下面步骤排查：
- 运行
pip list查看当前 torch 版本； - 到 PyTorch 官网确认该 torch 版本对应的 CUDA 版本；
- 重新安装 NVIDIA 驱动，使驱动支持对应的 CUDA 版本。
项目链接
- 仓库：https://github.com/yuruotong1/autoMate
- 中文 README：https://github.com/yuruotong1/autoMate/blob/master/README_CN.md