基于 PyAutoGUI 的桌面自动化工具。支持截图、鼠标键盘控制、图像识别、颜色检测等操作。当用户需要自动化操作桌面应用、执行 UI 测试或重复性任务时触发。

PyAutoGUI 自动化操作功能概览功能类别支持的操作截图全屏截图、区域截图、截图到剪贴板鼠标控制点击、双击、移动、相对移动、拖拽、滚动、按下/释放颜色操作获取像素颜色、查找颜色位置键盘操作输入文本、按键、组合键、快捷操作（复制/粘贴/全选等）图像识别在屏幕上查找图片位置、等待图片出现/消失对话框警告、确认、输入对话框系统信息屏幕分辨率、鼠标位置、窗口信息工具等待、暂停快速开始基本使用模式所有操作返回 JSON 格式结果。脚本位置 : [scripts/automation.py](scripts/automation.py) 操作详解截图鼠标点击颜色操作鼠标控制屏幕信息等待键盘操作常用按键名称: enter , esc , tab , space , backspace , delete , up , down , left , right , f1 f12 , ctrl , alt , shift , win 图像识别需要安装 opencv python 以使用 confidence 参数：对话框安全设置脚本已启用以下安全保护： FAILSAFE : 将鼠标快速移动到屏幕左上角会触发异常停止 PAUSE : 每个操作后有 0.1 秒默认暂停完整示例自动化登录流程颜色检测自动化图像定位点击依赖安装脚本会自动安装必需的依赖： pyautogui : 核心自动化库 pillow : 图像处理可选依赖（用于图像识别置信度）：资源索引 [automation.py](scripts/automation.py) 主入口脚本 [utils.py](scripts/utils.py) 公共工具函数 [mouse.py](scripts/mouse.py) 鼠标操作 [keyboard.py](scripts/keyboard.py) 键盘操作 [screen.py](scripts/screen.py) 截图和图像识别 [color.py](scripts/color.py) 颜色检测 [dialog.py](scripts/dialog.py) 对话框操作 [system.py](scripts/system.py) 系统信息注意事项 1. 坐标系 : 屏幕左上角为原点 (0, 0)，向右为 X 增加，向下为 Y 增加 2. 权限 : Windows 上可能需要以管理员权限运行某些操作 3. 分辨率 : 多显示器环境下，坐标可能跨越多个屏幕 4. 图像识别 : 受屏幕分辨率和缩放比例影响，建议使用 confidence 参数提高鲁棒性快速参考表用户输入 AI 行动 "xxx" 直接执行 xxx

pyautogui-automation