微软 18K star 硬核项目开源！👍️👍️👍️

项目简介

OmniParser 是一个强大的屏幕解析工具。它就像一双智能的眼睛，能够通过屏幕截图识别并理解电脑界面上的每一个可交互元素，比如按钮、输入框、图标等等。无论是Windows弹窗、网页表单，还是Office文档编辑器，甚至是手机APP界面，还可以搭配和 GPT-4o、DeepSeek 等大模型配合进行点击、输入、拖拽等等。

性能特色

• 高精度识别：OmniParser能精准识别小至8×8像素的UI元素，识别准确率高。
• 快速响应：推理速度提升60%，延迟低，确保操作流畅。
• 多模型支持：联动GPT-4o、DeepSeek等大模型，实现多样化操作。
• 开源生态：提供Docker化开发环境，开发者友好，易于定制和扩展。

快速安装使用

1、克隆项目：打开终端，运行以下命令克隆项目到本地：

git clone https://github.com/microsoft/OmniParser.git
cd OmniParser

2、创建 Python 虚拟环境并激活：

conda create -n omni python=3.12
conda activate omni

3、安装项目所需的依赖包：

pip install -r requirements.txt

4、下载模型权重文件（确保下载到 weights 文件夹中）：

for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
mv weights/icon_caption weights/icon_caption_florence

5、运行 Gradio Demo 查看效果：

python gradio_demo.py

完成以上步骤后，打开浏览器访问本地服务（通常是 http://127.0.0.1:7860），上传一张界面截图，就能看到 OmniParser 的强大功能啦！

小结

是不是觉得 OmniParser非常厉害？它不仅能够让AI“看懂”电脑界面，还能通过联动大模型完成各种复杂的操作。这简直就是我们办公的神器！

Github地址：https://github.com/microsoft/OmniParser