ComAct – 上海AI Lab等推出软件自动化操作的研究范式
最近 AI 工具圈又上新了——ComAct。下面用第三方视角拆一拆：它到底解决什么问题、怎么上手、和同类比差在哪。
ComAct是什么
ComAct（COM-as-Action）是重新定义专业软件自动化操作的研究范式，由Jiaxin Ai等人提出。范式将Windows的Component Object Model（COM）识别为统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制转变为确定性的程序合成，解决GUI-based智能体在长程任务中的错误累积问题，以及API-based方法受限于异构协议和闭源接口的困境。
核心功能能做什么
ComAct是什么
ComAct（COM-as-Action）是重新定义专业软件自动化操作的研究范式，由Jiaxin Ai等人提出。范式将Windows的Component Object Model（COM）识别为统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制转变为确定性的程序合成，解决GUI-based智能体在长程任务中的错误累积问题，以及API-based方法受限于异构协议和闭源接口的困境。
ComAct的主要功能
- COM-as-Action 范式转换：将专业软件交互从脆弱的顺序性视觉控制（GUI）转变为确定性的程序合成，利用 Windows COM 接口作为统一的可执行抽象，直接调用软件内部结构化编程接口。
- ComCADBench 基准测试：构建首个评估智能体操作真实工业 CAD 软件的基准，包含 1,000 个任务，覆盖 SolidWorks、Inventor、AutoCAD 三大平台及 3D 建模、2D 草图、装配、工程图等七项工程活动。
- ComActor 自校正智能体：采用三阶段渐进式训练框架——文本到代码监督微调（SFT）、基于多轮交互轨迹的智能体 SFT、以及基于连续几何奖励的 GRPO 强化学习，使智能体能够生成 COM 脚本、读取终端反馈、诊断并重写失败步骤。
- ComForge 可扩展训练平台：支持并发托管 1,000+ 个 Docker 化 Windows 环境，预装真实 CAD 软件，提供
code_execute（COM 脚本）、gui_action（鼠标/键盘）和reset三种动作类型，实现大规模并行训练与评估。 - 跨应用工作流整合：COM 作为统一的语义化编程接口，天然支持跨多种专业软件（Microsoft Office、Adobe 套件、工业 CAD 等）的协同操作与复杂工作流编排。
- 长程任务鲁棒执行：通过生成单一确定性脚本替代数百个易出错的顺序 GUI 操作，消除长程错误累积，在长程多任务管道中保持 80% 以上的端到端成功率，显著优于传统 GUI-based 智能体。
ComAct的技术原理
- COM-as-Action 范式转换：将 Windows Component Object Model（COM）识别为一种统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制（GUI）重新定义为确定性的程序合成，直接通过结构化编程接口调用软件内部功能。
- 验证过的指令-代码对数据构建：通过专门的数据构建流程合成经过验证的指令-COM 代码语料库，确保训练数据在语法和语义层面的正确性，为监督微调提供高质量基础。
- 三阶段渐进式训练框架：
- 阶段一（文本到代码 SFT）：在验证语料库上进行监督微调，使模型学习生成语法有效的 COM 脚本；
- 阶段二（Agentic SFT）：基于多轮交互轨迹和屏幕截图/终端反馈进行迭代调试训练，使智能体具备从执行失败中自我恢复的能力；
- 阶段三（GRPO 强化学习）：采用组相对策略优化（Group Relative Policy Optimization），结合基于 Chamfer Distance 的连续几何奖励，直接优化任务级几何保真度，弥合”语法正确但几何不符”的差距。
- 自校正执行循环：智能体生成 COM 脚本后执行，读取终端返回的 traceback 或执行结果，自主诊断错误原因并重写失败步骤，形成”生成-执行-反馈-修正”的闭环。
- ComForge 可扩展基础设施：基于 Docker 化 Windows 容器构建训练平台，并发托管 1,000+ 个预装真实 CAD 软件的环境，支持
code_execute（COM 脚本）、gui_action（鼠标/键盘）和reset三种动作类型，实现大规模并行训练与评估。 - 跨应用统一动作空间：利用 COM 在语义对象层面运行的特性，将不同专业软件（SolidWorks、AutoCAD、Inventor、Microsoft Office 等）的异构接口统一为标准化的可执行动作空间，天然支持跨应用工作流编排。
实际适合谁用
适合想快速体验新能力、做原型或本地部署的开发者与爱好者；涉及生产级稳定性、合规审计的场景，先评估再上车。
和同类比，怎么选
ComAct 侧重「上海AI Lab等推出软件自动化操作的研究范式」。选哪个看你是个人尝鲜还是企业落地——建议先试免费或开源版，再决定要不要深度接入。
常见问题
ComAct是什么，主要解决什么问题
ComAct（COM-as-Action）是重新定义专业软件自动化操作的研究范式，由Jiaxin Ai等人提出。范式将Windows的Component Object Model（COM）识别为统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制转变为确定性的程序合成，解决GUI-based智能体在长程任务中的错误累积问题，以及API-based方法受限于异构协议和闭源接口的困境。
ComAct开源吗
ComAct已开源（正文已说明其开源版本与本地部署方式），具体许可协议以官方仓库公示为准。
ComAct怎么上手 / 怎么用
访问官网或对应平台（文内链接）注册或下载即可体验；开源版本按官方仓库说明本地部署，消费级显卡大多能跑。
ComAct和同类工具比，选哪个
ComAct侧重「上海AI Lab等推出软件自动化操作的研究范式」；选哪个看你是个人尝鲜还是企业落地，建议先试免费或开源版再决定。
ComAct适合谁用，不适合谁
适合想快速体验新能力、做原型或本地部署的开发者与爱好者；涉及生产级稳定性、合规审计的场景，先评估再上车，别直接当关键链路。
评论(0)