桌面元素定位_desktop-find-element

以下为本文档的中文说明Desktop Find Element 是一个桌面端 UI 元素定位技能用于通过 UIAutomation快速准确或视觉识别通用后备方案查找桌面 UI 元素。它的主要使用场景包括需要定位按钮、菜单、图标等 UI 元素时、在点击之前获取元素坐标时、验证 UI 状态时。需要注意的是如果操作的是浏览器内的网页元素应使用 browser_星 工具而非本技能。该技能支持多种查找目标格式自然语言描述如保存按钮、红色图标等、按名称查找如 name:保存、按 ID 查找如 id:btn_save、按类型查找如 type:Button。它还提供了三种查找方法auto自动选择推荐、uia仅用 UIAutomation、vision仅用视觉识别。返回信息包括元素位置坐标x, y、元素大小和元素属性。该技能还可以限定在特定窗口内查找元素。这个技能是桌面端自动化的重要基础组件——它的双层查找策略UIAutomation 优先加视觉识别兜底兼顾了速度和普适性。UIAutomation 能够快速准确地获取原生 UI 元素的详细信息而视觉识别则能在 UIAutomation 失效时如自定义绘制界面提供后备方案。Desktop Find Element\查找桌面 UI 元素。优先使用 UIAutomation快速准确失败时用视觉识别通用。\Parameters\| 参数 | 类型 | 必填 | 说明 ||------|------|------|------|| target | string | 是 | 元素描述如 ‘保存按钮’、‘name:文件’、‘id:btn_ok’ || window_title | string | 否 | 限定在某个窗口内查找 || method | string | 否 | 查找方法auto默认、uia、vision |\Supported Target Formats\\自然语言\“保存按钮\”、\“红色图标\”\按名称\“name:保存\”\按 ID\“id:btn_save\”\按类型\“type:Button\”\Find Methods\\auto: 自动选择推荐\uia: 只用 UIAutomation\vision: 只用视觉识别\Returns\\元素位置x, y\元素大小\元素属性\Warning\如果操作的是浏览器内的网页元素请使用browser_*工具。\Related Skills\\desktop-click: 点击找到的元素\desktop-inspect: 查看元素树结构,“frontMatter”:{“name”:“desktop-find-element”,“description”:“Find desktop UI elements using UIAutomation (fast, accurate) or vision recognition (fallback). When you need to locate buttons/menus/icons, get element positions before clicking, or verify UI state. For browser webpage elements, use browser_* tools instead.”,“system”:true,“handler”:“desktop”,“tool-name”:“desktop_find_element”,“category”:“Desktop”}}]