Skip to content

使用设备智能体 ​

设备智能体创建完成后,会进入对应的工作区。这里用于管理共享同一份设备模型的设备:你可以把设备记录连接到浏览器模拟器或真实硬件,查看设备状态、最近事件和可用命令,也可以通过对话控制或查询设备。

工作区组成 ​

从侧边栏选择设备智能体。工作区包含设备列表、设备状态面板和对话区。

区域用法
设备列表查看当前可访问的设备,选择目标,按接入方式创建、同步或管理设备
设备状态查看在线状态、上报与期望状态、可用操作和最近执行记录
对话区通过文字、语音或多媒体输入与设备智能体交互

经 IoT 平台接入的设备沿用平台侧身份与物模型;直连设备通过 SDK 或 MQTT 上报。设备列表中的入口取决于当前接入方式,先按IoT 平台集成确认连接与范围。

指定目标设备 ​

点击设备列表中的设备,后续对话会带上该设备上下文。也可以在输入框中输入 @,选择本次需要操作的设备。

text
@thermostat-01 查看当前温度和湿度。
text
@thermostat-02 把目标温度设置为 23 度。

消息中指定的设备会和当前已选设备一起作为本次请求的目标。查询或控制前,确认目标列表,尤其是涉及多设备比较或批量操作时。

未选择设备时,可以先询问当前设备智能体管理的设备:

text
当前有多少设备?分别哪些在线,哪些离线?

设备状态 ​

选择设备后,状态面板展示设备最近的上报和当前可用能力。经 IoT 平台接入时,数据可能来自平台查询或同步;设备直连时,数据来自设备端上报。各区域按当前模型、接入方式和已有数据展示:

区域含义
上报状态设备或平台最近确认的数据,用于查看当前运行情况
期望状态希望设备达到的目标值,是否支持由当前接入方式决定
状态差异上报值与期望值尚未一致的字段,用于检查目标是否已经落实
可用操作当前设备支持的动作和参数概况;需要执行时,在对话中提出请求
最近上报事件设备产生的告警或业务事件,以及对应时间和数据

例如目标温度字段的期望值为 24 度,同一字段的上报值仍为 22 度时,应继续核对操作结果和后续上报。期望值表示控制目标,实际状态以设备或平台确认的数据为准。

枚举字段会显示模型中定义的名称,例如运行、待机,并在有名称时保留实际值。通过值旁的提示图标查看可选取值,当前值会被突出显示。显示名称用于阅读,设备上报和动作参数仍使用模型声明的实际值。

text
查看当前设备状态,并告诉我最近有没有上报事件。

查询历史和服务日志是否可用,由当前接入方式决定。读取到的数据包含当时的状态,设备长时间没有上报时,应同时检查更新时间与在线状态。

查看命令与任务记录 ​

当前平台提供相应记录时,状态面板会显示 命令记录 和 任务记录。检查操作名称、时间、状态和返回结果,区分等待中、执行中、已成功和失败。设备任务的结果以当前平台提供的信息为准;定时任务的计划与运行历史在定时任务页面查看。

提交后仍在等待或执行中的操作,需要继续查看结果。记录显示成功后,再结合上报状态或实际设备确认目标。查询结果与控制结果可以直接在对话中核对,可用操作列表用于查看设备能力。

通过对话控制设备 ​

用自然语言说明目标和操作,例如:

text
把目标温度设为 24 度,并切换到自动模式。

设备智能体会根据当前模型与权限选择命令、服务或可写状态,通过对应平台或直连链路执行。参数缺失时可能要求补充;模型没有声明的能力不能通过提示词新增。

操作后检查对话结果与 上报状态。收到提交成功不一定代表硬件已经执行,应结合设备回执、最新状态或平台执行记录确认。失败时先检查目标设备、参数、在线状态和平台权限,再查看日志。

接入与模拟验证 ​

设备还未连接时,根据当前接入方式选择:

  • 已有 IoT 平台:确认设备已经在原平台接入,并完成配置与同步。
  • 设备直连:为所选设备下载接入包,按SDK 接入或MQTT 接入配置并启动设备端程序。
  • 浏览器模拟:使用可用于测试的设备记录,按设备模拟器验证状态、命令和事件。

同一个 MQTT 设备身份切换客户端前,先断开原客户端。模拟器会沿用设备身份并上报数据,测试时应确认设备范围。

配置与对话管理 ​

通过设备智能体卡片的 配置总览 查看对话规则、语音工具、反馈和设备能力。需要协作时,在其中配置 A2A 主控与目标设备绑定,详见设备智能体配置。

对话历史、长期记忆和清空操作见对话与记忆。

回复语言与思考内容 ​

智能体优先使用你明确要求的回复语言;没有指定时,使用最新消息的语言。消息语言不明确时,使用当前控制台语言。例如可以直接要求使用中文说明结果,或要求用英文回复。

所选模型支持推理并返回思考内容时,对话中会显示 思考过程,点击标题可展开或收起。它便于查看模型回答前的分析;设备是否执行成功,仍以工具结果、执行记录和设备状态为准。推理开关和等级见大模型配置。

手机使用 ​

手机工作区以对话为主,设备列表和状态面板通过底部抽屉打开:

  1. 点击工作区顶部的设备名称或 选择设备,打开设备列表。
  2. 选择目标设备后返回对话,确认顶部显示的设备,再输入请求。
  3. 点击 设备状态 入口查看状态、事件和执行记录;窄屏中该入口显示为状态图标。
  4. 关闭状态抽屉后继续对话。需要修改配置时,打开 配置总览,手机默认使用列表视图。

@ 仍可为当前请求指定设备,操作前同样确认全部目标。手机上的对话历史与记忆用法见对话与记忆。

自动化与协作 ​

需求功能使用前确认
未来执行检查、提醒或控制定时任务指令完整,目标和执行时间明确
收到状态或事件后自动处理工作流触发数据与条件匹配,动作在当前平台可用
多个设备智能体协作A2A能力已发布,设备绑定和执行范围正确
调用业务系统或知识服务技能与工具工具已启用,认证和权限满足要求

自动化与协作复用已接入的设备能力,执行时目标设备与依赖服务仍需可用。

语音、摄像头和模拟显示器 ​

选中设备后,如果相关能力已经开启,对话区会出现更多交互入口。这些能力可以在控制台中体验,也可以通过设备端 SDK 接入真实设备。

  • 语音:通过麦克风向设备智能体发起语音对话,也可以接入设备端语音交互。
  • 摄像头:给当前设备提供图像信息,例如拍照识别、画面理解,或让设备基于画面执行操作;真实设备可以通过 SDK 上传图像帧。
  • 模拟显示器:用于查看或模拟设备的可视化输出。设备智能体可以生成控制面板、状态面板、扩展内容,或模拟一块设备屏幕。

这些能力都作用于当前选中的设备。配置和开启方式见 配置,使用说明见 语音交互、摄像头与视觉识别 和 模拟显示器;设备端代码生成见 SDK 接入。

建议流程 ​

  1. 确认平台连接、设备模型和可访问的设备范围。
  2. 选择目标设备,确认在线状态和当前数据。
  3. 查询一个状态,执行一项已声明的操作,并检查实际结果。
  4. 验证事件上报后,再设置工作流和定时任务。
  5. 需要多设备协作或外部系统时,再补充 A2A 绑定和工具配置。