1. 项目概述与核心价值最近在折腾智能家居想把家里的摄像头、传感器都接入到一个更“聪明”的大脑里让它们不仅能看、能听更能“理解”和“思考”。比如摄像头拍到客厅地上有个玩具它能不能主动提醒孩子收拾或者检测到老人长时间在卫生间没动静能否及时预警这些场景传统的规则引擎IF-THEN写起来非常繁琐且难以覆盖所有情况。正是在这个背景下我发现了valentinfrlch/ha-llmvision这个项目它像是一座桥将强大的大型语言模型LLM的视觉理解能力直接引入了 Home Assistant 这个全球最流行的开源家庭自动化平台。简单来说ha-llmvision是一个 Home Assistant 的集成Integration。它的核心功能是允许你将 Home Assistant 中任何一个摄像头的实时画面或历史快照发送给一个支持视觉功能的大语言模型例如 OpenAI 的 GPT-4V Google 的 Gemini Pro Vision 或是开源的 Llava 等然后让模型“看图说话”用自然语言描述它看到了什么。更进一步你可以基于这个描述在 Home Assistant 中创建自动化当模型识别到特定场景时触发相应的动作。这个项目的价值在于它极大地降低了在智能家居中应用前沿 AI 视觉能力的门槛。你不再需要自己训练复杂的图像识别模型也不需要处理繁琐的 API 对接和结果解析。通过简单的 YAML 配置和 Home Assistant 直观的自动化编辑器你就能赋予你的智能家居系统“视觉认知”能力。无论是安防监控如“检测到陌生人在门口徘徊”、日常生活辅助如“厨房灶台上还有未关闭的炉火”还是宠物照看如“狗狗正在啃沙发”其应用场景的想象力边界几乎只取决于你的需求和所选 LLM 的视觉理解能力。2. 核心架构与工作原理拆解要玩转ha-llmvision首先得理解它内部是如何运作的。这能帮助你在配置时知其所以然在出问题时快速定位。2.1 核心组件交互流程整个集成的工作流程可以概括为“触发-抓图-分析-决策”四个核心环节涉及 Home Assistant 内部多个实体的协同。触发源这是整个流程的起点。它可以是任何能触发 Home Assistant 自动化的事件。最常见的是时间计划例如每天上午10点检查一次后院。传感器状态变化例如门窗传感器触发时立刻查看对应区域的摄像头。手动服务调用通过仪表盘按钮或语音助手手动触发一次分析。其他自动化或脚本作为复杂自动化链条中的一环。图像捕获器当触发条件满足时ha-llmvision会调用 Home Assistant 的核心服务camera.snapshot。这个服务会从你指定的摄像头实体例如camera.front_door抓取一张当前时刻的快照。这里有一个关键点它抓取的是经过 Home Assistant 处理的视频流中的一帧这意味着如果摄像头本身支持云台控制、移动侦测等你需要确保 Home Assistant 中的这个实体状态是正常的。视觉大语言模型引擎这是项目的“大脑”。捕获的图像通常会被编码为 Base64 字符串或临时文件连同你预先设定的“提示词”一起被发送到你配置的 LLM 服务提供商。例如如果你配置的是 OpenAI那么请求会被发往https://api.openai.com/v1/chat/completions调用的是gpt-4-vision-preview模型。提示词的作用至关重要它告诉模型“你需要关注什么”以及“如何回答”。一个典型的提示词可能是“请用简洁的一句话描述这张图片中的主要活动、人物和异常物体。如果画面中没有人请说明‘场景空旷’。”结果解析与实体更新LLM 返回一段自然语言描述例如“画面中有一位穿着红色上衣的成年男性正在门口递送一个包裹。”ha-llmvision会创建一个专属的传感器实体例如sensor.llmvision_front_door_description并将这段描述文本更新为该传感器的状态state。同时返回的完整响应包括可能的 JSON 格式内容通常会被保存在该传感器的属性attributes中供后续使用。自动化决策最后Home Assistant 的自动化引擎登场。你可以创建一个新的自动化其触发条件就是上一步中那个传感器实体的状态变化。然后在自动化动作中你可以使用模板如{{ ‘包裹’ in states(‘sensor.llmvision_front_door_description’) }}来解析描述文本判断是否包含关键词如“包裹”、“陌生人”、“烟雾”等进而执行发送通知、打开灯光、录制视频等操作。注意整个流程的延迟主要来自两部分网络往返 LLM API 的耗时以及 LLM 模型本身的分析耗时。对于实时安防场景这可能会有几秒到十几秒的延迟需要根据实际场景评估其适用性。2.2 配置模型与提示词工程项目的核心配置在于configuration.yaml或通过 UI 添加集成时的设置项。你需要做出几个关键选择1. LLM 服务提供商选择OpenAI GPT-4V目前视觉理解能力最强的商用模型之一精度高响应格式规范但需要付费 API Key且存在隐私考量图像会上传至 OpenAI 服务器。Google Gemini Pro Vision另一个强大的选择有时在特定任务上可能有不同表现同样需要 API Key 并涉及数据出域。Ollama (本地部署)这是隐私和成本控制的最佳选择。你可以在家庭服务器如 NAS、旧电脑上部署 Ollama并运行开源的视觉模型如llava、bakllava或moondream。ha-llmvision支持直接连接到本地的 Ollama API。优点是数据完全本地处理零费用缺点是硬件要求较高需要 GPU 或强大 CPU且模型能力与顶级商用 API 尚有差距。其他 API 兼容服务任何提供与 OpenAI API 兼容接口的服务理论上都可以接入这提供了很大的灵活性。2. 提示词设计技巧提示词是控制模型输出的方向盘。设计不当返回的结果可能冗长、无关或格式混乱。明确指令直接告诉模型你要什么。例如“仅用三个以内的关键词描述图片内容用逗号分隔。”限定输出格式这对于后续自动化解析至关重要。例如“请以 JSON 格式回答包含 ‘has_person’ (布尔值), ‘person_count’ (整数), ‘main_activity’ (字符串) 三个字段。”场景化引导将模型“代入”角色。例如“你是一个家庭安全监控系统。请分析这张图片判断是否存在安全风险如入侵、火灾、漏水。如有指出风险类型如无回复‘安全’。”迭代优化不要指望一次写对。在 Home Assistant 的开发工具-服务中多次调用llmvision.process服务进行测试根据返回结果调整你的提示词。3. 从零开始的完整部署与配置指南下面我将以最常用的OpenAI GPT-4V和本地 Ollama Llava两种方案为例手把手带你完成部署和基础场景配置。3.1 方案一使用 OpenAI GPT-4V云端方案此方案适合追求最佳识别效果、不想折腾本地硬件且对隐私要求不极致的用户。步骤1前期准备确保你的 Home Assistant 已安装并正常运行版本建议在 2023.5 以上。拥有一个 OpenAI 账号并在 OpenAI Platform 上生成一个 API Key。确保你的账户有足够的余额或已设置付费方式GPT-4V 是付费 API。步骤2安装 HACS 并添加集成ha-llmvision通常通过 HACSHome Assistant Community Store安装这是管理第三方集成最方便的方式。如果你的 HA 还没有安装 HACS请先根据官方文档安装 HACS。打开 HACS 面板点击右下角的“浏览并下载存储库”。在搜索框中输入 “llmvision”找到 “LLM Vision” 这个集成作者 valentinfrlch。点击“下载”选择最新版本等待下载完成。下载完成后重启 Home Assistant 核心。这是关键一步不重启集成不会出现。步骤3配置集成重启后进入“设置” - “设备与服务” - “集成”。点击右下角“添加集成”搜索 “LLM Vision” 并点击。在配置界面中Name: 给你的这个实例起个名字例如 “前门视觉分析”。LLM Provider: 选择 “OpenAI”。API Key: 填入你的 OpenAI API Key。Model: 选择 “gpt-4-vision-preview” 或更新版本。Camera Entity: 选择你想要分析的摄像头如camera.front_door。Prompt: 输入你的提示词。这里我们先用一个简单的“描述这张图片中的场景重点注意人物、车辆和包裹。”其他参数如温度Temperature、最大 Token 数可以保持默认。点击“提交”。配置成功后你会立刻在同一个页面看到一个新创建的传感器实体例如sensor.llmvision_front_door_description。步骤4创建测试自动化现在我们来创建一个手动触发的脚本用于测试。进入“设置” - “自动化与场景” - “脚本”。点击“创建脚本”选择“通过 UI 编辑”。添加一个动作服务选择llmvision.process目标实体选择你刚刚配置的llmvision.front_door这是一个“对话”实体不是传感器。保存脚本命名为“测试前门视觉分析”。回到仪表盘添加一个按钮卡片调用这个脚本。点击按钮稍等几秒然后去检查sensor.llmvision_front_door_description这个传感器的状态。你应该能看到 GPT-4V 对当前摄像头画面的描述。3.2 方案二使用本地 Ollama Llava隐私优先方案此方案适合注重数据隐私、有闲置硬件支持 Docker且愿意接受可能稍弱但完全够用的识别能力的用户。步骤1部署 Ollama 服务器假设你有一台运行 Linux如 Ubuntu的本地服务器或 NAS。通过脚本安装 Ollamacurl -fsSL https://ollama.com/install.sh | sh拉取一个视觉模型。Llava 是一个很好的起点ollama pull llava启动 Ollama 服务它默认会在11434端口提供 API。步骤2在 Home Assistant 中配置集成同上通过 HACS 安装ha-llmvision集成并重启。添加集成时LLM Provider选择 “Ollama”。关键配置项Base URL: 填写你的 Ollama 服务器地址例如http://192.168.1.100:11434请替换为你的服务器内网 IP。Model: 填写llava。Camera Entity和Prompt的配置与方案一相同。提交后同样会创建传感器实体。实操心得本地部署时网络稳定性很重要。确保 Home Assistant 主机能稳定访问 Ollama 服务器的 IP 和端口。首次调用可能会比较慢因为模型需要加载到内存。你可以通过访问http://你的Ollama服务器IP:11434/api/tags来验证 Ollama API 是否正常工作。3.3 配置优化与高级参数无论哪种方案集成的配置项里都有一些高级参数值得关注Scan Interval: 如果使用“平台”模式自动定期扫描这个参数定义了扫描间隔。对于大多数自动化触发场景我们更倾向于手动调用服务所以这个值可以设大一些或不使用平台模式。Max Tokens: 限制模型回答的长度。对于简单的描述设置为 100-150 通常足够有助于减少响应时间和 Token 消耗对 OpenAI 方案。Temperature: 控制回答的随机性。0 表示最确定、一致1 表示更具创造性。对于安防等需要稳定输出的场景建议设置为 0.1 或 0.2。Save Image Folder: 一个非常实用的调试功能。可以指定一个本地文件夹路径ha-llmvision会在每次调用时将发送给模型的图片保存下来。这对于调试提示词、分析模型为何出错是图片问题还是理解问题至关重要。4. 实战构建智能安防与生活自动化场景配置好基础集成只是开始真正的价值在于将其融入自动化。下面分享几个我实际在用的场景配置片段。4.1 场景一快递包裹到达通知目标当门口摄像头检测到有包裹被放下时向手机发送通知。思路利用 GPT-4V 理解“包裹”这个概念而不仅仅是识别一个“矩形物体”。创建专用 LLM Vision 实例 在集成配置中为前门摄像头创建一个新实例命名为“package_detector”。提示词设置为“请判断图片中门口地面上是否有快递包裹或箱子。如果有回答‘有包裹’如果没有回答‘无包裹’。不要描述其他内容。”创建触发自动化触发器选择事件触发器事件类型为state_changed。实体 ID 选择上一步创建的传感器例如sensor.llmvision_package_detector_description。条件为了减少误报可以添加条件。例如时间条件只在白天、摄像头状态条件摄像头在线。最重要的是使用模板条件来解析传感器状态condition: template value_template: “{{ ‘有包裹’ in trigger.to_state.state }}”动作发送通知到手机使用 Home Assistant 伴侣 App。可选保存一张当前快照到媒体库附在通知中。可选触发一段10秒钟的录像。# 自动化 YAML 示例片段 automation: - alias: “包裹到达通知” trigger: - platform: state entity_id: sensor.llmvision_package_detector_description condition: - condition: template value_template: “{{ ‘有包裹’ in trigger.to_state.state }}” - condition: time after: “08:00:00” before: “20:00:00” action: - service: notify.mobile_app_your_phone data: message: “门口发现一个包裹” data: image: “/api/camera_proxy/{{ states(‘camera.front_door’) }}”4.2 场景二老人起居安全监测目标监测老人日常活动如果白天在客厅长时间如2小时未检测到活动则发出提醒。思路定时例如每30分钟分析客厅摄像头画面判断是否有人。结合“输入布尔”或“辅助传感器”来计时。创建 LLM Vision 实例 提示词“图片中是否有人请只回答‘是’或‘否’。”创建复杂自动化 这个自动化需要两个部分。第一部分定时检测并更新状态。创建一个每30分钟触发一次的自动化调用llmvision.process服务然后根据结果传感器状态为“是”或“否”来重置或增加一个“无人计时器”可以用input_number或counter辅助实体实现。第二部分报警判断。创建一个每5分钟检查一次的自动化检查“无人计时器”是否超过120分钟。如果超过且是在白天则发送提醒通知给监护人。重要注意事项此场景涉及隐私务必谨慎。仅应在得到完全同意、且用于保障安全的情况下部署。摄像头应避开卧室、卫生间等私密区域。可以考虑使用低分辨率图像或特定角度仅用于检测“有无人”这种宏观信息。4.3 场景三宠物行为监控目标当摄像头发现宠物在啃咬家具或闯入禁止区域时通过音箱发出警告声。思路让模型识别特定的宠物和不当行为。创建 LLM Vision 实例 提示词需要更具体“图片中是否有我的狗一只金毛犬在啃咬沙发、椅子或地毯如果有回答‘狗狗在啃东西’如果狗在但行为正常回答‘狗狗正常’如果狗不在画面中回答‘无狗’。”创建自动化触发器运动传感器触发或定时触发。条件解析传感器状态包含“狗狗在啃东西”。动作在客厅的智能音箱上播放一段预设的警告音频如“坏狗狗”。可选向手机发送一张快照。5. 常见问题、性能优化与避坑指南在实际使用中你肯定会遇到各种问题。以下是我踩过坑后总结的经验。5.1 常见错误与排查问题现象可能原因排查步骤与解决方案集成添加失败或找不到实体HACS 安装后未重启 HA配置参数错误如 API Key 无效。1. 务必在 HACS 安装后重启 Home Assistant 核心。2. 检查 API Key 是否正确是否有余额OpenAI。3. 检查 Ollama 服务器地址和端口是否能从 HA 主机访问。调用服务后传感器状态无更新摄像头实体无法抓图LLM API 调用超时或失败提示词导致模型返回空或错误格式。1. 在“开发者工具-服务”中手动调用camera.snapshot服务测试摄像头能否正常抓图。2. 查看 Home Assistant 日志home-assistant.log搜索llmvision或OpenAI/Ollama关键字通常会有详细的错误信息。3. 简化提示词进行测试例如只写“描述这张图片”。4. 启用Save Image Folder功能查看发送出去的图片是否清晰、完整。响应速度非常慢网络延迟高尤其是 OpenAI本地 Ollama 模型首次加载或硬件性能不足图片尺寸过大。1. 对于云端 API无解属于物理延迟。2. 对于 Ollama确保服务器性能足够。考虑使用更小的模型如moondream。3. 在 Home Assistant 中调整摄像头的流编码和分辨率传给 LLM 的图片不需要 4K720P 甚至 480P 通常足够能大幅减少传输和处理时间。可以在摄像头配置或image_processing环节进行缩放。识别结果不准确或不符合预期提示词设计不佳图片光线/角度差模型能力有限。1.精炼提示词这是最重要的调优手段。明确指令限定输出格式给出例子Few-shot prompting。2.优化图像源确保摄像头画面清晰、光线充足。必要时可先通过 Home Assistant 的image_processing集成进行一些预处理如去噪、增强对比度。3.更换或微调模型对于本地部署可以尝试不同的模型。对于复杂任务商用 APIGPT-4V的准确率远高于开源小模型。5.2 成本控制与性能优化OpenAI 成本控制降低调用频率不要用平台模式定时轮询。务必基于事件如运动检测触发。优化图片尺寸这是节省 Token 的关键。GPT-4V 的计费与输入的图像 Token 数有关。在ha-llmvision的高级配置中可以设置image_size参数如512x512强制缩放图像能极大降低成本。使用更经济的模型关注 OpenAI 发布的新模型有时会有更便宜但性能不错的视觉模型。设置用量告警在 OpenAI 后台设置每月预算和用量告警。本地 Ollama 性能优化硬件是基础GPU 加速NVIDIA能带来质的飞跃。如果没有 GPU确保 CPU 有足够强的单核性能和大内存。模型选型llava是平衡之选。moondream更小更快但能力稍弱。根据任务复杂度选择。Ollama 参数运行 Ollama 时可以指定-num-gpu等参数来充分利用硬件。使用keep_alive在 Ollama 的模型配置中设置keep_alive参数让模型常驻内存避免每次调用都重新加载。5.3 隐私与安全考量数据出域使用 OpenAI、Google 等云端服务意味着你的家庭图像数据会离开本地网络。请仔细阅读其隐私政策评估风险。对于室内或敏感区域摄像头强烈建议使用本地 Ollama 方案。本地网络隔离即使使用 Ollama也应确保 Ollama 服务器和 Home Assistant 处于安全的家庭内网中不要将相关端口暴露到公网。最小权限原则只为ha-llmvision集成提供必要的摄像头访问权限。在 Home Assistant 中可以考虑为这个用途创建一个摄像头视图View只输出低分辨率、裁剪过的画面。告知与同意如果家中还有其他成员务必告知家中摄像头的 AI 分析功能及其用途尊重每个人的隐私。最后一点心得ha-llmvision不是一个“开箱即用”的完美产品而是一个强大的“乐高积木”。它的效果严重依赖于提示词工程、图像质量和自动化逻辑设计。不要期望它一次配置就能解决所有问题。把它当作一个需要不断调试和优化的系统组件从简单的场景开始比如“有没有人”逐步增加复杂度“有没有人拿着包裹”你就能越来越得心应手真正打造出具备“视觉智能”的个性化家居系统。
基于LLM视觉的智能家居自动化：ha-llmvision集成部署与实战指南
发布时间：2026/5/16 3:50:23
1. 项目概述与核心价值最近在折腾智能家居想把家里的摄像头、传感器都接入到一个更“聪明”的大脑里让它们不仅能看、能听更能“理解”和“思考”。比如摄像头拍到客厅地上有个玩具它能不能主动提醒孩子收拾或者检测到老人长时间在卫生间没动静能否及时预警这些场景传统的规则引擎IF-THEN写起来非常繁琐且难以覆盖所有情况。正是在这个背景下我发现了valentinfrlch/ha-llmvision这个项目它像是一座桥将强大的大型语言模型LLM的视觉理解能力直接引入了 Home Assistant 这个全球最流行的开源家庭自动化平台。简单来说ha-llmvision是一个 Home Assistant 的集成Integration。它的核心功能是允许你将 Home Assistant 中任何一个摄像头的实时画面或历史快照发送给一个支持视觉功能的大语言模型例如 OpenAI 的 GPT-4V Google 的 Gemini Pro Vision 或是开源的 Llava 等然后让模型“看图说话”用自然语言描述它看到了什么。更进一步你可以基于这个描述在 Home Assistant 中创建自动化当模型识别到特定场景时触发相应的动作。这个项目的价值在于它极大地降低了在智能家居中应用前沿 AI 视觉能力的门槛。你不再需要自己训练复杂的图像识别模型也不需要处理繁琐的 API 对接和结果解析。通过简单的 YAML 配置和 Home Assistant 直观的自动化编辑器你就能赋予你的智能家居系统“视觉认知”能力。无论是安防监控如“检测到陌生人在门口徘徊”、日常生活辅助如“厨房灶台上还有未关闭的炉火”还是宠物照看如“狗狗正在啃沙发”其应用场景的想象力边界几乎只取决于你的需求和所选 LLM 的视觉理解能力。2. 核心架构与工作原理拆解要玩转ha-llmvision首先得理解它内部是如何运作的。这能帮助你在配置时知其所以然在出问题时快速定位。2.1 核心组件交互流程整个集成的工作流程可以概括为“触发-抓图-分析-决策”四个核心环节涉及 Home Assistant 内部多个实体的协同。触发源这是整个流程的起点。它可以是任何能触发 Home Assistant 自动化的事件。最常见的是时间计划例如每天上午10点检查一次后院。传感器状态变化例如门窗传感器触发时立刻查看对应区域的摄像头。手动服务调用通过仪表盘按钮或语音助手手动触发一次分析。其他自动化或脚本作为复杂自动化链条中的一环。图像捕获器当触发条件满足时ha-llmvision会调用 Home Assistant 的核心服务camera.snapshot。这个服务会从你指定的摄像头实体例如camera.front_door抓取一张当前时刻的快照。这里有一个关键点它抓取的是经过 Home Assistant 处理的视频流中的一帧这意味着如果摄像头本身支持云台控制、移动侦测等你需要确保 Home Assistant 中的这个实体状态是正常的。视觉大语言模型引擎这是项目的“大脑”。捕获的图像通常会被编码为 Base64 字符串或临时文件连同你预先设定的“提示词”一起被发送到你配置的 LLM 服务提供商。例如如果你配置的是 OpenAI那么请求会被发往https://api.openai.com/v1/chat/completions调用的是gpt-4-vision-preview模型。提示词的作用至关重要它告诉模型“你需要关注什么”以及“如何回答”。一个典型的提示词可能是“请用简洁的一句话描述这张图片中的主要活动、人物和异常物体。如果画面中没有人请说明‘场景空旷’。”结果解析与实体更新LLM 返回一段自然语言描述例如“画面中有一位穿着红色上衣的成年男性正在门口递送一个包裹。”ha-llmvision会创建一个专属的传感器实体例如sensor.llmvision_front_door_description并将这段描述文本更新为该传感器的状态state。同时返回的完整响应包括可能的 JSON 格式内容通常会被保存在该传感器的属性attributes中供后续使用。自动化决策最后Home Assistant 的自动化引擎登场。你可以创建一个新的自动化其触发条件就是上一步中那个传感器实体的状态变化。然后在自动化动作中你可以使用模板如{{ ‘包裹’ in states(‘sensor.llmvision_front_door_description’) }}来解析描述文本判断是否包含关键词如“包裹”、“陌生人”、“烟雾”等进而执行发送通知、打开灯光、录制视频等操作。注意整个流程的延迟主要来自两部分网络往返 LLM API 的耗时以及 LLM 模型本身的分析耗时。对于实时安防场景这可能会有几秒到十几秒的延迟需要根据实际场景评估其适用性。2.2 配置模型与提示词工程项目的核心配置在于configuration.yaml或通过 UI 添加集成时的设置项。你需要做出几个关键选择1. LLM 服务提供商选择OpenAI GPT-4V目前视觉理解能力最强的商用模型之一精度高响应格式规范但需要付费 API Key且存在隐私考量图像会上传至 OpenAI 服务器。Google Gemini Pro Vision另一个强大的选择有时在特定任务上可能有不同表现同样需要 API Key 并涉及数据出域。Ollama (本地部署)这是隐私和成本控制的最佳选择。你可以在家庭服务器如 NAS、旧电脑上部署 Ollama并运行开源的视觉模型如llava、bakllava或moondream。ha-llmvision支持直接连接到本地的 Ollama API。优点是数据完全本地处理零费用缺点是硬件要求较高需要 GPU 或强大 CPU且模型能力与顶级商用 API 尚有差距。其他 API 兼容服务任何提供与 OpenAI API 兼容接口的服务理论上都可以接入这提供了很大的灵活性。2. 提示词设计技巧提示词是控制模型输出的方向盘。设计不当返回的结果可能冗长、无关或格式混乱。明确指令直接告诉模型你要什么。例如“仅用三个以内的关键词描述图片内容用逗号分隔。”限定输出格式这对于后续自动化解析至关重要。例如“请以 JSON 格式回答包含 ‘has_person’ (布尔值), ‘person_count’ (整数), ‘main_activity’ (字符串) 三个字段。”场景化引导将模型“代入”角色。例如“你是一个家庭安全监控系统。请分析这张图片判断是否存在安全风险如入侵、火灾、漏水。如有指出风险类型如无回复‘安全’。”迭代优化不要指望一次写对。在 Home Assistant 的开发工具-服务中多次调用llmvision.process服务进行测试根据返回结果调整你的提示词。3. 从零开始的完整部署与配置指南下面我将以最常用的OpenAI GPT-4V和本地 Ollama Llava两种方案为例手把手带你完成部署和基础场景配置。3.1 方案一使用 OpenAI GPT-4V云端方案此方案适合追求最佳识别效果、不想折腾本地硬件且对隐私要求不极致的用户。步骤1前期准备确保你的 Home Assistant 已安装并正常运行版本建议在 2023.5 以上。拥有一个 OpenAI 账号并在 OpenAI Platform 上生成一个 API Key。确保你的账户有足够的余额或已设置付费方式GPT-4V 是付费 API。步骤2安装 HACS 并添加集成ha-llmvision通常通过 HACSHome Assistant Community Store安装这是管理第三方集成最方便的方式。如果你的 HA 还没有安装 HACS请先根据官方文档安装 HACS。打开 HACS 面板点击右下角的“浏览并下载存储库”。在搜索框中输入 “llmvision”找到 “LLM Vision” 这个集成作者 valentinfrlch。点击“下载”选择最新版本等待下载完成。下载完成后重启 Home Assistant 核心。这是关键一步不重启集成不会出现。步骤3配置集成重启后进入“设置” - “设备与服务” - “集成”。点击右下角“添加集成”搜索 “LLM Vision” 并点击。在配置界面中Name: 给你的这个实例起个名字例如 “前门视觉分析”。LLM Provider: 选择 “OpenAI”。API Key: 填入你的 OpenAI API Key。Model: 选择 “gpt-4-vision-preview” 或更新版本。Camera Entity: 选择你想要分析的摄像头如camera.front_door。Prompt: 输入你的提示词。这里我们先用一个简单的“描述这张图片中的场景重点注意人物、车辆和包裹。”其他参数如温度Temperature、最大 Token 数可以保持默认。点击“提交”。配置成功后你会立刻在同一个页面看到一个新创建的传感器实体例如sensor.llmvision_front_door_description。步骤4创建测试自动化现在我们来创建一个手动触发的脚本用于测试。进入“设置” - “自动化与场景” - “脚本”。点击“创建脚本”选择“通过 UI 编辑”。添加一个动作服务选择llmvision.process目标实体选择你刚刚配置的llmvision.front_door这是一个“对话”实体不是传感器。保存脚本命名为“测试前门视觉分析”。回到仪表盘添加一个按钮卡片调用这个脚本。点击按钮稍等几秒然后去检查sensor.llmvision_front_door_description这个传感器的状态。你应该能看到 GPT-4V 对当前摄像头画面的描述。3.2 方案二使用本地 Ollama Llava隐私优先方案此方案适合注重数据隐私、有闲置硬件支持 Docker且愿意接受可能稍弱但完全够用的识别能力的用户。步骤1部署 Ollama 服务器假设你有一台运行 Linux如 Ubuntu的本地服务器或 NAS。通过脚本安装 Ollamacurl -fsSL https://ollama.com/install.sh | sh拉取一个视觉模型。Llava 是一个很好的起点ollama pull llava启动 Ollama 服务它默认会在11434端口提供 API。步骤2在 Home Assistant 中配置集成同上通过 HACS 安装ha-llmvision集成并重启。添加集成时LLM Provider选择 “Ollama”。关键配置项Base URL: 填写你的 Ollama 服务器地址例如http://192.168.1.100:11434请替换为你的服务器内网 IP。Model: 填写llava。Camera Entity和Prompt的配置与方案一相同。提交后同样会创建传感器实体。实操心得本地部署时网络稳定性很重要。确保 Home Assistant 主机能稳定访问 Ollama 服务器的 IP 和端口。首次调用可能会比较慢因为模型需要加载到内存。你可以通过访问http://你的Ollama服务器IP:11434/api/tags来验证 Ollama API 是否正常工作。3.3 配置优化与高级参数无论哪种方案集成的配置项里都有一些高级参数值得关注Scan Interval: 如果使用“平台”模式自动定期扫描这个参数定义了扫描间隔。对于大多数自动化触发场景我们更倾向于手动调用服务所以这个值可以设大一些或不使用平台模式。Max Tokens: 限制模型回答的长度。对于简单的描述设置为 100-150 通常足够有助于减少响应时间和 Token 消耗对 OpenAI 方案。Temperature: 控制回答的随机性。0 表示最确定、一致1 表示更具创造性。对于安防等需要稳定输出的场景建议设置为 0.1 或 0.2。Save Image Folder: 一个非常实用的调试功能。可以指定一个本地文件夹路径ha-llmvision会在每次调用时将发送给模型的图片保存下来。这对于调试提示词、分析模型为何出错是图片问题还是理解问题至关重要。4. 实战构建智能安防与生活自动化场景配置好基础集成只是开始真正的价值在于将其融入自动化。下面分享几个我实际在用的场景配置片段。4.1 场景一快递包裹到达通知目标当门口摄像头检测到有包裹被放下时向手机发送通知。思路利用 GPT-4V 理解“包裹”这个概念而不仅仅是识别一个“矩形物体”。创建专用 LLM Vision 实例 在集成配置中为前门摄像头创建一个新实例命名为“package_detector”。提示词设置为“请判断图片中门口地面上是否有快递包裹或箱子。如果有回答‘有包裹’如果没有回答‘无包裹’。不要描述其他内容。”创建触发自动化触发器选择事件触发器事件类型为state_changed。实体 ID 选择上一步创建的传感器例如sensor.llmvision_package_detector_description。条件为了减少误报可以添加条件。例如时间条件只在白天、摄像头状态条件摄像头在线。最重要的是使用模板条件来解析传感器状态condition: template value_template: “{{ ‘有包裹’ in trigger.to_state.state }}”动作发送通知到手机使用 Home Assistant 伴侣 App。可选保存一张当前快照到媒体库附在通知中。可选触发一段10秒钟的录像。# 自动化 YAML 示例片段 automation: - alias: “包裹到达通知” trigger: - platform: state entity_id: sensor.llmvision_package_detector_description condition: - condition: template value_template: “{{ ‘有包裹’ in trigger.to_state.state }}” - condition: time after: “08:00:00” before: “20:00:00” action: - service: notify.mobile_app_your_phone data: message: “门口发现一个包裹” data: image: “/api/camera_proxy/{{ states(‘camera.front_door’) }}”4.2 场景二老人起居安全监测目标监测老人日常活动如果白天在客厅长时间如2小时未检测到活动则发出提醒。思路定时例如每30分钟分析客厅摄像头画面判断是否有人。结合“输入布尔”或“辅助传感器”来计时。创建 LLM Vision 实例 提示词“图片中是否有人请只回答‘是’或‘否’。”创建复杂自动化 这个自动化需要两个部分。第一部分定时检测并更新状态。创建一个每30分钟触发一次的自动化调用llmvision.process服务然后根据结果传感器状态为“是”或“否”来重置或增加一个“无人计时器”可以用input_number或counter辅助实体实现。第二部分报警判断。创建一个每5分钟检查一次的自动化检查“无人计时器”是否超过120分钟。如果超过且是在白天则发送提醒通知给监护人。重要注意事项此场景涉及隐私务必谨慎。仅应在得到完全同意、且用于保障安全的情况下部署。摄像头应避开卧室、卫生间等私密区域。可以考虑使用低分辨率图像或特定角度仅用于检测“有无人”这种宏观信息。4.3 场景三宠物行为监控目标当摄像头发现宠物在啃咬家具或闯入禁止区域时通过音箱发出警告声。思路让模型识别特定的宠物和不当行为。创建 LLM Vision 实例 提示词需要更具体“图片中是否有我的狗一只金毛犬在啃咬沙发、椅子或地毯如果有回答‘狗狗在啃东西’如果狗在但行为正常回答‘狗狗正常’如果狗不在画面中回答‘无狗’。”创建自动化触发器运动传感器触发或定时触发。条件解析传感器状态包含“狗狗在啃东西”。动作在客厅的智能音箱上播放一段预设的警告音频如“坏狗狗”。可选向手机发送一张快照。5. 常见问题、性能优化与避坑指南在实际使用中你肯定会遇到各种问题。以下是我踩过坑后总结的经验。5.1 常见错误与排查问题现象可能原因排查步骤与解决方案集成添加失败或找不到实体HACS 安装后未重启 HA配置参数错误如 API Key 无效。1. 务必在 HACS 安装后重启 Home Assistant 核心。2. 检查 API Key 是否正确是否有余额OpenAI。3. 检查 Ollama 服务器地址和端口是否能从 HA 主机访问。调用服务后传感器状态无更新摄像头实体无法抓图LLM API 调用超时或失败提示词导致模型返回空或错误格式。1. 在“开发者工具-服务”中手动调用camera.snapshot服务测试摄像头能否正常抓图。2. 查看 Home Assistant 日志home-assistant.log搜索llmvision或OpenAI/Ollama关键字通常会有详细的错误信息。3. 简化提示词进行测试例如只写“描述这张图片”。4. 启用Save Image Folder功能查看发送出去的图片是否清晰、完整。响应速度非常慢网络延迟高尤其是 OpenAI本地 Ollama 模型首次加载或硬件性能不足图片尺寸过大。1. 对于云端 API无解属于物理延迟。2. 对于 Ollama确保服务器性能足够。考虑使用更小的模型如moondream。3. 在 Home Assistant 中调整摄像头的流编码和分辨率传给 LLM 的图片不需要 4K720P 甚至 480P 通常足够能大幅减少传输和处理时间。可以在摄像头配置或image_processing环节进行缩放。识别结果不准确或不符合预期提示词设计不佳图片光线/角度差模型能力有限。1.精炼提示词这是最重要的调优手段。明确指令限定输出格式给出例子Few-shot prompting。2.优化图像源确保摄像头画面清晰、光线充足。必要时可先通过 Home Assistant 的image_processing集成进行一些预处理如去噪、增强对比度。3.更换或微调模型对于本地部署可以尝试不同的模型。对于复杂任务商用 APIGPT-4V的准确率远高于开源小模型。5.2 成本控制与性能优化OpenAI 成本控制降低调用频率不要用平台模式定时轮询。务必基于事件如运动检测触发。优化图片尺寸这是节省 Token 的关键。GPT-4V 的计费与输入的图像 Token 数有关。在ha-llmvision的高级配置中可以设置image_size参数如512x512强制缩放图像能极大降低成本。使用更经济的模型关注 OpenAI 发布的新模型有时会有更便宜但性能不错的视觉模型。设置用量告警在 OpenAI 后台设置每月预算和用量告警。本地 Ollama 性能优化硬件是基础GPU 加速NVIDIA能带来质的飞跃。如果没有 GPU确保 CPU 有足够强的单核性能和大内存。模型选型llava是平衡之选。moondream更小更快但能力稍弱。根据任务复杂度选择。Ollama 参数运行 Ollama 时可以指定-num-gpu等参数来充分利用硬件。使用keep_alive在 Ollama 的模型配置中设置keep_alive参数让模型常驻内存避免每次调用都重新加载。5.3 隐私与安全考量数据出域使用 OpenAI、Google 等云端服务意味着你的家庭图像数据会离开本地网络。请仔细阅读其隐私政策评估风险。对于室内或敏感区域摄像头强烈建议使用本地 Ollama 方案。本地网络隔离即使使用 Ollama也应确保 Ollama 服务器和 Home Assistant 处于安全的家庭内网中不要将相关端口暴露到公网。最小权限原则只为ha-llmvision集成提供必要的摄像头访问权限。在 Home Assistant 中可以考虑为这个用途创建一个摄像头视图View只输出低分辨率、裁剪过的画面。告知与同意如果家中还有其他成员务必告知家中摄像头的 AI 分析功能及其用途尊重每个人的隐私。最后一点心得ha-llmvision不是一个“开箱即用”的完美产品而是一个强大的“乐高积木”。它的效果严重依赖于提示词工程、图像质量和自动化逻辑设计。不要期望它一次配置就能解决所有问题。把它当作一个需要不断调试和优化的系统组件从简单的场景开始比如“有没有人”逐步增加复杂度“有没有人拿着包裹”你就能越来越得心应手真正打造出具备“视觉智能”的个性化家居系统。
相关文章
搜索广告算法工程师大模型学习--1.计划
大模型时代搜索广告算法专家：理论与数学重构进阶计划 前置约束与学习定调： 核心目标：从传统 NLP 分类思维彻底向大模型生成式思维（Generative）与搜索广告业务思维（Ranking/Retrieval）转型。学…
开发者效率工具openclaw-coding-kit：本地化、模块化与自动化实践
1. 项目概述：一个为开发者量身定制的“瑞士军刀”最近在GitHub上看到一个挺有意思的项目，叫GalaxyXieyu/openclaw-coding-kit。光看名字，openclaw（开放之爪）和coding-kit（编码工具包）就透着一股…
ARM CHI接口设计原理与多核系统优化实践
1. ARM CHI接口概述与设计背景在当今多核处理器架构中，缓存一致性协议的设计直接决定了系统性能的上限。作为ARMv8-A架构中的关键互连协议，CHI（Coherent Hub Interface）通过创新的分层设计和虚拟通道机制，有效解决了传…
101种美食-图像分类数据集
101种美食图像分类数据集 数据集（文章最后关注公众号获取数据集）： 通过网盘分享的文件： 链接: https://pan.baidu.com/s/1MWasy2HPJSknwgA5IrrNSA?pwdzj6u 提取码: zj6u 数据集信息介绍 apple_pie（苹果派）…
77种商品-图像分类数据集
77种商品图像分类数据集 数据集（文章最后关注公众号获取数据集）： 链接: https://pan.baidu.com/s/1Xcj5Z-RSUjGH47OIbH5wjQ?pwd=fq2p 提取码: fq2p 数据集信息介绍： 以下是整理后的清晰呈现，按照商品名称首字母顺序进行排列： 东方树叶红茶：文件夹中的图片数量为 150 …
Linux内核构建自动化：jpoindexter/kern工具实战指南
1. 项目概述：一个被低估的Linux内核构建工具 如果你和我一样，长期在嵌入式开发、内核模块调试或者需要频繁定制Linux内核的岗位上工作，那么你一定对内核的配置、编译、打包这一套繁琐的流程感到又爱又恨。爱的是，这是深入理解操作…
leetcode279.完全平方数
给你一个整数 n ，返回 和为 n 的完全平方数的最少数量 。完全平方数 是一个整数，其值等于另一个整数的平方；换句话说，其值等于一个整数自乘的积。例如，1、4、9 和 16 都是完全平方数，而 3 和 11 不是。 示…
Arm Iris Components调试与追踪接口技术解析
1. Arm Iris Components调试与追踪接口深度解析1.1 调试接口架构设计原理Arm Iris Components的调试架构采用分层设计理念，核心由三个关键部分组成：调试访问端口(DAP)：基于Arm CoreSight技术，提供对处理器内核的底层访问通道。在F…
AI应用评估框架Tonic Validate：从原理到实战的完整指南
1. 项目概述：一个为AI应用量身定制的评估框架如果你正在开发或维护一个基于大语言模型的应用，无论是智能客服、内容生成工具，还是复杂的问答系统，那么你一定绕不开一个核心问题：如何科学、高效地评估它的表现ÿ…
SD-PPP：在Photoshop中开启智能设计革命的终极AI插件
SD-PPP：在Photoshop中开启智能设计革命的终极AI插件 【免费下载链接】sd-ppp A Photoshop AI plugin 项目地址: https://gitcode.com/gh_mirrors/sd/sd-ppp 你是否厌倦了在Photoshop和AI工具之间频繁切换，打断了创意的流畅性？SD-PPP正…
NomNom存档编辑器：解放你的《无人深空》游戏体验终极指南
NomNom存档编辑器：解放你的《无人深空》游戏体验终极指南 【免费下载链接】NomNom NomNom is the most complete savegame editor for NMS but also shows additional information around the data youre about to change. You can also easily look up each item i…
5个专业策略：构建企业级本地漏洞情报分析平台
5个专业策略：构建企业级本地漏洞情报分析平台 【免费下载链接】cve-search cve-search - a tool to perform local searches for known vulnerabilities 项目地址: https://gitcode.com/gh_mirrors/cv/cve-search 在当今复杂的网络安全环境中，快速…
贾子理论与AI时代文明竞争：从暴力计算到本质贯通的范式重构
贾子理论与AI时代文明竞争：从暴力计算到本质贯通的范式重构摘要本文基于贾子理论的文明竞争视角，揭示中美AI战略差异的本质并非技术参数较量，而是“暴力计算”与“本质贯通”两种文明范式的根本对立。美国依赖算力堆叠与资本逻辑追求技术霸权…
2026年AI大模型API中转平台排名揭晓，诗云API(ShiyunApi)脱颖而出成省心之选
在AI开发领域，如何接入模型厂商的官方API是一个绕不开的现实问题。对于海外开发者来说，注册、绑卡、调用，三步即可轻松搞定。然而，国内开发者却面临着跨境网络波动、外币支付门槛、发票合规需求以及多厂商Key碎片化管理等诸多“非…
基于飞书与OpenAI构建企业级AI助手：架构、部署与深度优化指南
1. 项目概述：当飞书遇上AI，一个企业级智能助手的诞生 最近在折腾一个挺有意思的项目，叫“ConnectAI-E/feishu-openai”。简单来说，它就是一个桥梁，把飞书这个强大的企业协作平台，和以ChatGPT为代表的OpenA…
MPC-BE：基于DirectShow架构的专业级开源媒体播放解决方案
MPC-BE：基于DirectShow架构的专业级开源媒体播放解决方案 【免费下载链接】MPC-BE MPC-BE – универсальный проигрыватель аудио и видеофайлов для операционной системы Windows. 项目地址:…
如何快速计算3D模型体积和重量：STL-Volume-Model-Calculator终极指南
如何快速计算3D模型体积和重量：STL-Volume-Model-Calculator终极指南 【免费下载链接】STL-Volume-Model-Calculator STL Volume Model Calculator Python 项目地址: https://gitcode.com/gh_mirrors/st/STL-Volume-Model-Calculator 你是否曾经为3D打印项目…
通过Taotoken CLI工具一键配置团队开发环境与模型密钥
通过Taotoken CLI工具一键配置团队开发环境与模型密钥 1. CLI工具安装与基本使用 Taotoken提供的CLI工具可通过npm全局安装或直接使用npx运行。对于需要频繁使用CLI的团队，推荐全局安装： npm install -g taotoken/taotoken对于临时使用或项目级配置&a…