跳转到正文
VB Coding 篇约 11 分钟
打开原图 ↗

智能硬件 ​

ESP32 + AI 编程:普通人也能做出属于自己的智能硬件 ​

过去,想做一个属于自己的电子设备,往往要跨过好几道门槛:先懂电路和单片机,再学 C/C++,还要研究传感器、屏幕、通信协议和固件烧录。对大多数普通人来说,光是把开发环境搭起来,就足以劝退一大批人。

生成式 AI 正在改变这件事。

现在,你可以先从一个生活中的想法出发:做一个会提醒吃药的小设备、一个能和孩子聊天的桌面伙伴、一个显示日程和天气的桌面屏幕,或者一个能语音控制家电的小终端。再借助 ChatGPT、Cursor、Claude Code 等 AI 编程工具,把需求逐步转成硬件方案、程序代码和可运行的固件。

而 ESP32,正是实现这些想法时很值得认识的一类硬件平台。

这篇文章想讲的重点不是如何成为嵌入式工程师,而是:AI 编程如何帮助普通人利用 ESP32,把自己的创意更快地变成真正能使用的硬件。

一、ESP32 是什么?为什么适合做创意硬件? ​

ESP32 是乐鑫科技(Espressif Systems)推出的一系列微控制器芯片。市面上常见的 ESP32 开发板,通常已经集成了芯片、电源电路、USB 接口,并引出了方便连接外设的引脚。

可以把它理解为一块小型、低功耗、能够联网的设备控制核心。它不像电脑那样运行 Windows 或 Linux,也不适合承担复杂的通用计算任务,但很擅长读取传感器、控制屏幕和电机、连接网络,以及与服务器交换数据。

ESP32 开发板连接传感器与 OLED 屏幕

ESP32 常见的能力包括:

  • 连接网络:根据具体型号支持 Wi-Fi、蓝牙或低功耗蓝牙,可以与手机、路由器和服务器通信。
  • 感知环境:连接温度、湿度、光照、距离、声音等传感器,读取现实世界的数据。
  • 控制设备:驱动 LED、继电器、电机、舵机、蜂鸣器和显示屏等外设。
  • 接入互联网服务:通过 HTTP、MQTT、WebSocket 等方式访问后端接口。
  • 运行轻量智能算法:部分型号和方案可以在设备端完成简单的语音识别、图像分类或传感器数据分析。

ESP32 的价值不在于它有多强大的算力,而在于它便宜、体积小、功耗低、外围模块丰富,而且拥有成熟的开源生态。它可以成为一个创意硬件的控制核心。

二、AI 编程带来的变化:从“先学硬件”变成“先描述想法” ​

传统的硬件开发通常从芯片和电路开始。开发者需要先弄清楚使用什么芯片、如何接线、选择什么驱动、程序如何组织,再一点点实现功能。

AI 编程让这个过程有了另一种起点:先把想做的东西描述清楚,再让 AI 帮助拆解实现路径。

例如,你想做一个放在桌面上的小设备:

  • 屏幕显示时间、天气和日程。
  • 每天早上提醒当天的重要安排。
  • 可以按下按钮切换页面。
  • 连接 Wi-Fi,从自己的服务端获取数据。
  • 后续还想加入语音提问和 AI 摘要。

过去,你可能不知道应该买什么屏幕、如何连接、要写多少代码。现在可以先把需求告诉 AI,让它帮助完成前期规划:

  1. 拆解需求:把“做一个桌面助手”拆成屏幕显示、网络请求、按键交互、数据缓存等具体功能。
  2. 规划硬件:根据功能推荐 ESP32 型号、屏幕、按键、传感器和其他模块。
  3. 生成程序:编写初始化、显示、网络通信、按键处理等代码。
  4. 搭建项目:生成项目目录、配置文件、依赖说明和编译脚本。
  5. 编译与排错:根据编译器输出分析错误,修改代码和配置。
  6. 实机迭代:把固件烧录到开发板,观察实际效果,再反馈问题继续修改。

这意味着,普通人不必一开始就掌握所有底层知识,也能借助 AI 完成一个可运行的原型。硬件知识仍然重要,但可以围绕当前项目逐步学习,不必等到“全部学会”才开始动手。

一个需求示例 ​

可以这样向 AI 描述项目:

我想做一个放在办公桌上的信息助手。

使用 ESP32-S3 开发板和一块 2.4 英寸彩色屏幕,连接 Wi-Fi 后从我的服务端获取天气、日程和待办事项。设备有三个实体按键,可以切换页面和确认操作。先完成基础显示和网络功能,后续再增加语音交互。

请先给出硬件清单、接线方案和软件架构,再生成可以编译的项目代码。每完成一个阶段,都告诉我如何编译、烧录和验证。不要假设没有确认过的引脚和硬件型号。

好的 AI 开发流程不是一句“帮我做个设备”就结束,而是让 AI 先分析需求、确认硬件条件,再分阶段实现。这样更容易得到可靠结果,也方便定位问题。

三、ESP32 能做什么?把日常想法变成自己的设备 ​

ESP32 的应用不必局限于传统的传感器实验。只要能把需求拆成输入、处理、输出和通信,就有机会做成一个专属设备。

1. 桌面信息助手 ​

在小屏幕上显示时间、天气、日程、待办事项、新闻摘要或服务器状态。可以根据自己的工作习惯设计页面和交互,而不是迁就现成产品的功能。

2. 语音 AI 伙伴 ​

接入麦克风和扬声器,让设备能够听懂问题、回答问题,甚至拥有一个自定义角色。它可以是桌面陪伴设备、学习助手,也可以是家庭中的语音入口。

3. 家庭自动化设备 ​

连接温湿度传感器、光照传感器和继电器,根据设定条件控制灯光、风扇或其他设备。AI 可以帮助生成控制程序,也可以在后端理解自然语言指令。

涉及市电、电器和门锁等设备时,必须认真处理电气安全、权限和误操作风险。原型阶段优先使用低压模块,市电接线应交由具备资质的人员完成。

4. 个性化提醒器 ​

制作喝水提醒、番茄钟、学习计时器、服药提醒或家庭日程提醒设备。提醒方式、界面、声音和操作逻辑都可以按个人习惯定制。

5. 摄像头与视觉终端 ​

连接摄像头模块,实现简单的图像采集、移动检测或轻量识别。需要复杂图像理解时,可以将图片上传到服务器,由云端视觉模型处理。

6. 小车、机器人和互动玩具 ​

通过电机、舵机、传感器和语音模块,制作可以移动、避障、响应指令的机器人。AI 可以协助完成控制逻辑、交互设计和调试。

这些项目有一个共同点:它们不是为了展示某个芯片能做什么,而是围绕具体的人和具体的需求,制作一件真正用得上的东西。

四、两个值得关注的开源项目:AI Passport 与小智 ESP32 ​

如果想知道 AI 编程与 ESP32 结合后究竟能做到什么,建议直接看看已经有人做出来的开源项目。它们比单纯的 LED 点灯示例更能体现 AI 辅助硬件开发的方向。

1. FoloToy AI Passport:让 AI 编程工具帮你开发自己的随身设备 ​

项目地址:FoloToy/ai-passport

AI Passport 是 FoloToy 开放出来的可穿戴 AI 硬件开发平台。它的思路很有代表性:提供硬件、基础固件、开发文档和 AI Agent 开发指引,让开发者可以在现有硬件上制作自己的应用体验。

它不是一个只能固定运行某种 AI 对话的成品,而是希望开发者能够修改和扩展设备功能。例如,可以把它改造成:

  • 随身 AI 伙伴或个性化陪伴设备。
  • 习惯打卡、番茄钟或计时器。
  • 简单小游戏或互动玩具。
  • 具有专属页面和操作方式的小工具。
  • 根据个人需求设计的随身信息终端。

这个项目特别值得关注的地方,是它把 AI 编程工具纳入了开发流程。仓库提供了面向 AI Agent 的说明和开发指南,使用者可以让编程助手先阅读项目规则、了解硬件能力,再根据自己的需求实现应用。

它也强调了一个重要原则:AI 生成代码不代表硬件已经验证。程序编译成功之后,仍然需要在真实设备上烧录、测试屏幕、按键、音频和电源等功能。

它适合什么人?

希望基于一块现成的可穿戴设备,借助 AI 编程快速开发个性化应用的人。相比从零设计 PCB 和外壳,这种方式可以把精力更多放在“我要让它变成什么”上。

项目地址:https://github.com/FoloToy/ai-passport

2. 小智 ESP32:把普通开发板变成 AI 语音设备 ​

项目地址:78/xiaozhi-esp32

小智 ESP32 是一个基于 ESP32 的开源 AI 语音交互项目。它将 ESP32 开发板、麦克风、扬声器和云端大模型服务组合起来,让硬件设备具备语音对话能力。

小智 ESP32 语音交互设备

它展示了一个非常直观的效果:原本只会执行固定程序的开发板,可以变成能够听懂人说话、进行对话并执行部分控制操作的 AI 终端。

项目包含的能力包括:

  • 语音交互:支持语音采集、语音播放,以及语音识别、大模型和语音合成等对话链路。
  • 离线唤醒:在支持的硬件和配置下,可以使用本地语音唤醒能力。
  • 多种通信方式:支持 WebSocket,以及 MQTT + UDP 等通信方案。
  • 屏幕表情和状态显示:部分开发板可以通过 OLED 或 LCD 显示表情、对话内容和设备状态。
  • 设备控制:通过 MCP 等机制,让模型调用设备侧能力,例如控制灯光、GPIO、舵机等。
  • 多种硬件适配:支持多个 ESP32 系列芯片和不同厂商的开发板,具体能力取决于板卡配置。

小智项目的意义不只是“做了一个 AI 音箱”,更重要的是展示了 AI 如何通过一个实体设备与现实世界交互。它还提供了自定义开发板、通信协议和设备控制相关文档,可以作为进一步改造的基础。

对于普通使用者,可以先尝试使用项目提供的固件和配置方式体验语音助手;对于希望开发自己产品的人,则可以研究固件结构、硬件适配和通信协议,再借助 AI 编程工具修改功能。

它适合什么人?

希望快速体验 AI 语音硬件,或者想把现有 ESP32 开发板改造成语音助手、桌面伙伴和智能控制终端的人。

项目地址:https://github.com/78/xiaozhi-esp32

两个项目有什么区别? ​

对比FoloToy AI Passport小智 ESP32
核心方向可穿戴设备上的个性化应用开发AI 语音交互和设备控制
主要体验根据自己的想法开发设备应用与 AI 语音聊天、控制设备
开发方式基于指定硬件、BSP 和项目开发指南扩展基于 ESP-IDF 固件和多种开发板适配
AI 编程价值借助 Agent 理解项目并开发新应用借助 AI 修改固件、适配硬件和扩展功能
适合的起点想做一个属于自己的随身小设备想先做出一个能对话的 AI 硬件

这两个项目代表了两种不同的切入点:一个强调在现成硬件上创造自己的应用,另一个强调让 ESP32 设备拥有 AI 语音交互能力。它们都能帮助初学者从“看别人做”走向“自己动手改”。

五、AI 编程开发硬件,实际需要哪些工具? ​

AI 可以帮忙写代码,但仍然需要开发环境把代码编译成固件,再烧录到开发板中。常见工具包括:

工具用途
ChatGPT需求拆解、硬件方案讨论、代码生成、错误分析
Cursor / VS Code查看和编辑项目代码,配合 AI 编程助手
Claude Code 等代码 Agent阅读项目、修改多个文件、执行构建和测试任务
PlatformIO管理项目、依赖、编译和烧录
ESP-IDF乐鑫官方开发框架,适合更完整和深入的开发
Arduino Core for ESP32提供相对简单的 Arduino 风格开发方式

入门路线:先做出东西,再逐步深入 ​

  • Arduino + PlatformIO:适合快速验证创意、连接常见传感器和制作原型。
  • ESP-IDF:适合需要更精细控制、复杂任务调度、音频处理或长期维护的项目。

如果使用已有开源项目,例如 AI Passport 或小智 ESP32,应该优先遵循项目自身指定的开发环境和版本要求,不要为了统一工具而随意升级 SDK 或替换依赖。

六、AI 能帮你做很多事,但硬件开发仍有几个现实问题 ​

AI 编程降低了开发门槛,却没有让硬件开发变成纯软件开发。以下问题仍然需要重视。

1. 硬件型号必须准确 ​

同样叫 ESP32-S3,不同开发板的引脚、屏幕、音频芯片、Flash 和 PSRAM 配置也可能不同。向 AI 提需求时,最好提供开发板的准确型号、商品页面、原理图或引脚图。

2. 接线和供电不能靠猜 ​

不同模块的工作电压和接口可能不同。GPIO 不能随意连接高电压负载,电机、继电器和扬声器也可能需要专门的驱动电路。接线前应核对数据手册和模块说明。

3. 编译成功不等于设备可用 ​

固件编译通过,只能说明代码通过了当前构建流程,不代表屏幕显示正确、麦克风能够采音、网络连接稳定或电池续航符合预期。必须进行真实设备测试。

4. AI 生成的代码需要审查 ​

AI 可能使用错误的引脚、过时的 API、不兼容的库,或者生成看似合理但无法运行的代码。应要求 AI 解释关键实现,并通过编译、日志和实机测试逐步验证。

5. 复杂 AI 通常需要云端协作 ​

ESP32 的资源有限,不适合直接运行 ChatGPT 级别的大语言模型。更常见的架构是设备负责采集和执行,服务器负责业务处理,云端模型负责复杂理解和推理。

七、从一个小需求开始:普通人的 ESP32 + AI 实践路线 ​

不建议刚入门就做复杂机器人或完整智能家居。更有效的方式是选一个自己确实需要的小工具,按阶段完成。

阶段要做的事情得到的成果
1. 描述想法写清楚设备用途、使用场景和交互方式一份简单需求说明
2. 选择硬件让 AI 协助选开发板、屏幕和传感器一份硬件清单和接线方案
3. 实现基础功能完成屏幕、按键、传感器等基础功能能运行的设备原型
4. 接入网络连接 Wi-Fi,访问自己的服务端能联网获取和上报数据
5. 增加 AI接入语音识别、大模型或 AI Agent能理解自然语言的设备
6. 实机迭代测试、记录问题、修改并重新烧录更稳定、真正可用的个人设备

一个很适合入门的项目是“桌面 AI 信息助手”:先显示时间和天气,再加入待办事项,最后增加语音提问和 AI 摘要。每一步都能独立完成,也能在过程中逐步学会硬件连接、固件开发和服务端通信。

八、结语:每个人都可以尝试做一件属于自己的智能硬件 ​

AI 编程与 ESP32 的结合,真正有吸引力的地方,并不是让开发者多写几段嵌入式代码,而是让更多人有机会把自己的想法做成真实的设备。

以前,想做一个专属硬件,往往需要先学习大量专业知识,或者依赖厂商提供的固定功能。现在,开源硬件、成熟的开发板、AI 编程工具和云端模型逐渐形成了一套新的创造方式:普通人可以先提出需求,让 AI 帮忙规划和实现,再通过真实设备测试,不断把想法变成现实。

你可以做一个市面上没有的桌面助手,也可以给家人做一个专属提醒器,或者把一块普通开发板改造成会聊天、能控制设备的 AI 伙伴。

硬件不一定要从复杂的电路设计开始,AI 也不只是屏幕里的聊天框。把 ESP32 作为连接现实世界的入口,再借助 AI 编程降低开发门槛,每个人都有机会创造一件真正适合自己的智能硬件。

参考资料与开源项目 ​

发现问题或有实践经验想分享? 参与讨论 ↗

把 AI 从「会聊天」推进到「能稳定交付」