🥬ESP32和TensorFlow Lite面向微控制器的第一步
ESP32 | TensorFlow Lite | Fashion MNIST
简要计划
选择硬件。选择微控制器的软件开发环境。设置开发环境。
第一步，运行“ ESP32 Hello World”以熟悉新的世界。
从TensorFlow示例仓库运行“ TensorFlow Lite Hello World”。
从零开始构建，部署和运行“ Fashion MNIST”应用程序。
结论，下一步。
硬件和软件
开始选择实验平台的最佳方法是查看TensorFlow Lite for Microcontrollers支持的平台列表。 我选择了ESP32平台。 由于我要用视频和音频进行实验，因此我对板子的限制是：用微型USB电缆连接，没有其他连接或焊接，板载摄像头，板载麦克风。
有很多用于对ESP32进行编程的IDE。选择哪个？让我们看一下TensorFlow Lite for Microcontrollers文档，其中说：
它不需要操作系统支持，任何标准的C或C ++库或动态内存分配。 Arm Cortex M3的核心运行时大小为16 KB，并且有足够的运算符来运行语音关键字检测模型，总共需要22 KB。
因此，我们可以选择任何“ vim + console”。 棒！ 在选择特定的软件环境（IDE）之前，我查看了TensorFlow Lite ESP32演示，发现TensorFlow团队使用ESP-IDF版本4.0。 现在这是一个不稳定的版本，但事实不会成为我们的障碍。 我们将使用当今的实际版本4.1。 事实证明，存在用于ESP-IDF项目的官方Visual Studio代码扩展。 因此，选择编辑器似乎很明显。 这次，我们将使用VSCode作为智能编辑器，而不是将其用作功能齐全的IDE。
让我们准备软件。 我的开发计算机运行Ubuntu。 我更喜欢将存储库和软件放在某些地方，所以有时我会选择定制的安装。 我认为您对终端机很熟悉。 然后，我们将根据官方安装说明执行一些步骤：
准备目录结构。
为ESP-IDF安装先决条件。然后获取ESP-IDF。然后设置ESP IDF工具。
通过从官方站点下载并安装.deb来设置VSCode。
将用于ESP-IDF项目的官方Visual Studio代码扩展安装到VSCode中。
准备目录结构
ESP32 Hello World示例
TensorFlow Lite Hello World
实现应用程序
注意：TensorFlow Lite for Microcontrollers仍然是一个试验端口，并且代码库每天都在变化。可能您会遇到除我以外的其他问题。
要使用ESP IDF从头开始构建应用程序，我们必须了解构建系统的工作原理。 ESP IDF构建系统是基于CMake的构建系统，这是自ESP-IDF V4.0起的默认设置。 它使用“组件”的概念来构造项目。 我们可以在Espressif文档中找到项目目录树的示例：
通常，为微控制器构建ML项目包括两个阶段：与ML相关的（构建模型，优化，转换）和与微控制器相关的（将模型部署到微控制器并与业务逻辑集成）部分。 因此，我们需要三件事：模型，TensorFlow Lite和数据源。
第一阶段：建筑模型，将其转换为TensorFlow Lite
我使用Fashion MNIST数据构建了输入图像14x14像素大小的模型。我的模型的结构如下所示：
第二阶段：构建和部署应用程序
从克隆esp-iot-solution仓库开始。然后复制空项目并将其用作我们的ESP32_Fashion_MNIST项目的基础。
将TensorFlow Lite for Microcontrollers组件components / fmicro从TensorFlow Hello World项目复制到我们项目的组件中。 从项目中删除component1和component2。 将model_data.cc文件放入主目录。 现在我们需要将所有内容连接在一起。 在这里，我解释了唯一的管道。 您可以在源代码中看到的所有详细信息。
为了方便起见，我们将管道放置在main.cc文件中，其他有用的代码将放置在main_functions.cc文件中。
对于我们的管道，如果出现问题，将需要记录器MicroErrorReporter接收消息。
Last updated