# Python数据管道及实时边缘数据(物联网)Kafka-MiNiFi和Spark

{% tabs %}
{% tab title="关键词" %}
Python | 数据管道 | 边缘数据 | Kafka | MiNiFi | Spark | 数据处理 | Apache Airflow | 有向无环图 (DAG) | Apache NiFi | Elasticsearch | Kibana | PostgreSQL | pgAdmin 4|  逗号分隔值 (CSV) | Pandas | json | NoSQL | 探索性数据分析(EDA) | Kibana 仪表板 | SeeClickFix | 幂等数据管道 | 原子数据管道 | Jupyter Notebook | REST API | Kafka集群 | PySpark
{% endtab %}

{% tab title="梗概" %}
### 数据管道

#### 数据工程

#### 构建数据工程基础架构

主题：安装和配置 Apache NiFi，安装和配置 Apache Airflow ，安装和配置 Elasticsearch ，安装和配置 Kibana ，安装和配置 PostgreSQL ，安装 pgAdmin 4

#### 读写文件

主题：在 Python 中读取和写入文件 ，在 Airflow 中处理文件 ，用于处理文件的 NiFi 处理器 ，在 Python 中读取和写入数据到数据库 ，Airflow 中的数据库 ，NiFi 中的数据库处理器

#### 数据库

主题：在 Python 中插入和提取关系数据 ，在 Python 中插入和提取 NoSQL 数据库数据 ， 在 Airflow 中构建数据库管道 ， 在 NiFi 中构建数据库管道

#### 清理、转换和丰富数据

主题：在 Python 中执行探索性数据分析 ， 使用 pandas 处理常见数据问题 ， 使用 Airflow 清理数据

#### 构建SeeClickFix数据管道

主题：构建数据管道 ， 构建 Kibana 仪表板

### 部署生产数据管道

#### 生产管道的特征

主题：暂存和验证数据 ， 构建幂等数据管道 ，构建原子数据管道

#### 使用 NiFi 注册表进行版本控制

主题：安装和配置 NiFi 注册表 ， 在 NiFi 中使用注册表 ， 对数据管道进行版本控制 ， 将 git-persistence 与 NiFi 注册表一起使用

#### 监控数据管道

主题：在 GUI 中监控 NiFi ，使用处理器监控 NiFi ， 使用 Python 和 REST API 监控 NiFi

#### 构建生产数据管

主题：最终确定生产数据管道 ，使用 NiFi 变量注册表 ， 部署数据管道

### 实时数据管道

#### 构建 Kafka 集群

主题：创建 ZooKeeper 和 Kafka 集群 ， 测试 Kafka 集群

#### 使用 Apache Spark 进行数据处理

主题：了解日志 ， 了解 Kafka 如何使用日志 ， 使用 Kafka 和 NiFi 构建数据管道 ， 区分流处理和批处理 ，使用 Python 进行生产和消费

#### 使用 MiNiFi、Kafka 和 Spark 的实时边缘数据

主题：安装和运行Spark，安装和配置Pyspark，使用Pyspark处理数据

#### 使用 Apache Kafka 流式传输数据

主题：在设备上设置 MiNiFi ， 在 NiFi 中构建和部署 MiNiFi 任务
{% endtab %}
{% endtabs %}

{% content-ref url="../zhi-dian-mi-jin-brief" %}
[zhi-dian-mi-jin-brief](../zhi-dian-mi-jin-brief)
{% endcontent-ref %}
