# Python模拟概率统计机器学习

{% tabs %}
{% tab title="关键词" %}
Python | 概率统计 | 概率密度 | 随机变量 | 投影方法 | 期望 | 均方误差 | Numpy |scipy | TensorFlow | scikit-learn | Pandas | Sympy | 正态分布 | 多项式分布 | 卡方分布 | 泊松和指数分布 | 伽马分布 | Beta分布 | Dirichlet-多项式分布 | | 信息熵 |Kullbac-Leibler散度 | 蒙特卡洛方法 | 马尔可夫不等式 | 契比雪夫不等式 | 霍夫丁不等式 | 决策树 | 广义线性模型 | 正则化 | 支持向量机 | 降维 | 集群
{% endtab %}

{% tab title="梗概" %}
## 概率统计

### 了解概率密度

为了理解基于勒贝格积分理论的现代概率的核心，我们需要从基本演算中扩展积分的概念。 首先，让我们考虑以下分段函数：

$$f\left( x \right) =\begin{cases} 1   if\,\,0<x\leqslant 1\\ 2  if\,\,1<x\leqslant 2\\ 0  otherwise\\\end{cases}$$

如下图1显示，在微积分中，您学习了黎曼积分，可以在此处应用

$$\int_0^2{f\left( x \right) dx=1+2=3}$$

通过勒贝格集成，除了我们专注于y轴而不是沿x轴移动之外，这个想法非常相似。 给定问题$$f\left( x \right) =1$$，这是真的x个值的集合是什么？ 对于我们的示例，每当$$x\in \left( 0,1 \right]$$ 时，这都是正确的。因此，现在我们在函数的值（即1和2）与x值的集合之间具有对应关系，即$$\left\{ \left( 0,1 \right] \right\}$$ 和$$\left\{ \left( 1,2 \right] \right\}$$ 。要计算积分，我们只需简单地取函数值（即1,2）和某种方法来测量相应区间的大小（即，μ ），如下所示：

$$\int_0^2{fd\mu =1\mu \left( \left\{ \left( 0,1 \right] \right\} \right) +2\mu \left( \left\{ \left( 1,2 \right] \right\} \right)}$$

为了强调通用性，我们取消了上述某些表示法。 请注意，当$$\mu \left( \left( 0,1 \right] \right) =\mu \left( \left( 1,2 \right] \right) =1$$时，我们获得的积分值与黎曼情况相同。通过引入μ函数作为测量上述区间的一种方式， 我们在集成中引入了另一个自由度，它容纳了许多使用通常的黎曼理论无法处理的怪异功能，但我们为您提供了对勒贝格集成的适当介绍，以供进一步研究。 上面的讨论是引入μ函数，我们将再次遇到它作为所谓的概率密度函数。

### 介绍

* 随机变量
* 连续随机变量
* 微积分以外的变量转换
* 独立随机变量
* 经典断杆示例

### 投影方法

* 加权距离
* 条件期望作为投影
* 条件期望和均方误差

### 条件期望和均方误差优化的工作示例

### 有用的分布

* 正态分布
* 多项式分布
* 卡方分布
* 泊松和指数分布
* 伽玛分布
* Beta分布
* Dirichlet-多项式分布

### 信息熵

* 信息论概念
* 信息熵的属性
* Kullback–Leibler散度
* 交叉熵是最大可能性

### 矩生成函数

### 蒙特卡洛采样方法

* 离散变量的逆CDF方法
* 连续变量的逆CDF方法
* 剔除方法

### 抽样重要性重抽样

### 有用的不等式

* 马尔可夫不等式
* 契比雪夫不等式
* 霍夫丁不等式

## 机器学习

决策树

广义线性模型

正则化

支持向量机

降维

集群

集成方法

深度学习
{% endtab %}
{% endtabs %}

{% content-ref url="../zhi-dian-mi-jin-brief" %}
[zhi-dian-mi-jin-brief](../zhi-dian-mi-jin-brief)
{% endcontent-ref %}
