🥥Python模拟概率统计机器学习

关键词

Python | 概率统计 | 概率密度 | 随机变量 | 投影方法 | 期望 | 均方误差 | Numpy |scipy | TensorFlow | scikit-learn | Pandas | Sympy | 正态分布 | 多项式分布 | 卡方分布 | 泊松和指数分布 | 伽马分布 | Beta分布 | Dirichlet-多项式分布 | | 信息熵 |Kullbac-Leibler散度 | 蒙特卡洛方法 | 马尔可夫不等式 | 契比雪夫不等式 | 霍夫丁不等式 | 决策树 | 广义线性模型 | 正则化 | 支持向量机 | 降维 | 集群

梗概

概率统计

了解概率密度

为了理解基于勒贝格积分理论的现代概率的核心，我们需要从基本演算中扩展积分的概念。 首先，让我们考虑以下分段函数：

$f\left( x \right) =\begin{cases} 1 if\,\,0<x\leqslant 1\\ 2 if\,\,1<x\leqslant 2\\ 0 otherwise\\\end{cases}$

如下图1显示，在微积分中，您学习了黎曼积分，可以在此处应用

$\int_0^2{f\left( x \right) dx=1+2=3}$

通过勒贝格集成，除了我们专注于y轴而不是沿x轴移动之外，这个想法非常相似。 给定问题$f\left( x \right) =1$，这是真的x个值的集合是什么？ 对于我们的示例，每当$x\in \left( 0,1 \right]$ 时，这都是正确的。因此，现在我们在函数的值（即1和2）与x值的集合之间具有对应关系，即$\left\{ \left( 0,1 \right] \right\}$ 和$\left\{ \left( 1,2 \right] \right\}$ 。要计算积分，我们只需简单地取函数值（即1,2）和某种方法来测量相应区间的大小（即，μ ），如下所示：

$\int_0^2{fd\mu =1\mu \left( \left\{ \left( 0,1 \right] \right\} \right) +2\mu \left( \left\{ \left( 1,2 \right] \right\} \right)}$

为了强调通用性，我们取消了上述某些表示法。 请注意，当$\mu \left( \left( 0,1 \right] \right) =\mu \left( \left( 1,2 \right] \right) =1$时，我们获得的积分值与黎曼情况相同。通过引入μ函数作为测量上述区间的一种方式， 我们在集成中引入了另一个自由度，它容纳了许多使用通常的黎曼理论无法处理的怪异功能，但我们为您提供了对勒贝格集成的适当介绍，以供进一步研究。 上面的讨论是引入μ函数，我们将再次遇到它作为所谓的概率密度函数。

介绍

• 随机变量

• 连续随机变量

• 微积分以外的变量转换

• 独立随机变量

• 经典断杆示例

投影方法

• 加权距离

• 条件期望作为投影

• 条件期望和均方误差

条件期望和均方误差优化的工作示例

有用的分布

• 正态分布

• 多项式分布

• 卡方分布

• 泊松和指数分布

• 伽玛分布

• Beta分布

• Dirichlet-多项式分布

信息熵

• 信息论概念

• 信息熵的属性

• Kullback–Leibler散度

• 交叉熵是最大可能性

矩生成函数

蒙特卡洛采样方法

• 离散变量的逆CDF方法

• 连续变量的逆CDF方法

• 剔除方法

抽样重要性重抽样

有用的不等式

• 马尔可夫不等式

• 契比雪夫不等式

• 霍夫丁不等式

机器学习

决策树

广义线性模型

正则化

支持向量机

降维

集群

集成方法

深度学习

🏈指点迷津 | Brief