指数分布公式回顾回归和分类的例子，在回归例子中：#7b5a

回顾回归和分类的例子，在回归例子中：

在分类例子中：

可以看出，μ 和Φ是作为 x 和θ 的函数来定义的。

这两个模型其实都只是一个广大模型家族的特例，广义线性模型。我们也将演示广义线性模型家族的其它模型如何推导，并如何应用到分类和回归问题中的。

在讨论广义线性模型之前，我们先来定义指数分布簇。当一个分布能写成以下形式时，我们就说它属于指数分布簇。

η 是分布的自然参数；

T(y) 是充分统计量，通常 T(y)=y；

a(η) 被称为 log partition function；

e-a(η)起着归一化常数的作用，保证分布 p(y;η) 积分从 y 到 1。

当参数 a、b、T 固定后，就定义了一个以η 为参数的分布簇。改变η，就得到这个分布簇的一个不同分布。

伯努利和高斯分布其实也是指数簇分布的特例。

伯努利分布均值为 Φ，y 只有 0 和 1 两个值。

改变Φ，就得到不同均值的伯努利分布。

通过选择 T、a 和 b，指数分布簇通用公式能变成伯努利分布。先来把伯努利分布变成指数分布簇的形式。

跟指数分布簇公式相比对：

可得：

其中η=log(Φ/(1-Φ))，那么Φ=1/(1+e-η)，这就是熟悉的 simoid 函数，这就是说我们把 Logistic 回归当做广义线性回归来推导的话也能推出 sigmoid 函数。

接下来看高斯分布，记得在线性回归的推导时，方差 σ2的值对我们最后的 θ和 hθ(x) 值没有任何影响。所以，我们给σ2随便选个值就行，方便起见，令σ2=1，得：

其中：

可见，高斯也属于指数分布簇。

还有其它的很多分布也属于指数分布簇，如多项式分布、泊松分布、伽马分布、指数分布、贝塔分布和 Dirichlet 分布等。

下面讲广义线性模型。

假定你想要建一个模型来估计在某个时刻到商店的顾客个数，或者估计你的网页的浏览量，基于一些特征，如促销活动、最近的广告、天气、星期几等。我们知道泊松分布通常是这种好模型。怎么才能针对我们的问题建模呢？泊松分布是个指数分布簇，所以我们可以使用广义线性模型。

考虑下分类和回归问题，把随机变量 y 作为 x 的函数，来预测 y 值。在这个问题上，我们要推导广义线性模型，关于 y 对 x 的条件分布，我们将做一下三种假设：

1、y|x;θ~ExponetialFamily(η)。即给定 x 和θ，y 符合以η 为参数的指数簇分布。（假设一讲的是广义线性模型的核心。广义线性模型广体现在y服从的是一个指数分布族。简单来说，就是对于所有的样本y服从的是同一个分布，只不过不同样本之间这个分布的参数不同。例如若所有样本的y都是伯努利分布，则不同的样本分别对应与x相关的??(逻辑回归)，若若所有样本的y都是正态分布，则不同的样本分别对应与x相关的μ(最小二乘)）

2、给定 x，目标是要预测 T(y)，我们学习到的主要是说GLM的输出。输出的 h(x) 满足 h(x)=E[y|x]。（Logistic 回归和线性回归中的 hθ(x) 是满足这个假设的，如 Logistic 回归中，hθ(x)=p(y=1|x;θ)=1·p(y=1|x;θ)+0·p(y=0|x;θ)=E[y|x;θ]）

3、自然参数 η和输入 x 成线性关系：η=θTx。

这三个假设使我们可以导出一个非常优雅的学习算法类，称作 GLMs，有很多属性如易学习。而且，模型对于建模关于 y 的不同分布是很有效的，如 Logistic 回归和最小二乘模型就可以由 GLMs 导出。

先来演示 GLM 簇模型的一个特例，最小二乘。目标变量 y 是连续的，我们把 y 对于 x 的条件分布建模为高斯分布Ν(μ,σ2)，这里μ 依赖于 x。所以，我们让这里的ExponetialFamily(η) 分布为高斯分布，高斯作为指数簇分布的形式中，μ=η。有