数学记忆里的Logic回归

来自2018年的未发布存档。

逻辑回归在机器学习领域的贡献不言而喻,今天突然想着写一篇关于逻辑回归的数据推导过程,有错误的地方敬请斧正。

1.以前我是看的Andrew Ng的课程学的机器学习,里面关于逻辑回归讲的是寻找一个合适的预测或者描述函数,他来由输入数据给出输出数据,而输出数据就是我们要的结果。

2.要得到一个优化的输出函数,我们就需要获取我们与真实值之间的差距,越准确的差距,更能够让算法更为鲁棒,我们需要构造一个cost损失函数,用来衡量真实值和输出的差距。

3.而找到了损失函数只要让损失函数最小即可记录对应的参数值。

了解逻辑函数:

$$g(z)=\frac{1}{1+e^{-z}}$$

可以看出,他的输入在无穷的区间,而输出在「0,1」有一个压缩的作用。

为了更好地理解,我们选择一个线性的分类问题来描述他的数学原理

首先,数据是二分类问题,第一步,对不同的线性分类,也就是分类边界,或者分类直线,我们可以使用:

$$\theta_{0}+\theta_{1} x_{1}+\ldots+\theta_{n} x_{n}=\sum_{i=0}^{n} \theta_{i} x_{i}$$

来表示

其中如果你了解了矩阵的相关特性,他又能简化为:

$$\sum_{i=0}^{n} \theta_{i} x_{i}=\theta^{T} x$$

我们将逻辑函数带入这个直线可得一个预测函数

因为这个直线两边分别是取0和1的值,而我们应该做的就是,把数据输入这个函数,然后用sigmoid(logic)函数去压缩输出范围即可

取两边的概率分别为:

\begin{array}{l}{P(y=1 | x ; \theta)=h_{\theta}(x)} \\ {P(y=0 | x ; \theta)=1-h_{\theta}(x)}\end{array}

这两个函数可以合并为一个:

通过置零和置一,可以操作为一个,当y = 0时候,保留后半部分,y = 1时候,保留前半部分,其实也可以直接用1减去那个概率即可,毕竟是一个二分类的问题

$$P(y | x ; \theta)=\left(h_{\theta}(x)\right)^{y}\left(1-h_{\theta}(x)\right)^{1-y}$$

对这个函数:

似然函数

\begin{aligned} L(\theta) &=\prod_{i=1}^{m} P\left(y^{(\mathrm{i})} | x^{(\mathrm{i})} ; \theta\right) \\ &=\prod_{i=1}^{m}\left(h_{\theta}\left(x^{(\mathrm{i})}\right)\right)^{y^{(\mathrm{i})}}\left(1-h_{\theta}\left(x^{(\mathrm{i})}\right)\right)^{1-\mathrm{y}^{\mathrm{O}}} \end{aligned}

为了把后续幂次拉到前面来等效果,选择了加了一个log,取对数操作:

\begin{aligned} l(\theta) &=\log L(\theta) \\ &=\sum_{i=1}^{m}\left(y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right) \end{aligned}

损失函数就出现了:

来自吴恩达的机器学习:

\begin{array}{c}{\operatorname{cost}\left(h_{\theta}(x), y\right)=\left\{\begin{array}{cc}{-\log \left(h_{\theta}(x)\right)} & {\text { if } y=1} \\ {-\log \left(1-h_{\theta}(x)\right)} & {\text { if } y=0}\end{array}\right.} \\ {J(\theta)=\frac{1}{m} \sum_{i=1}^{m} \operatorname{Cost}\left(h_{\theta}\left(x^{(i)}\right), y^{(i)}\right)} \\ {=-\frac{1}{m}\left[\sum_{i=1}^{m} y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]}\end{array}

欢迎邮件讨论:zk@likedge.top

张一极

2018.02.14

此条目发表在ALL, Math分类目录,贴了, 标签。将固定链接加入收藏夹。

发表评论

电子邮件地址不会被公开。 必填项已用*标注