逻辑回归模型：

$\hat{y}=\operatorname{sigmoid}\left(w^{T} x+b\right)$

在某一个情况下，如果y等于1的可能性：

$\hat{y}=p(y=1 | x)$

y不等于1的可能性就是$1-\hat{y}$

在x取到y的概率为：

$p(y | x)=\hat{y}^{y}(1-\hat{y})^{(1-y)}$

在y取0的时候和y取1的时候总能取到我们需要的值，

我们直接取对数：

$L\left(\hat{y}_{i}, y_{i}\right)=-\left[y_{i} \log \left(\hat{y}_{i}\right)+\left(1-y_{i}\right) \log \left(1-\hat{y}_{i}\right)\right]$

logistic的损失函数

如果做一个加和，可表示为：

$J(w, b)=\frac{1}{m} \sum_{i=1}^{m} L\left(\hat{y}_{i}, y_{i}\right)=-\frac{1}{m} \sum_{i=1}^{m}\left[y_{i} \log \left(\hat{y}_{i}\right)+\left(1-y_{i}\right) \log \left(1-\hat{y}_{i}\right)\right]$

得到二值交叉熵。