多入单出的单层神经网络——线性二分类

线性二分类

提出问题

在中国象棋棋盘中，用楚河汉界把两个阵营的棋子分隔开。回忆历史，公元前206年前后，楚汉相争，当时刘邦和项羽麾下的城池，给定一个坐标，判断属于哪个阵营

逻辑回归模型

回归问题可以分为两类：线性回归和逻辑回归

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1/0，真/假，是/否）变量时，就应该使用逻辑回归。

回忆线性回归模型，使用一条直线拟合样本数据，而逻辑回归模型是“拟合”0和1两个数值，而不是具体的连续数值，所以又叫广义线性模型。逻辑回归（logisticregression），常用于数据挖掘、疾病自动诊断、经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，另一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”；自变量就可以包括很多因素，如年龄、性别、饮食习惯、是否幽门螺杆菌感染等。

自变量既可以是连续的，也可以是分类的。然后通过逻辑回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以通过危险因素预测一个人患癌症的可能性

逻辑回归，也叫分类器，分为线性分类器和非线性分类器；。而无论是线性还是非线性分类器，又分为两种，即二分类问题和多分类问题

二分类函数

概念

二分类函数对线性和非线性二分类都适用。对数几率函数，既可以当作激活函数使用，又可以当作二分类函数使用。本书会根据不同的任务区分激活函数和分类函数这两个概念，在二分类任务中，叫Logistic函数，而作为激活函数时，叫Sigmoid函数

正向传播

前向计算$z = wx+b$

分类计算$a =Logisticz = \frac{1}{1 + e^{-z} }$

损失函数计算： $lossw,b = - \left [ y \ln a + 1 - y\ln 1-a \right ]$

反向传播

求损失函数对a的偏导

$$\frac{\partial loss}{\partial a} = - \left [ \frac{y}{a} + \frac{-1-y}{1-a} \right ] = \frac{a -y}{a1-a}$$

求a对z的偏导
$$\frac{\partial a}{\partial z} = \frac{e^{-z}}{1 + e^{-z}^2} = a1-a$$

损失函数loss对z的偏导

$$\frac{\partial loss}{\partial z} = \frac{a -y}{a1 - a} a1-a = a - y$$

原文链接