目录
逻辑回归简介：应用场景，数学知识
逻辑回归原理
逻辑回归API函数和案例
分类问题评估：混淆矩阵、精确率、召回率、F1-score、AUC指标、ROC曲线
电信客户流失预测案例
1️⃣ 定义：逻辑回归是有监督学习：有特征、有标签且标签是离散的；虽然有回归两个字，但它做的不是回归，而是做分类；2️⃣ 应用场景：逻辑回归适用于二分类(也可以做多分类，但不推荐)；原理：数据得到线性回归的处理，会得到一个预测值，把预测值传给Sigmoid这样一个激活函数(也叫S形函数，因为预测后的值比较像一个S)，它会帮忙算出概率；算出概率后，会基于自己定义的阈值，决定是A还是B。3️⃣ 总结：将线性处理后的映射值给到激活函数，它会将这个值映射到[0， 1]这个概率区间，结合自定义的阈值进行分类，>这个阈值是A类，<=则是B类。
混淆矩阵：(真True、False假、Positive正例、Negative反例)真实值的正反例(竖着的)、预测值的正反例(横着的)，对于真实值是正例、预测值也是正例的值称为真正例(TP)，真实值是反例、但是预测成正例 的值称为伪正例(FP)，真实值是假例、预测的也是假例 称为真反例(TN)，真实值是正例、但预测反了 称为伪反例(FN)；
精确率 = tp/(tp+fb)、召回 = tp/(tp+fn)…）
1.1 逻辑回归的sigmoid激活函数
（sigmoid函数称为激活函数，又叫S型函数，因为映射后的线是S型(如图)，概率值在[0, 1]区间，假设阈值时0.5即只要>=0.5，在上半段的区间，称为正样本，<0.5的在下半段区间，称为负样本；原公式和求导后的公式如图）
1.2 概率
联合概率：指两个或多个随机变量同时发生的概率；（这多个随机变量之间没有关系）
PA=0.7，周1早上，周2早上，同时堵车的概率：PAPB=0.70.7=0.49；
条件概率：表示事件A在另外一个事件B已经发生条件下的发生概率(AB同时发生)，P(A|B)；
PA=0.7，周1早上堵车的情况下，中午再堵车的概率：PB|A=0.70.3=0.21；
联合概率和条件概率都是概率相乘；
1.3 极大似然估计
定义：根据抽取的样本的分布来预测整体数据的分布；
推导过程：假设正面概率是θ，则反面概率是(1-θ)；上面六次的结果是相互独立的，属于联合概率，结果相乘：四次正面即4个θ相乘，两个反面即2个(1-θ)相乘，再将两者结果相乘即为：θ⌃4 * (1-θ)⌃2，对θ求值即对公式求极值，令其导数为0；
公式求导：对公式θ⌃4 * (1-θ)⌃2求导：可看成是：(A * B)的导数、且B是个复杂函数：A * B(复杂)=A'B + A*B' = A'B + A*(B复杂函数先外后内)。最后结果是：θ⌃3 * (1-θ)(4-6θ)=0，θ结果有三个值，取2/3；
1.4 对数函数
2. 逻辑回归原理
3. 损失函数
为什么说将最大化问题转为最小化问题？：极大似然指的是最大的概率，但求损失函数时是值越小越好，求最小值，所以可以对极大似然估计的极大值求负值。即先推理出极大似然估计的极大值，再求其负数；上图H(L)公式求的是最大似然估计，所以可以对它前面加符号取其负数，从最大值变为最小值；逻辑回归 损失函数 = 负的极大似然估计；
4. 总结
逻辑回归原理：解决分类问题，把线性回归的输出作为逻辑回归的输入；
逻辑回归的损失函数：
即为对数似然损失：就是对数最大值的负数形式；图中Loss(L)公式就是 极大似然估计，再求负数；
