hi,你好!欢迎访问本站!登录
本站由简数采集腾讯云宝塔系统阿里云强势驱动
当前位置:首页 - 教程 - 杂谈 - 正文 君子好学,自强不息!

浅显地说逻辑回归【Logistic regression】算法(一) 逻辑回归模子道理引见

2019-11-18杂谈搜奇网48°c
A+ A-

在说逻辑回归前,照样得提一提他的兄弟,线性回归。在某些处所,逻辑回归算法和线性回归算法是相似的。但它和线性回归最大的差别在于,逻辑回归是作用是分类的。

还记得之前说的吗,线性回归实在就是求出一条拟合空间中所有点的线。逻辑回归的实质实在也和线性回归一样,但它加了一个步骤,逻辑回归运用sigmoid函数转换线性回归的输出以返回几率值,然后可以将几率值映照到两个或更多个离散类。

假如给出门生的效果,比较线性回归和逻辑回归的差别以下:

  • 线性回归可以协助我们以0-100的品级展望门生的测试分数。线性回归展望是一连的(某个局限内的数字)。
  • Logistic回归可以协助展望门生是不是经由历程。逻辑回归展望是离散的(仅许可特定值或种别)。我们还可以检察模子分类背地的几率值。

一.从回归到分类的中心 --Sigmoid Function

之前引见线性回归的时刻,它的函数是如许模样的:

h(x)=θ0 + θ1 * x1 + θ2 * x2 + θ3 * x3 ...

但如许的函数是没办法举行分类的事情的,所以我们要借助一下其他函数,那就是Sigmoid Function。

我们先来看看这个Sigmoid Function长什么样,Sigmoid Function的数学公式是如许子的:

假如示意在平面坐标轴上呢,那它长这个模样。

这个Sigmoid Function可以将线性的值,映照到[0-1]这个局限中。假如映照效果小于0.5,则认为是负的样本,假如是大于0.5,则认为是正的样本。

比方说要对垃圾邮箱举行分类,分垃圾邮箱和一般邮箱。当这个Sigmoid Function的计算出来后,小于0.5,则认为是垃圾邮箱,大于0.5则黑白垃圾邮箱。

本来线性回归的计算公式是如许的:

那末将这个z函数代入到Sigmoid Function中,OK,如今我们就有了一个逻辑回归的函数了。

二.价值函数Cost Function

和线性回归一样,逻辑回归也有价值函数。而且都是经由历程最小化Cost Function来求得终究解的。

我们先来看单个点的状况,

这个价值函数呢,叫做交织熵,个中y(i)指的是展望的效果,而hθ(xi)指的是xi这个点底本的值。

那末它详细是什么意义呢,为何叫做交织熵?我们举两个极度的例子看看就邃晓了:

1.xi原始值hθ=1,展望效果,yi=1的状况

这个时刻,价值函数的加号右侧会被消掉,由于右侧(1-y(i))是0,左侧部份呢,由于hθ(xi)=1,故而log(1)=0。

y(i)log(hθ(xi)) = 1 * log(0) = 0

也就是说,若xi原始值是1,当展望值y=1的时刻,价值函数是0的。这个也比较好明白,价值函数为0就是说展望效果和原始效果完全一致的,没有半点出差错。

2.计算效果,yi=0,原始值hθ=0

此次的效果就和上面的反过来了,由于yi=0,所以左侧部份全军尽没,来看右侧,

(1-yi) * log(1-hθ(xi)) = 1 * log(0) = 0

由于1-hθ(xi),终究效果照样即是0。

也就是说,这个丧失函数,只需原始值与展望效果越符合,丧失函数就越大,反之,丧失函数就会越小。

以上说的只是一个点的状况,现实的价值函数,是要计算所有点的丧失函数的均值,以下所示:

三.梯度下落

和线性回归一样,逻辑回归的解法也可以经由历程梯度下落来举行求解。梯度下落的目标,是为了最小化价值函数Cost function。

请求运用梯度下落,须要先求解偏导数,以下是求导数的一个详细历程:

而梯度下落的计算方法也和线性回归的计算方法是一样的。只是个中的价值函数,换成了逻辑回归的价值函数。

个中,α右侧部份对应我们上面临价值函数求偏导的效果。而α是用来掌握练习速度的,这个在线性回归那边已经有说到,这里就不再引见了。

终究就是对θj不停迭代,直到丧失函数降到最小,那就可以求出我们要的θ值了。

四.小结

OK,本日引见了线性回归和逻辑回归的区分,一样都是回归剖析,逻辑回归能完成分类任何的中心,就算运用了Sigmoid Function。

这里留一个小问题,上面所述的逻辑回归,通常是仅仅可以举行二分类,那有没有办法来让逻辑回归完成多分类呢?

下一次将论述用逻辑回归举行多分类,以及正则化相关内容,并引见sklearn的逻辑回归参数和用法!!

以上~~

引荐浏览:
浅显得说线性回归算法(一)线性回归开端引见
浅显得说线性回归算法(二)线性回归开端引见
Scala 函数式编程指南(一) 函数式头脑引见
浅显地说决策树算法(二)实例剖析
大数据存储的进化史 --从 RAID 到 Hadoop Hdfs
C,java,Python,这些名字背地的江湖!

  选择打赏方式
微信赞助

打赏

QQ钱包

打赏

支付宝赞助

打赏

  移步手机端
浅显地说逻辑回归【Logistic regression】算法(一) 逻辑回归模子道理引见

1、打开你手机的二维码扫描APP
2、扫描左则的二维码
3、点击扫描获得的网址
4、可以在手机端阅读此文章
未定义标签

本文来源:搜奇网

本文地址:https://www.sou7.cn/282405.html

关注我们:微信搜索“搜奇网”添加我为好友

版权声明: 本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。请记住本站网址https://www.sou7.cn/搜奇网。

发表评论

选填

必填

必填

选填

请拖动滑块解锁
>>