久驰股票网-股票开户,股票基金入门知识 bias是什么意思:神经网络中,bias有什么用,为什么要设置bias,当加权和大于某值时,激活才有意义?作者:Hengkai Guo

bias是什么意思:神经网络中,bias有什么用,为什么要设置bias,当加权和大于某值时,激活才有意义?作者:Hengkai Guo

发布时间:2020-02-09 18:00   来源:网络 点击 :
题主看到的关于"意义"的说法要表达的意思应该是:当使用接近于阶跃函数的gate函数作为激活函数时(比如Sigmoid),可以将bias看做是一个激活的阈值,用来控制输出是0还是1。这种说法更多的是一种形象的对神经元的理解。

实际上,bias相当于多了一个参数。在增加网络少量拟合能力的情况下,bias和其它普通权值相比无论前向还是后向,计算上都要简单,因为只需要一次加法。同时,bias与其它权值的区别在于,其对于输出的影响与输入无关,能够使网络的输出进行整体地调整,算是另一维自由度吧。放在二维上,权值相当于直线的斜率,而bias相当于截距,这二者都是直线参数的一部分,并没有必要区别对待。

因此,通常网络都会使用bias,但并不是必须,对于网络性能的影响并不是很显著(除非网络太小导致拟合能力太差)。同时,在有些场合里,bias的使用也没有意义,比如在batch normalization层之前的层就没必要加,因为会被归一化抵消掉。更多回复:

知乎网友ascenoputing:

从数学上来说,没有bias是线性变换,有了bias是仿射变换。


知乎网友风起云落:
bias应该来源于线性回归。或是感知机分类器。
你先试试线性回归不加常数项会有什么效果,大概也就懂了。
试试只是线性组合的多层感知机,
如果不加bias,效果不会好

知乎网友zxf8665905:

Universal approximation theorem


知乎网友风起云落:
bias应该来源于线性回归。或是感知机分类器。
你先试试线性回归不加常数项会有什么效果,大概也就懂了。
试试只是线性组合的多层感知机,
如果不加bias,效果不会好

猜你喜欢
最新文章