机器学习中的正则化是什么原理？

[KAAAsS]

因为格式问题和公式问题，请前往我的博客： https://blog.kaaass.net/archives/611

[suiterchik]

然而还是没有说到要点上
正则化无非是为了满足设计者对参数的一些偏好所引入的约束罢了

[KAAAsS]

@suiterchik 从某种程度上，您这样说没错。但是正则化之所以能有效解决过拟合，还是有其道理的。文章其实就是想说明这个道理。当然，我认为除了“满足偏好”之外，正则化还是会让模型更加 perfect 的。

[menc]

@suiterchik
写的挺好的，硬生生加入一个对参数大小的约束是缺乏解释性的，不能因为"它运行的很好"就说“它是对的”，所有能够让模型跑的更好的 trick ，一定都要有 learning theory 的支撑。

[menc]

不过原文先验和后验概率的定义写反了

[hackpro]

可以尝试提供一个直观点的解释：
相对于低阶模型，高阶模型引入的额外参数往往绝对值较大，使得模型在数据集上具有高频分量。引入正则化后系数参数明显变小，相当于削弱高阶项引入的额外的参数的权重。

[menc]

@hackpro
这是动机，不是原因，人人都知道正则项是为了惩罚参数 scale 来获得更加保守的模型增加泛化能力，但是
这样做能够稳定提升性能的原因何在？
这样做究竟是让性能提升到半山腰还是山顶了？
有没有更好地正则项选取，为什么非要是 L1 和 L2 ？
都需要用理论来解释。

[KAAAsS]

@menc 抱歉哈。可能录入的时候出了点偏差。现在电脑不在身边，麻烦问下是哪里写反了呢？一会儿我去改改。