求解非光滑强凸优化问题的减小方差加权随机算法

作者：朱小辉; 陶卿

来源：模式识别与人工智能, 2016, 29(07): 577-589.

DOI：10.16451/j.cnki.issn1003-6059.201607001

• 机器学习
• 随机优化
• 减小方差

在光滑问题随机方法中使用减小方差策略,能够有效改善算法的收敛效果.文中同时引用加权平均和减小方差的思想,求解"L1+L2+Hinge"非光滑强凸优化问题,得到减小方差加权随机算法(α-HRMDVR-W).在每步迭代过程中使用减小方差策略,并且以加权平均的方式输出,证明其具有最优收敛速率,并且该收敛速率不依赖样本数目.与已有减小方差方法相比,α-HRMDVR-W每次迭代中只使用部分样本代替全部样本修正梯度.实验表明α-HRMDVR-W在减小方差的同时也节省CPU时间.

• 单位
  中国人民解放军陆军军官学院