基于值函数估计的参数探索策略梯度算法

作者：赵婷婷; 杨梦楠; 陈亚瑞^*; 王嫄; 杨巨成

来源：计算机应用研究, 2023, 40(08): 2404-2410.

DOI：10.19734/j.issn.1001-3695.2022.11.0781

• 强化学习
• 值函数
• 参数探索策略梯度
• 梯度估计方差

策略梯度估计方差大是策略梯度算法存在的普遍问题，基于参数探索的策略梯度算法(PGPE)通过使用确定性策略有效缓解了这一问题。然而，PGPE算法基于蒙特卡罗方法进行策略梯度的估计，需要大量学习样本才能保证梯度估计相对稳定，因此，梯度估计方差大阻碍了其在现实问题中的实际应用。为进一步减小PGPE算法策略梯度估计的方差，提出了基于值函数估计的参数探索策略梯度算法(PGPE-FA),该算法在PGPE算法中引入Actor-Critic框架。具体地，提出的方法使用价值函数估计策略梯度，代替了PGPE方法使用轨迹样本估计策略梯度的方式，从而减小了梯度估计方差。最后，通过实验验证了所提算法能够减小梯度估计的方差。

• 出版日期2023
• 单位天津科技大学