本发明涉及一种基于残差场和位移场的图像光流优化方法及系统。该方法包括:获取参考图像;采用光流估计方法对所述参考图像进行估计,得到初始光流场;获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器;将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场;将所述初始光流场与所述残差场叠加,得到初步优化的光流场;利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场。本发明可以提高图像序列光流估计在运动边界区域的精度和鲁棒性。