自组织背景差分算法存在实时性不高和背景模型在非周期变化的复杂背景环境下容易出现偏移的缺点.针对上述问题,文中提出带记忆存储的分级自组织背景差分算法.首先构建边界共享型的背景模型以降低时空复杂度,同时在矩阵模型的基础上引入缓存空间设计,分别存储当前背景和过往背景.然后,在检测目标阶段,设计不同粒度级别的判定机制确定像素是否为目标.实验表明,文中算法能克服原算法存在的不足,同时有效提升检测精确度和实时性.