以杭州市的实际交通状况作为研究背景，提出了基于混合高斯模型的多目标跟踪算法的研究。通过建立基于灰度的混合高斯背景模型的基础上，利用当前帧和背景帧的差分，并经过形态学处理，提取目标的轮廓、重心等数学特征，建立目标特征向量组，提出使用相似度算子来搜索帧间特征向量匹配的目标。实验结果表明，该算法在强烈光照变化的动态背景下，能达到对目标的准确跟踪。