由于实时监控系统对视频压缩的需要，本文针对H.264 标准的多模式运动估计算法编码模式复杂、计算量大的不足之处，在宏块编码模式选择统计规律的基础上，通过对纹理复杂度的分析，提出了一种利用预判法与部分模式排除法相结合的快速模式选择算法。该方法提前排除Skip 模式和inter16×16模式，再根据纹理复杂度将其余的模式分为两部分，对每部分包含的模式根据纹理方向再逐一排除，最后得到最优的模式。实验结果表明，本文提出的快速模式选择算法，在码率增加较小和视频质量损失不大的情况下，将编码时间平均缩短了76.95%。