为解决CAMShift算法在色彩相似背景下跟踪失效的问题,提出一种结合ORB特征点和目标色彩模型的视觉跟踪算法.运用ORB特征匹配检测目标的初始位置,提出自适应的色彩分割阈值算法以提高目标的色彩模型精度,并在跟踪过程中通过ORB特征点包含信息对搜索窗口进行修正.然后对目标的丢失增加判断方法,并且建立迭代更新的特征模板用于重新定位丢失目标.实验结果证明,与CAMShift算法和基于特征提取的同类改进算法相比,该算法在目标快速运动场景下的跟踪具有较好的鲁棒性,能够对错误的跟踪结果进行判断并修正,并在计算效率上得到较大的提升.