python机器识别追踪_多目标追踪器：用OpenCV实现多目标追踪（C++/Python)
原标题：多目标追踪器：用OpenCV实现多目标追踪(C++/Python)
MultiTracker : Multiple Object Tracking using OpenCV (C++/Python)
翻译 | 燕婕 校对 | 酱番梨 整理 | 菠萝妹
https://www.learnopencv.com/multitracker-multiple-object-tracking-using-opencv-c-python/
在本文中，我们将谈到如何用 OpenCV 的多目标追踪API，通过使用 MultiTracker 类来实现。我们将分享用 C++ 和用 Python 实现的代码。
在我们深入探讨细节之前，请检查下边列出来的之前的关于目标追踪的帖子，理解用 OpenCV 实现的单目标追踪器的基本原理。
用 OpenCV 实现目标追踪
GOTURN: 基于深度学习的目标追踪
为什么我们需要多目标追踪
大多数计算机视觉和机器学习的入门者都学习目标识别。如果你是一个初学者，你可能会思考我们到底为什么需要目标追踪。我们为什么不能只是在每一帧检测目标？
然我们来探索追踪很有用的几个原因。
首先，当视频的一帧中有多个目标(这里指人)时，追踪帮助建立帧之间的目标同一性。
第二，在一些情况下，目标检测可能失败但是仍有可能追踪目标，因为追踪考虑到目标在前一帧中的位置和外观。
第三，一些追踪算法是非常快的，因为他们做局部搜索而非全局搜索。所以通过每隔 n 帧做目标检测并在中间的帧做目标追踪，我们的系统可以获得很高的帧速。
所以，为什么不在第一次检测后无限期地跟踪这个对象呢？一个追踪算法有时可能会丢掉它所追踪的目标的轨迹。例如，当目标的移动太大，一个追踪算法可能不能保持一直追踪。所以现实中许多应用将检测和追踪一起使用。
在这个教程中，我们将只关注追踪这部分，我们将通过在对象周围放置一个边界框来指定想要跟踪的对象。
多目标追踪：OpenCV 的多目标追踪器
OpenCV 中的 MultiTracker 类提供了多目标追踪的实施方法。他是一个简单的实施方法因为他独立地处理被追踪的目标，不需要在多个被追踪对象之间做任何优化。
让我们一步步查看代码，学习我们如何用 OpenCV 的多目标追踪 API。
下载代码
为了能容易地跟着这个教程学习，请点击下面的按钮，下载代码。代码是免费的！
代码下载链接：https://bigvisionllc.leadpages.net/leadbox/143948b73f72a2%3A173c9390c346dc/5649050225344512/
第一步：创建单目标追踪器
一个多目标追踪器是由一系列简单的单目标追踪器组成的。一开始，我们先定义一个函数，用追踪器类型作为输入并创建一个追踪器对象。OpenCV 有八个不同的追踪器类型：BOOSTING, MTL, KCF, TLD, MEDIANFLOW, GOTURN, MOSSE, CSRT.
如果你想用 GOTURN 追踪器，请确保阅读这篇文章并下载caffe模型。
在下面的代码中，给出追踪器类别的名字，我们返回追踪器对象。这个追踪器会用于多目标追踪器。
Python
from__future__ importprint_function
importsys
importcv2
fromrandom importrandint
trackerTypes = ['BOOSTING', 'MIL', 'KCF','TLD', 'MEDIANFLOW', 'GOTURN', 'MOSSE', 'CSRT']
defcreateTrackerByName(trackerType):
Create a tracker based on tracker name
iftrackerType == trackerTypes[0]:
tracker = cv2.TrackerBoosting_create()
eliftrackerType == trackerTypes[1]:
tracker = cv2.TrackerMIL_create()
eliftrackerType == trackerTypes[2]:
tracker = cv2.TrackerKCF_create()
eliftrackerType == trackerTypes[3]:
tracker = cv2.TrackerTLD_create()
eliftrackerType == trackerTypes[4]:
tracker = cv2.TrackerMedianFlow_create()
eliftrackerType == trackerTypes[5]:
tracker = cv2.TrackerGOTURN_create()
eliftrackerType == trackerTypes[6]:
tracker = cv2.TrackerMOSSE_create()
eliftrackerType == trackerTypes[7]:
tracker = cv2.TrackerCSRT_create()
else:
tracker = None
print('Incorrect tracker name')
print('Available trackers are:')
fort intrackerTypes:
print(t)
returntracker
C++
注意：除了需要 include opencv2 / opencv.hpp 之外，你还需要 include opencv2 / tracking.hpp 。
#include
#include
usingnamespacecv;
usingnamespacestd;
vector trackerTypes = {"BOOSTING", "MIL", "KCF", "TLD", "MEDIANFLOW", "GOTURN", "MOSSE", "CSRT"};
// create tracker by name
Ptr createTrackerByName(stringtrackerType)
{
Ptr tracker;
if(trackerType == trackerTypes[0])
tracker = TrackerBoosting::create();
elseif(trackerType == trackerTypes[1])
tracker = TrackerMIL::create();
elseif(trackerType == trackerTypes[2])
tracker = TrackerKCF::create();
elseif(trackerType == trackerTypes[3])
tracker = TrackerTLD::create();
elseif(trackerType == trackerTypes[4])
tracker = TrackerMedianFlow::create();
elseif(trackerType == trackerTypes[5])
tracker = TrackerGOTURN::create();
elseif(trackerType == trackerTypes[6])
tracker = TrackerMOSSE::create();
elseif(trackerType == trackerTypes[7])
tracker = TrackerCSRT::create();
else{
cout<< "Incorrect tracker name"<< endl;
cout<< "Available trackers are: "<< endl;
for(vector::iterator it = trackerTypes.begin() ; it != trackerTypes.end(); ++it)
std::cout<< " "<< *it << endl;
}
returntracker;
}
第二步：读取视频的第一帧
一个多目标追踪器需要两个输入
视频的一帧
你想要追踪的所有目标的位置(边界框)
给定这些信息，追踪器会在多有子序列帧中追踪这些特定目标的位置。
在下面的代码中，我们先用 VidoeCapture 类加载视频，读取第一帧。这一帧将会用于之后的 MultiTracker 的初始化。
Python
Set video toload
videoPath = "videos/run.mp4"
Create avideo capture object toreadvideos
cap = cv2.VideoCapture(videoPath)
Read firstframe
success, frame = cap.read()
quitifunable toreadthe video file
ifnot success:
print('Failed to read video')
sys.exit(1)
C++
// set default values for tracking algorithm and video
stringvideoPath = "videos/run.mp4";
// Initialize MultiTracker with tracking algo
vector bboxes;
// create a video capture object to read videos
cv::VideoCapture cap(videoPath);
Mat frame;
// quit if unabke to read video file
if(!cap.isOpened())
{
cout<< "Error opening video file "<< videoPath << endl;
return-1;
}
// read first frame
cap >> frame;
第三步：在第一帧中定位物体
接下来，我们需要在第一帧中定位我们想要追踪的物体。位置是一个简单的边界框。
OpenCV 提供了一个叫做 selectROI 的功能，它可以弹出一个 GUI 来选择边界框(也叫做感兴趣的区域(ROI))。
在C++版本中，selectROI允许你得到多个边界框，但在 Python 版本中，它会只返回一个边界框。所以，在 Python 版本中，我们需要一个循环来得到多个边界框。
对于每个目标，我们还会选择随机的颜色来显示边界框。
下面就是实现代码。
Python
Select boxes
bboxes = []
colors = []
OpenCV's selectROI function doesn't work for selecting multiple objects in Python
So we will call this function in a loop till we are done selecting all objects
whileTrue:
draw bounding boxes over objects
selectROI's default behaviour is to draw box starting from the center
when fromCenter is set to false, you can draw box starting from top left corner
bbox = cv2.selectROI('MultiTracker', frame)
bboxes.append(bbox)
colors.append((randint(0, 255), randint(0, 255), randint(0, 255)))
print("Press q to quit selecting boxes and start tracking")
print("Press any other key to select next object")
k = cv2.waitKey(0) & 0xFF
if(k == 113): # q is pressed
break
print('Selected bounding boxes {}'.format(bboxes))
C++
// Get bounding boxes for first frame
// selectROI's default behaviour is to draw box starting from the center
// when fromCenter is set to false, you can draw box starting from top left corner
boolshowCrosshair = true;
boolfromCenter = false;
cout<< "n==========================================================n";
cout<< "OpenCV says press c to cancel objects selection process"<< endl;
cout<< "It doesn't work. Press Escape to exit selection process"<< endl;
cout<< "n==========================================================n";
cv::selectROIs("MultiTracker", frame, bboxes, showCrosshair, fromCenter);
// quit if there are no objects to track
if(bboxes.size() < 1)
return0;
vector colors;
getRandomColors(colors, bboxes.size());
getRandomColors 函数相当简单
// Fill the vector with random colors
voidgetRandomColors(vector& colors, intnumColors)
{
RNG rng(0);
for(inti=0; i < numColors; i++)
colors.push_back(Scalar(rng.uniform(0,255), rng.uniform(0, 255), rng.uniform(0, 255)));
}
第三步：初始化多目标追踪器
直到目前，我们读到了第一帧并且得到了目标周围的边界框。这些是我们需要初始化多目标追踪器所需的全部信息。
我们首先创建一个 MuliTracker 对象并且增加和单个目标追踪器一样多的边界框。在这个例子中，我们用 CSRT 单目标追踪器，但是你尝试可以通过将 trackerTyper 变量改变为这篇文章一开始提到的8种追踪器中的一种，来尝试其使用他类型的追踪器。CSRT 追踪器不是最快的，但它在我们尝试的许多情况下都能生成最好的结果。
你可以用封装在同一个 MultiTracker 中的不同的追踪器，但是当然，这意义不大。
MultiTracker 类是一个简单的单目标追踪器的封装器。我们从前边的文章种知道，初始化单目标追踪器，我们需要视频第一帧和用来标定我们想要追踪的目标位置的边界框。多目标追踪器将这些信息传递给它内部封装的单目标追踪器。
Python
Specify the tracker type
trackerType = "CSRT"
Create MultiTracker object
multiTracker = cv2.MultiTracker_create()
Initialize MultiTracker
forbbox inbboxes:
multiTracker.add(createTrackerByName(trackerType), frame, bbox)
C++
// Specify the tracker type
string trackerType = "CSRT";
// Create multitracker
PtrmultiTracker = cv::MultiTracker::create();
// Initialize multitracker
for(int i=0; i < bboxes.size(); i++)
multiTracker->add(createTrackerByName(trackerType), frame, Rect2d(bboxes[i]));
第四步：更新多目标追踪器并展示结果
最后，我们的多目标追踪器已经准备好了，我们可以在新的帧中追踪多个目标。我们用 MultiTracker 类中的 update 的方法来定位新一帧中的目标。每个用来追踪目标的边界框都用不同颜色来画。
python
Process video and track objects
whilecap.isOpened():
success, frame = cap.read()
ifnot success:
break
get updated location of objects in subsequent frames
success, boxes = multiTracker.update(frame)
draw tracked objects
fori, newbox inenumerate(boxes):
p1 = (int(newbox[0]), int(newbox[1]))
p2 = (int(newbox[0] + newbox[2]), int(newbox[1] + newbox[3]))
cv2.rectangle(frame, p1, p2, colors[i], 2, 1)
show frame
cv2.imshow('MultiTracker', frame)
quit on ESC button
ifcv2.waitKey(1) & 0xFF== 27: # Esc pressed
break
C++
while(cap.isOpened())
{
// get frame from the video
cap >> frame;
// Stop the program if reached end of video
if(frame.empty()) break;
//Update the tracking result with new frame
multiTracker->update(frame);
// Draw tracked objects
for(unsigned i=0; igetObjects().size(); i++)
{
rectangle(frame, multiTracker->getObjects()[i], colors[i], 2, 1);
}
// Show frame
imshow("MultiTracker", frame);
// quit on x button
if(waitKey(1) == 27) break;
}
订阅 & 下载代码
如果你喜欢这篇文章并且你想要下载代码(C++ 和 Python)和这篇文章中用到的例子图片，请订阅我们。你还将收到免费的计算机视觉知道。我们会分享用C++/ Python写的 OpenCV 的教程和例子，还有计算机视觉和机器学习的算法和新闻。
戳链接：
http://www.gair.link/page/TextTranslation/1047
AI研习社每日更新精彩内容，点击文末【阅读原文】即可观看更多精彩内容：
悼念保罗·艾伦，除了他科技圈还有哪些大佬值得信仰？
如何开发多步空气污染时间序列预测的自回归预测模型
用 4 种卷积神经网络，轻松分类时尚图像
使用 SKIL 和 YOLO 构建产品级目标检测系统
很有启发性的25个开源机器学习项目
(http://www.gair.link/page/resources)下载喔~返回搜狐，查看更多
责任编辑：