摘要¶
- 目标追踪需要的背景知识: 物体外形、移动、变形
- 追踪器必须能调整模型以适应新的观察
- 本文的实时深度目标追踪器能结合 long-term temporal information
- 不使用在线(实时?)追踪器,用循环神经网络表示 物体外形和移动,所以是离线先训练(汗)
- 轻量级模型,速度是150 FPS, 150帧每秒
本读者注:
好像讲了啥,又好像没讲啥
导论¶
问题如上所述, 追踪器需要处理:
- 对低级物体特性(颜色) 和 高级(如各类)进行建模
- 理解移动,并进行编码
- 理解物体可能发生的变形(change)
所以需要深度学习相关模型进行建模
但深度学习里,像CNN,虽然强大,但一般基于大量数据,才能学到高级概念的不变性, 它们理解一个人的长相,却不关注两个人之间的区别。 而追踪器通常只有一个(少量)初始例子可供使用。
本文方法特点:
fully end-to-end trainable, meaning we teach the network to track directly rather than relying on learning an additional classi- fier at test time
still update its underlying representation of the object via the recurrent parameters, a feature which other recent deep, real-time trackers lack
use a recurrent structure known as an LSTM (Long Short-Term Memory)
recurrent parameter update is performed during the forward pass, requiring no extra computational burden, allowing our tracker to operate at 150 frames per second
方法¶
架构:
- CNN 物体外形
- RNN 记录外形和移动
- 回归层 输出物体坐标
如图: