Ingyu Lee

Graduate student

Research Memo

메모: A Simple Detector with Frame Dynamics is a Strong Tracker

Fig.1 A Simple Detector with Frame Dynamics is a Strong Tracker

2025 CVPR Anti-UAV Workshop

Memo

Frame dynamics는 참조할 만 해 보인다. Optical flow도 연산 cost만 낮다면 해보는 것도 괜찮을 듯.

다만 TC-Filtering의 경우에는 내 분야에서는 camera가 움직이는, 즉 회전에 따라 급격하게 위치 오차가 생길 수 있어 어려울 수 있겠다. Sensor-fusion으로 sonar data에 계속 보정을 한다는 선택지도 있겠지만.

사용한 다양한 detection methods는 내 연구에서도 비교용으로 활용 가능할 수 있겠다. 정확히는 각 method의 performance 비교보다는, 내 method가 globally effective하다는 것을 보여주려는 목적이 있다면 사용할 수 있을지도.

Introduction

Infrared object detection 필드의 논문.

2가지 key innovation을 주장하는데,

하나는 frame dynamics를 사용했다는 점, 즉 frame difference와 optical flow를 input level에서의 prior target feature로 사용했다는 점.

둘째는 post-processing stage에서 trajectory constraint filtering strategy, 즉 spatio-temporal prior를 사용해 false positive를 줄이고 tracking robustness를 확보했다는 점.

Experiments로 증명했다고 하며, Anti-UAV Challenge에서 SOTA performance를 기록했다고 함.

Object detection methods를 소개하며 언급한 infrared image에 대한 서술이 흥미롭다. low SNR, poor contrast, complex noisy backgrounds를 언급하는데 소나와 비슷한 환경이니, 참고가 될 만 하다.

Cascade R-CNN, DINO, RepPoints, PAA를 언급하는데, R-CNN 계열 외엔 다 처음 들어본다. 어떤 특징이 있나 찾아보자.

Tracking에 관해서는 연구 feasibility를 고려하고 난 다음에 찾아보자.

Body

Method

  1. 5가지 detector 후보군을 선정- YOLOv11, Cascade R-CNN, DINO, RepPoints, PAA

다 원본에서 조금씩 수정됨

  1. frame dynamics는 두가지, frame difference와 optical flow로 구성됨.

Frame difference는 다음처럼 새 layer를 잡음.

\begin{equation} x_{fd} = cat\left( x_t , x_t - x_{t-1}, x_t - x_{t-2} \right) \end{equation}

즉, grayscale image에서 1-frame difference와 2-frame diff. 로 2, 3번 채널을 만드는 것.

Optical flow의 경우 다음과 같음.

\begin{equation} x_{fd} = cat\left( x_t , f \left(x_t , x_{t-1} \right) _v, \left(x_t , x_{t-2} \right) _u \right) \end{equation}

위와 마찬가지로 새 channel을 만들되, 여기서 f는 optical flow function, u와 v는 각각 horizontal 및 vertical components이다.

  1. Trajectory-consrained filtering

Bounding box의 이전 위치를 기반으로 velocity를 계산해, 현재 위치의 constraint를 설정하여, 일정 radius 바깥은 버리는 filtering이다.

\begin{equation} \mathbf{V}_{t-1} = \begin{bmatrix} V_x \\ V_y \end{bmatrix} = \frac{1}{\Delta t} \begin{bmatrix} x_{t-1} - x_{t-2} \\ y_{t-1} - y_{t-2} \end{bmatrix} \end{equation}

\begin{equation} C_t \approx C_{t-1} + \mathbf{V}_{t-1} \cdot \Delta t = \begin{bmatrix} 2x_{t-1} - x_{t-2} \\ 2y_{t-1} - y_{t-2} \end{bmatrix} \end{equation}

\begin{equation} S_t^{(i)} = \begin{cases} 1 & \text{if } \left| C_t^{(i)} - C_t \right|_2 \leq d_{\max} \\ 0 & \text{otherwise} \end{cases} \end{equation}

Exp.

4th Anti-UAV challenge dataset 사용. 상세한 데이터셋의 정보는 원문 참조.

Evaluation metrics는 mAP, Average Overlap Accuracy(AOA)를 사용함. All frames에서 average IoU를 계산하는 것으로, mAP가 detection accuracy를 확인한다면 AOA는 temporal stability를 확인하는 척도.

그 이후는 각 detection method를 어떻게 변경했는지에 관한 상세한 서술.

Conclusion

참고문헌

C. Peng et al., ‘A Simple Detector with Frame Dynamics is a Strong Tracker’, arXiv [cs.CV]. 2025.

Leave a comment