Dalam pidatonya di sidang terbuka promosi doktor Departemen Teknik Elektro FTUI, Smart Class Room (SCR) Gedung GK304, Rabu, 26 Juni 2024 Nur Ibrahim (1906435183) mengkaji PENGEMBANGAN METODE COMPLEX NEGATIVE EXAMPLE DALAM SISTEM OBJECT TRACKING BERBASIS DEEP APPEARANCE FEATURES PADA CITRA THERMAL.
Sidang Promosi yang diketuai oleh Wakil Dekan 2 Fakultas Teknik UI Prof. Ir. Mahmud Sudibandriyo, M.Sc., Ph.D., Promotor Prof. Dr.Eng. Drs. Benyamin Kusumoputro, M.Eng., Ko-Promotor Dr. Ir. Aries Subiantoro, M.Sc., Ketua Penguji Prof. Dr. Ir. Feri Yusivar, M.Eng., Penguji Dr. Abdul Halim, M.Eng., Dr. Abdul Muis, S.T., M.Eng., serta Penguji Eksternal Prof. Dr. Ir. Mauridhi Hery Purnomo, M.Eng. (Institut Teknologi Sepuluh Nopember) dan Dr. Muhammad Rif’an, S.T., M.T. (Universitas Terbuka, Jakarta).
Pengembangan metode complex negative example untuk sistem object tracking berbasis deep appearance
features pada citra thermal sekuensial telah diusulkan. Pengambilan data dilakukan pada malam hari
menggunakan kamera thermal compact di dalam hutan dengan pepohonan lebat, dimana terdapat 3 orang yang bergerak melintasi kamera dan menjauhi mendekati kamera pada kondisi thermal crossover dan occlusion, untuk menggambarkan kondisi pada surveillance system.
Penelitian awal dilakukan pada ranah visual tracking, yang merupakan subset dari object tracking, kemudian dilanjutkan pada ranah online multi-object tracking, yang merupakan perluasan dari prinsip-prinsip visual tracking. Pada ranah visual tracking, dilakukan proses tracking terhadap satu orang (single object tracking) yang bergerak pada kondisi occlusion antar objek dan pada kondisi thermal crossover, menggunakan metode WMIL yang dimodifikasi dengan penambahan fungsi deteksi kegagalan di dalam WMIL menggunakan algoritma IT2 FLS yang memanfaatkan negative example hasil generate dari WMIL itu sendiri.
Hasil dari penelitian menunjukkan peningkatan performansi sistem visual tracking sebesar 10-14% success rate dan 0.21-0.33 precision, yang mampu mengungguli beberapa metode state-of-the-art tracker untuk visual tracking seperti DSST, KCF, DCF, MOSSE, ECO-HC.
Penelitian dilanjutkan pada ranah online multi-object tracking, dengan menggunakan YOLOv4 sebagai detektor dan DeepSORT sebagai tracker, dimana dilakukan penambahan complex negative example untuk mengurangi terjadinya false detection dan identity switching akibat kondisi occlusion dan thermal crossover.
Hasil penelitian menunjukkan bahwa penambahan complex negative example pada proses training YOLOv4 dan pada proses appearance descriptor di DeepSORT ini mampu meningkatkan performansi sistem dengan peningkatan nilai MOTA sebesar 19.6% dan peningkatan nilai IDF1 sebesar 11.6%. Berdasarkan hasil tersebut, penelitian dilanjutkan dengan meningkatkan kompleksitas dataset, dengan mengambil data pada kondisi cuaca hujan, berkabut, dan cerah serta menerapkan penambahan complex negative example pada YOLOv8 dan pada deep appearance-based tracker lainnya yaitu BoTSORT, DeepOCSORT, dan StrongSORT. Hasil penelitian ini menunjukkan bahwa penambahan complex negative example pada YOLOv8 dan deep appearance-based tracker dengan kondisi cuaca hujan, berkabut, dan cerah, juga mampu meningkatkan performansi sistem online MOT dengan peningkatan nilai HOTA sebesar 5.6%, peningkatan nilai MOTA sebesar 10.9%, peningkatan nilai MOTP sebesar 0.2%, dan peningkatan IDF1 sebesar 7.2%.
Validasi sistem online MOT ini juga dilakukan dengan menggunakan public thermal dataset IRW, yang memiliki karakteristik serupa terkait surveillance system. Hasilnya menunjukkan terjadi peningkatan performansi dengan penambahan complex negative example, dengan peningkatan nilai HOTA sebesar 13.7%, peningkatan nilai MOTA sebesar 13.9%, peningkatan nilai MOTP sebesar 2.5%, dan peningkatan IDF1 sebesar 8.5%.
Walaupun demikian, masih terdapat kelemahan dari sistem klasifikasi yang usulkan yaitu diantaranya:
- Sistem hanya mampu melakukan tracking pada objek yang berjarak maksimal 30 meter dari lokasi
kamera.
- Proses tracking belum mempertimbangkan kondisi jumlah objek yang lebih banyak dan skenario
pergerakan yang lebih acak. [1]
[1] Nur Ibrahim, “PENGEMBANGAN METODE COMPLEX NEGATIVE EXAMPLE DALAM SISTEM OBJECT TRACKING BERBASIS DEEP APPEARANCE FEATURES PADA CITRA THERMAL,” Sidang Promosi Doktor, SCR GK.304, 26 Juni 2024.
