جغرافیا و برنامه ریزی منطقه‌ای

جغرافیا و برنامه ریزی منطقه‌ای

استفاده از یادگیری نیمه‌نظارتی و ردیابی نقاط ویدیویی برای پایش خودکار تغییرات کاربری اراضی در محورهای مواصلاتی منطقه‌ای

نوع مقاله : مقاله های برگرفته از رساله و پایان نامه

نویسنده
محمد محمدی
فارغ‌التحصیل کارشناسی ارشد مهندسی کامپیوتر ـ گرایش هوش مصنوعی و رباتیکز، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران
10.22034/jgeoq.2025.546328.4338
چکیده
قطعه‌بندی معنایی جاده نقشی کلیدی در درک صحنه برای سامانه‌های رانندگی خودکار و کمک‌راننده دارد، اما برچسب‌گذاری دقیق پیکسلی برای هر فریم از ویدیوهای جاده‌ای پرهزینه و زمان‌بر است. در این مقاله، یک چارچوب یادگیری نیمه‌نظارتی برای قطعه‌بندی معنایی ویدیوهای جاده‌ای معرفی می‌شود که بر بهره‌گیری از قیود حرکتی استخراج‌شده از ردیابی نقاط متکی است. در این رویکرد، تنها فریم اول هر دنباله ۱۵ فریمی دارای برچسب پیکسلی دستی است و برای فریم‌های بعدی، ماسک‌های شبه‌برچسب با استفاده از ردیابی نقاط توسط مدل CoTracker3 تولید می‌شود.این شبه‌برچسب‌ها سپس برای آموزش نیمه‌نظارتی یک شبکه قطعه‌بندی سبک مبتنی بر LR-ASPP با ستون فقرات MobileNetV3 به‌کار می‌روند. تابع خطای ترکیبی شامل جزء نظارت‌شده روی فریم‌های دارای برچسب و جزء شبه‌نظارتی با لحاظ‌کردن پیکسل‌های ردیابی‌شده طراحی شده است. چارچوب پیشنهادی بر روی مجموعه‌داده KITTI-STEP، که نسخه‌ای گسترش‌یافته از KITTI برای قطعه‌بندی و ردیابی هر پیکسل در ویدیو است، ارزیابی شده است. نتایج نشان می‌دهد که مدل نیمه‌نظارتی پیشنهادی SSL-Tracker به mIoU برابر 27.67% و دقت پیکسلی 72.58% دست می‌یابد و نسبت به مدل پایه کاملاً نظارت‌شده که فقط با فریم‌های دارای برچسب آموزش دیده است (25.13%)، بهبود 2.54 درصدی در mIoU را ثبت می‌کند. تحلیل دقیق‌تر کلاس‌ها نشان می‌دهد که استفاده از ردیابی نقاط، به‌ویژه برای کلاس‌های پویا مانند «خودرو» و «دوچرخه» مزیت قابل‌توجهی ایجاد می‌کند. این نتایج نشان می‌دهد که می‌توان با بهره‌گیری از اطلاعات حرکتی نهفته در ویدیو و بدون افزایش تعداد برچسب‌های دستی، بهبود قابل‌ملاحظه‌ای در قطعه‌بندی معنایی جاده به دست آورد.
کلیدواژه‌ها
قطعه‌بندی معنایی ویدیویی
یادگیری نیمه‌نظارتی
کاربری اراضی
برنامه ریزی منطقه ای

عنوان مقاله English

Using semi-supervised learning and video point tracking for automatic monitoring of land use changes in regional transportation axes

نویسنده English

Mohammad Mohammadi
Master's degree in Computer Engineering - Artificial Intelligence and Robotics, Khajeh Nasiruddin Toosi University of Technology, Tehran, Iran
چکیده English

Road semantic segmentation plays a key role in scene understanding for autonomous and assisted driving systems, but accurate pixel-level labeling of each frame of road videos is expensive and time-consuming. In this paper, a semi-supervised learning framework for semantic segmentation of road videos is introduced, which relies on exploiting motion constraints extracted from point tracking. In this approach, only the first frame of each 15-frame sequence is manually pixel-labeled, and for subsequent frames, pseudo-label masks are generated using point tracking by the CoTracker3 model. These pseudo-labels are then used to semi-supervisedly train a lightweight LR-ASPP-based segmentation network with a MobileNetV3 backbone. The combined error function consists of a supervised component on labeled frames and a pseudo-supervised component considering tracked pixels. The proposed framework is evaluated on the KITTI-STEP dataset, which is an extended version of KITTI for segmentation and tracking of each pixel in video. The results show that the proposed semi-supervised model SSL-Tracker achieves an mIoU of 27.67% and a pixel accuracy of 72.58%, recording a 2.54% improvement in mIoU over the fully supervised base model trained only with labeled frames (25.13%). A more detailed analysis of the classes shows that the use of point tracking provides a significant advantage, especially for dynamic classes such as “car” and “bicycle”. These results indicate that a significant improvement in semantic road segmentation can be achieved by exploiting the motion information embedded in the video without increasing the number of manual labels.

کلیدواژه‌ها English

Video semantic segmentation
semi-supervised learning
land use
regional planning
Badrinarayanan, V. a. (2017). SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI).
Bay, H. a. (2006). SURF: Speeded Up Robust Features. European Conference on Computer Vision (ECCV), 404--417.
Chen, L.-C. a. (2017). Rethinking Atrous Convolution for Semantic Image Segmentation. arXiv preprint arXiv:1706.05587.
Chen, L.-C. a. (2018). Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 834--848.
Dosovitskiy, A. a. (2015). FlowNet: Learning Optical Flow with Convolutional Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2758--2766.
Dosovitskiy, A. a. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR).
Duckworth, D. a. (2023). TAPIR: Tracking Any Point with per-frame Initialization and Refinement. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).
Duckworth, D. a. (2024). BootsTAPIR: Self-supervised Tracking Any Point. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
Geiger, A. a. (2012). Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 3354--3361.
Horn, B. K. (1981). Determining optical flow. Artificial Intelligence, 185--203.
Howard, A. a.-C. (2019). Searching for MobileNetV3. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 1314--1324.
Kotar, G. B. (2023). CoTracker: It is Better to Track Together. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
Lee, S. C.-Y. (2024). Local All-Pair Correspondence for Point Tracking. Proceedings of the European Conference on Computer Vision (ECCV).
Long, J. a. (2015). Fully Convolutional Networks for Semantic Segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 3431--3440.
Lowe, D. G. (2004). Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 91--110.
Lucas, B. D. (1981). An iterative image registration technique with an application to stereo vision. Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI), 1981.
Nasim, S. a. (2017). Semi Supervised Semantic Segmentation Using Generative Adversarial Network. IEEE International Conference on Computer Vision (ICCV).
Nikita, K. a. (2024). COTRACKER3: Simpler adn Better Point Tracking by Pseudo-Labelling Real Videos. International Conference on Computer Vision (ICCV).
Robbins, H. a. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 400--407.
Ronneberger, O. a. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), 234--241.
Shi, J. a. (1994). Good features to track. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 593--600.
Teed, Z. a. (2020). RAFT: Recurrent All-Pairs Field Transforms for Optical Flow. European Conference on Computer Vision (ECCV), 402--419.
Vaswani, A. a. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS), 5998--6008.
Wei-Chih, H. (2018). Adversarial Learning for Semi-Supervised Semantic Segmentation. British Machine Vision Conference (BMVC).
Yassine, O. a. (2020). Semi-Supervised Semantic Segmentation With Cross-Consistency Training. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
Yuan, L. W. (2022). {U2PL}: A Unified Framework for Pseudo-Label-based Semi-Supervised Medical Image Segmentation. Medical Image Computing and Computer Assisted Intervention -- MICCAI 2022, 385--395.
Yunchao, W. a. (2022). Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
Yuyuan, L. a. (2022). Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).