Boğaziçi bölümüne dön

04Boğaziçi Savunma Teknolojileri · Uzun dönem staj

Bir kutudanfazlası.

Sabit kanatlı İHA’yı karede bulmak ilk adımdı. Ona kalıcı bir kimlik vermek, izini çizmek, her karesini kayda geçirmek ve yaklaşık uzaklığını söylemek sonrakiler.

Model
YOLO26L · 1280 px ince ayar
Takip
ByteTrack · kalıcı kimlik
İnce ayar sonrası
P 0,97 · R 0,96 · mAP@50 0,975
Kayıtta hız
≈25 FPS · 1080p video

Katkım

Gereksinimlere göre sahada veri topladım; videoları ayıklayıp etiketli bir veri setine dönüştürdüm. YOLO26L modelini eğitip yeni saha verisiyle ince ayar yaptım; ByteTrack takibini, tespit konsolunu, mesafe tahmini modülünü ve arayüzü geliştirdim. Gizli verinin buluta çıkmaması için yerel bir etiketleme aracı yazdım.

04Gerçek zamanlı takipYOLO26L · ByteTrack
Uygulamanın 20 saniyelik kaydı, döngüde: iki İHA #1 ve #2 kimlikleriyle, pistte tespit, tepelerde konsolla takip, gölün üzerinde uzak bir hedef. Hız ve irtifa göstergeleri kaynak videonun kendisine ait. Açık kaynaklı uçuş görüntüsü.

01Veri

Sahadan veri setine.

Sabit kanatlı platformlar multirotorlardan farklı görünür: uzun kanat, alçak uçuş, yüksek hız. Drone modeli bu hedefler için yetmeyecekti; gerçek uçuşlardan veri gerekiyordu.

Gerçek uçuş videolarını gereksinimlere göre sahada topladım ve veri setine dönüştürdüm. İlk set 11 videodan oluşuyordu: gündüz ve alacakaranlık; kırsal alan, sahil ve tarım arazisi; farklı uçuş açıları. 60 FPS kayıtlarda ardışık kareler neredeyse aynı olduğundan her 20. kareyi aldım: yaklaşık 4.800 kare.

Veri gizliydi ve buluta yüklenemezdi. Bu yüzden kareleri, tamamen yerel çalışan kendi etiketleme aracımla etiketledim: model kutu önerir, ben doğrular, düzeltir ya da silerim. İkinci turda 11 yeni videodan yaklaşık 7.200 kare daha eklendi. O araç daha sonra LabelMate oldu.

LabelMate vakasını incele

01Kare seçimiAçıklayıcı
Açıklayıcı çizim: 60 FPS bir kayıttan her 20. karenin seçilmesi (adım = 20).

Gizlilik

Eğitimde kullanılan saha verisi sözleşme gereği gizli. Bu sayfadaki bütün görüntüler, sistemin çalışmasını göstermek için uygulamada oynattığım açık kaynaklı uçuş videolarından.

02Değerlendirme

Kareleri değil, videoları ayır.

Aynı videonun ardışık kareleri hem eğitimde hem testte olursa model genellemeyi değil, sahneyi ezberler.

Yeni veri setinde her videonun bütün karelerini tek bir bölümde tuttum: 7 video eğitim, 2 video doğrulama, 2 video test. Önceki eğitimin ağırlıklarından başlayıp 1280 piksel girişle ince ayar yaptım: öğrenme oranı düşük (0,0004), mosaic azaltılmış (0,10), mixup ve copy-paste kapalı; unutmayı önlemek için eski verinin bir bölümü de eğitimde.

02Video bazlı bölme7 / 2 / 2
Açıklayıcı çizim: her video bütünüyle tek bir bölümde (rapor, Çizelge 4.10).
02İnce ayarYOLO26L
  • İlk eğitim · 640 px
  • İnce ayar · 1280 px
Rapordaki yaklaşık değerler (Çizelge 4.8 ve 4.12). İki eğitimin verisi ve giriş boyutu farklı; fark yalnızca ince ayara bağlanamaz.
Ölçütİlkİnce ayarFark
Precision≈0,96≈0,97+0,01
Recall≈0,86≈0,96+0,10
mAP@50≈0,91≈0,975+0,065
mAP@50-95≈0,66≈0,77+0,11
Rapordaki yaklaşık değerler (Çizelge 4.8 ve 4.12). İki eğitimin verisi ve giriş boyutu farklı; fark yalnızca ince ayara bağlanamaz.Recall: gerçek İHA’ların ne kadarını yakaladığı. Precision: tespitlerin ne kadarının gerçekten İHA olduğu.

03Takip

Her hedefe bir kimlik.

Her karede bağımsız tespit, iki İHA aynı anda göründüğünde hangisinin hangisi olduğunu söylemez.

03Takip kaydı01 / 04
Takip kapalı: çimenlik bir pistte, kameraya yakın bir sabit kanatlı İHA yeşil, kimliksiz bir UAV kutusunda.

Takip kapalıyken yalnızca tespit: kutu var, kimlik yok.

Havadan çekilmiş ormanlık bir arazi üzerinde iki İHA, turuncu #1 ve mavi #2 kutularında; sağ üstte tespit konsolu.

İki İHA, #1 ve #2 kimlikleriyle izleniyor. Hız ve irtifa göstergesi kaynak videoya ait.

Yeşil tepeler üzerinde #1 kimlikli bir İHA turuncu kutuda; sağ üstte her kare için konum, boyut ve mesafe yazan konsol.

Konsolda her kare için konum, kutu boyutu ve tahmini mesafe yazıyor.

Sisli bir göl ve tepeler üzerinde küçük bir İHA #1 kimliğiyle işaretli; konsolda kutu 43 × 7 piksel.

Birkaç piksellik hedefte de kimlik korunuyor; konsol kutuyu 43 × 7 piksel olarak yazıyor.

Takip kapalıyken yalnızca tespit: kutu var, kimlik yok.

ByteTrack’i hatta ekledim: tespitler Kalman filtresi ve IoU eşleştirmesiyle önceki karedeki izlere bağlanıyor, güveni düşük tespitler de takipte tutuluyor. Her hedefin geçmiş merkezleri ince bir iz olarak çiziliyor; uçuş yönü bir bakışta okunuyor.

Takip belleği, eşleşme eşiği, alt güven sınırı ve iz uzunluğu arayüzden ayarlanıyor (kayıtta 230 kare, 0,90, 0,35 ve 40 kare). Kayıtlarda arayüz saniyede yaklaşık 25 kare işliyor (1080p video).

Takip kalitesi MOTA, HOTA ya da kimlik değişimi gibi bir ölçütle değerlendirilmedi; kayıtlar davranışı gösterir.

04Gözlemlenebilirlik

Görünenin sayısal kaydı.

Kutulara bakmak hata ayıklamaya yetmiyordu. Arayüze, her çıkarım karesini satır satır yazan bir Tespit Konsolu ekledim. Yanlış tespitler, kimliğin sürekliliği ve mesafe tahmini bu satırlardan doğrulanabiliyor.

04Tespit Konsolukare 23289
Tespit Konsolu penceresi: yeşil yazıyla kare numaraları, zamanlar ve #1 UAV satırları; her satırda güven, kutu köşeleri, merkez, boyut ve yaklaşık mesafe.
Kayıttan alınmış konsol penceresi (12,5. saniye).

Bir satır, alan alan

F23289kare388.15svideodaki zaman#1takip kimliğiUAVsınıfconf=0.92güvenx1=513 y1=512 x2=733 y2=550kutu köşelericx=623 cy=531merkez220x38boyut (px)~5mtahmini mesafe

05Karar desteği

Bir kutudan yaklaşık uzaklık.

LiDAR, stereo kamera ya da radar olmadan; yalnızca tek kamera ve tespit kutusuyla.

Pinhole kamera modelinde bir nesnenin görüntüdeki genişliği uzaklıkla ters orantılı: d = W · f / w. W hedefin gerçek kanat açıklığı, f piksel cinsinden odak uzaklığı, w kutunun genişliği.

Arayüze üç yöntem koydum: kanat açıklığı ve odak uzaklığıyla pinhole hesabı; bilinen bir mesafede ölçülen kutudan tek bir K sabiti (d = K / w); kalibrasyon hiç yoksa kutunun kare içindeki payına göre Uzak / Orta / Yakın göstergesi. Sonuç hem konsolda hem takip panelinde görünüyor.

Arayüzün ayar satırları: Bellek 230 kare, Eşleşme 0,90, Conf alt sınır 0,35, İz 40 kare; Mesafe 1 · Pinhole, Kanat 1,8 m, f 550 px; altında işlem hızı 25.6 fps.
Kayıttaki ayarlar: Mesafe = Pinhole, Kanat = 1,8 m, f = 550 px.
05Pinhole hesabıW 1,8 m · f 550 px

Tahmini mesafe≈ 4,5 mKonsolda ~5m

Konsoldaki 220 × 38 kutu: 1,8 × 550 / 220 ≈ 4,5 m (konsol ~5m yazar).

Kalibrasyon yoksa: kutunun kare içindeki payı

  1. Uzak< %0,08
  2. Orta%0,08 – %0,40
  3. Yakın≥ %0,40
Etkileşimli açıklama: kayıttaki ayarlarla aynı hesap. Bu açık kaynaklı videodaki uçağın gerçek kanat açıklığı ve kameranın odak uzaklığı bilinmediği için sayı yöntemi gösterir, gerçek mesafeyi değil.

Sınırları

  1. 01

    Hedefin kameraya yaklaşık dik durduğu varsayılır; açılı uçuşta kutu daralır, mesafe olduğundan büyük çıkar.

  2. 02

    Lens bozulması ve perspektif hesaba katılmaz.

  3. 03

    Sonuç doğrudan kalibrasyona bağlıdır: f ya da K’daki hata mesafeye aynen yansır.

  4. 04

    Çok uzak hedeflerde birkaç piksellik hata büyük bir göreli hataya dönüşür.

Modül kesin ölçüm yapan bir sensör değil; operatöre bağlam veren yardımcı bir bileşen. Sahada gerçek mesafeyle karşılaştırılmadı.

06Ortaya çıkan

Tespitten karar desteğine.

  1. 01

    Saha verisi

    Gereksinimlere göre toplanmış, video bazlı bölünmüş bir veri seti.

  2. 02

    Model

    YOLO26L, yeni saha verisiyle 1280 px ince ayar: P ≈0,97, R ≈0,96, mAP@50 ≈0,975.

  3. 03

    Takip ve konsol

    ByteTrack kimlikleri, hareket izi ve kare bazlı tespit kaydı.

  4. 04

    Mesafe

    Pinhole, K sabiti ve göreli yakınlık: üç yöntem, tek arayüz.

Masaüstü prototip. Jetson Orin NX’e taşıma ve INT8 gelecek çalışma. Takip kalitesi ve mesafe doğruluğu sayısal olarak ölçülmedi.

İletişim

Bir sonraki sistemibirlikte kuralım.

Yapay zekâ modellerini gerçek dünyada çalışan sistemlere dönüştürmeye odaklanan bir mühendis olarak yeni fırsatlara ve teknik iş birliklerine açığım. Bilgisayarlı görü, Edge AI veya uygulamalı makine öğrenmesi üzerine çalışıyorsanız tanışmak isterim.

Muhammed Ali Yıldırım

Applied AI / ML Engineering

Başa dön