Patent bekleyen yenilik, doku ve derinliği görüyor ve insanların ve ortamların fiziksel özelliklerini algılıyor

Purdue Üniversitesi'ndeki araştırmacılar, geleneksel yapay görme ve algıyı iyileştiren patent bekleyen yöntemleriyle robotik ve özerklik dünyasını ilerletiyor.

Elmore Ailesi Elektrik ve Bilgisayar Mühendisliği Okulu'nda Elmore Elektrik ve Bilgisayar Mühendisliği Doçenti Zubin Jacob ve araştırma bilimcisi Fanglin Bao, HADAR veya ısı destekli algılama ve mesafe belirlemeyi geliştirdiler. Araştırmaları, hakemli Nature dergisinin 26 Temmuz sayısının kapağında yer aldı. HADAR ile ilgili bir video YouTube'da mevcuttur. Nature ayrıca Jacob ile bir röportaj içeren bir podcast bölümü yayınladı.

Jacob, her 10 araçtan birinin otomatik hale getirilmesinin beklendiğini ve 2030 yılına kadar insanlara hizmet veren 20 milyon robot yardımcısı olacağını söyledi.

Jacob, "Bu ajanların her biri, insan müdahalesi olmadan kararlar vermek için gelişmiş sensörler aracılığıyla çevredeki sahne hakkında bilgi toplayacak" dedi. "Ancak, sahnenin çok sayıda ajan tarafından aynı anda algılanması temelde yasaklayıcıdır."

LiDAR veya ışık algılama ve uzaklık belirleme, radar ve sonar gibi geleneksel aktif sensörler, sinyaller yayar ve ardından bir sahne hakkında 3B bilgi toplamak için bunları alır. Bu yöntemlerin, ölçekleri arttıkça artan, sinyal paraziti ve insanların göz güvenliği riskleri gibi dezavantajları vardır. Karşılaştırıldığında, güneş ışığına veya diğer aydınlatma kaynaklarına dayalı olarak çalışan video kameralar avantajlıdır, ancak gece, sis veya yağmur gibi düşük ışık koşulları ciddi bir engel oluşturur.

Geleneksel termal görüntüleme, bir sahnedeki tüm nesnelerden kaynaklanan görünmez ısı radyasyonunu toplayan tamamen pasif bir algılama yöntemidir. Karanlığı, sert havayı ve güneş parlamasını algılayabilir. Ancak Jacob, temel zorlukların günümüzde kullanımını engellediğini söyledi.

Bao, "Nesneler ve çevreleri sürekli olarak termal radyasyon yayar ve saçar, bu da 'gölgelenme etkisi' olarak bilinen dokusuz görüntülere yol açar" dedi. "Bir kişinin yüzünün termal resimleri yalnızca konturları ve bir miktar sıcaklık kontrastını gösteriyor; hiçbir özellik yok, bu da hayalet görmüş gibi görünmenizi sağlıyor. Bu bilgi, doku ve özellik kaybı, ısı radyasyonu kullanan makine algılaması için bir engel oluşturuyor."

HADAR, termal fiziği, kızılötesi görüntülemeyi ve makine öğrenmeyi bir araya getirerek tamamen pasif ve fiziğe duyarlı makine algısının yolunu açar.

"Çalışmamız, zifiri karanlığın güpegündüz ile aynı miktarda bilgi taşıdığını göstermek için termal algının bilgi kuramsal temellerini oluşturuyor. Evrim, insanları gündüze karşı önyargılı hale getirdi. Geleceğe ilişkin makine algısı, bu uzun süredir devam eden gündüz ve gün ikilemini aşacaktır." dedi Jacob.

Bao şunları söyledi: "HADAR, dokuyu dağınık ısı sinyalinden canlı bir şekilde kurtarır ve bir sahnedeki tüm nesnelerin sıcaklığını, emisyonunu ve dokusunu veya TeX'i doğru bir şekilde çözer. Dokuyu ve derinliği karanlıkta sanki gündüzmüş gibi görür ve aynı zamanda fiziksel algılar. RGB veya kırmızı, yeşil ve mavi, görünür görüntüleme veya geleneksel termal algılamanın ötesinde nitelikler. Güpegündüz gibi zifiri karanlıkta görmenin mümkün olması şaşırtıcı."

Ekip, bir off-road gece manzarası kullanarak HADAR TeX vizyonunu test etti.

Bao, "HADAR TeX vision, dokuları kurtardı ve gölgelenme etkisinin üstesinden geldi," dedi. "Çimenli araziyle ilgili ayrıntılara ek olarak su dalgalanmaları, ağaç kabuğu kırışıklıkları ve menfezler gibi ince dokuları kurtardı."

HADAR'daki ek iyileştirmeler, donanımın boyutunu ve veri toplama hızını artırıyor.

Bao, "Mevcut sensör büyük ve ağır, çünkü HADAR algoritmaları birçok renkte görünmez kızılötesi radyasyon gerektiriyor" dedi. "Bunu sürücüsüz arabalara veya robotlara uygulamak için boyutu ve fiyatı düşürürken aynı zamanda kameraları daha hızlı hale getirmemiz gerekiyor. Mevcut sensörün bir görüntü oluşturması yaklaşık bir saniye sürüyor, ancak otonom araçlar için yaklaşık 30 ila 60 saniyeye ihtiyacımız var. Hertz kare hızı veya saniye başına kare."

HADAR TeX vision'ın ilk uygulamaları, karmaşık ortamlarda insanlarla etkileşime giren otomatikleştirilmiş araçlar ve robotlardır. Teknoloji, tarım, savunma, yer bilimleri, sağlık hizmetleri ve vahşi yaşamı izleme uygulamaları için daha da geliştirilebilir.

Jacob ve Bao, HADAR TeX'i, fikri mülkiyet konusunda patent başvurusunda bulunan Purdue Innovates Teknoloji Ticarileştirme Ofisi'ne ifşa etti. Yenilikleri daha da geliştirmek isteyen sektör ortakları, Dipak Narula ile iletişime geçmelidir,