Görüş Alanı Dışı Görüntüleme Teknikleri İlerliyor

Araştırmacılar, gözün farkına varmadığı görsel sinyaller dünyasını açığa çıkardı.
Görsel Telif: Rune Fisker / Quanta Magazine

Bilgisayarlı görüş bilimcisi Antonio Torralba, 2012 yılında İspanya sahillerinde tatildeyken, kaldığı otel odasının duvarındaki belli-belirsiz gölgeler dikkatini çekti; aslında herhangi bir şeyin gölgesi gibi görünmüyorlardı. Torralba en sonunda bunların gölge olmadığını fark etti; duvardaki koyu renkli bölgeler, pencerenin dışındaki avlunun silik, baş aşağı bir görüntüsüydü. Pencere, iğne deliği kamerası görevi görüyordu. İğne deliği kamerası, en basit fotoğraf makinesi türüdür; ışık ışınları küçük bir açıklıktan geçerek, diğer yanda ters çevrik bir görüntü oluşturur. Oda duvarında oluşan görüntü, aydınlık odada çok zor algılanıyordu ama çevrede gözümüzle seçemediğimiz bolca görsel enformasyon olduğunu Torralba’nın çarpıcı bir biçimde fark etmesini sağlamıştı.

Görsel Telif: Antonio Torralba / William T. Freeman

Rastlantısal Kameralar

“Bu görüntüler bizden saklanıyor, ama her an her yanımızdalar,” diyor Torralba. Bu deneyim, her ikisi de Massachusetts Teknoloji Enstitüsü profesörlerinden olan Torralba ve meslektaşı Bill Freeman’ın “rastlantısal kameralar” adını verdikleri nesnelere ilgilerini artırmış: Pencereler, köşeler, bitkiler ve çevrelerinin silik görüntülerini yansıtabilen pek çok başka nesne. Söz konusu silik görüntüler, çevrelerindeki nesnelerden 1.000 kat daha hafif olabiliyor ve dolayısıyla çıplak gözle algılanamıyorlar. “O görüntüleri çekip, görünür duruma nasıl getireceğimizi bulduk,” diye açıklıyor Freeman.

İkili, sıradan bir ortamda ne denli çok görsel enformasyonun gizli olduğunu keşfetti. Yayımladıkları ilk makalede, Freeman ve Torralba, bir odanın duvarındaki ışık değişimini cep telefonu kamerasıyla filme alıp işleyerek, pencerenin dışındaki manzarayı ortaya çıkarabildiklerini gösterdiler. 2017 yılında, ikili ve çalışma arkadaşları, bir köşenin ötesinde hareket eden birini, köşeye yakın zemini filme alarak belirleyebildiklerini raporladılar. 2018 yazında ise bir odada duran bir saksı bitkisini filme alıp, bitkinin yapraklarının ayrık gölgelerine dayanarak odanın geri kalanının 3-boyutlu görüntüsünü yapılandırabildiklerini ortaya koydular.

Ayrıca bitki yapraklarını “görsel mikrofon” olarak kullanarak, ortamda söylenenlerin dinlenmesini sağlayacak şekilde titreşimlerini de büyütebiliyorlar. Bu teknikle, Thomas Edison’un 1877 yılında bir fonograf ile kaydettiği ilk ses olan “Mary’nin küçük bir kuzusu vardı,” şarkısı, 2014 yılında, bu kez ses geçirmez bir camın ardından filme alınan bir cips paketinin hareketlerine bakılarak kayıttan dinlendi.

Görüş Alanı Dışı Görüntüleme

Doğrudan görünür olmayan köşelerin ötesini görme ve enformasyon çıkarma üzerine yapılan araştırmalara “görüş alanı dışı görüntüleme” (İng. non-line-of-sight imaging – NLOS) adı veriliyor. Görüş alanı dışı görüntüleme, Torralba & Freeman’ın 2012 tarihli rastlantısal kamera makalesi ile yine MIT’te çalışan Ramesh Raskar liderliğindeki ayrı bir ekibin çığır açıcı makalesi sayesinde atağa kalktı. 2016 yılında, kısmen bu sonuçların gücüne dayanarak, DARPA (İng. Defense Advanced Research Projects Agency) tarafından 27 milyon dolarlık REVEAL (İng. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields) programı kapsamında, ülkenin çeşitli yerlerinde kurulan çok sayıda laboratuara yatırım yapıldı. O zamandan beri, geliştirilen yeni kavrayışlar ve matematiksel yöntemler sayesinde, görüş alanı dışı görüntüleme teknikleri giderek güçleniyor.

Askeri ve istihbarat amaçlı uygulamalarının yanı sıra, araştırmacılar geliştirdikleri teknolojilerin sürücüsüz otomobiller, robotik görüş, tıbbi görüntüleme, gökbilim, uzay keşifleri ve arama-kurtarma görevleri gibi alanlarda da işe yarayabileceğini belirtiyorlar.

Torralba, kendisinin ve Freeman’ın bu yola girdiklerinde, akıllarında belli bir uygulama olmadığını söylüyor. Sadece görüntülerin nasıl oluştuğunun temelleri ve bir kameranın bileşenleri gibi konuların derinlerine inmeye çalışıyorlardı ki bu da doğal olarak, ışığın nasıl davrandığı, çevremizdeki nesne ve yüzeylerle nasıl etkileştiği konusunun derinlemesine incelenmesini gerektiriyordu. Sonuçta, aramayı kimsenin düşünmediği şeyler görmeye başladılar. Psikolojik çalışmaların, insanların gölgeleri yorumlama konusunda çok başarısız olduğunu gösterdiğini hatırlatıyor Torralba. Belki de bunun bir nedeni, gördüklerimizin çoğunun aslında gölge olmamasıdır ve nihayetinde göz, onlardan anlam çıkarmaya çalışmaktan vazgeçmiştir.

Görüntü Oluşturmak

Görüş alanımızın dışındaki dünyanın görüntülerini taşıyan ışık ışınları, sürekli olarak duvarlara ve başka yüzeylere çarparak gözümüze yansıyor. Peki ama bu görsel kalıntılar neden o kadar zayıf? Çünkü böyle ışık ışınlarından çok fazla var ve farklı yönlerde ilerlerken birbirlerini iptal ediyorlar.

Bir görüntü oluşturmak, bir yüzey üzerine düşen ışık ışınlarının büyük ölçüde sınırlandırılmasını gerektiriyor. Bir iğne deliği kamerasının yaptığı da budur. Torralba ve Freeman’ın 2012 yılında çalışmalarına başlarkenki kavrayışları şuydu: Çevremizde ışık ışınlarını doğal olarak sınırlayan çok sayıda nesne ve özellik var; bunlar, zayıf da olsa bilgisayarların algılamasına yetecek görüntüler oluşturabilir.

Bir iğne deliği kamerasının açıklığı ne denli küçük olursa, ortaya çıkan görüntü o denli keskin olur; çünkü görüntülenen nesnedeki her bir nokta, deliğe girebilecek doğru açıda sadece tek bir ışık ışını yayar. Torralba’nın otel odası penceresi, keskin bir görüntü oluşturamayacak kadar büyüktü. O ve Freeman biliyordu ki, genel olarak, işe yarar rastlantısal kameralar enderdi. Bununla birlikte şunu fark ettiler: Herhangi bir küçük, ışık engelleyici nesneden oluşan “ters iğne deliği” yani iğne başı kameralar, her yerde görüntü oluşturuyorlardı.

Pencere panjurundaki bir kırıktan, bir odanın iç duvarını filme aldığınızı düşünün. Pek bir şey göremezsiniz. Birden birinin kolu görüş alanınıza giriyor. Duvardaki ışık yoğunluğunun, kolun görüş alanında olduğu ve olmadığı durumlardaki hâli karşılaştırılarak, oda hakkında bilgi edinilebilir. İlk video karesinde duvara çarpan ışık ışını kümesi, bir sonrakinde kol tarafından biraz engellenir. İkinci görüntüdeki veriyi ilkinden çıkararak, engellenen kısmı (odanın bir kısmının görüntüsünü temsil eden ışık ışınları kümesini) ortaya çıkarmak mümkün olabilir. “Işığı geçiren şeylerin yanı sıra, eğer ışığı engelleyen şeylere bakabilirseniz, o zaman böyle iğne deliği benzeri görüntüleri bulabileceğiniz yer sayısı artar,” diyor Freeman.

Renk Değişimleri

Küçük yoğunluk değişimlerini almayı amaçlayan rastlantısal kamera çalışmasının yanı sıra, Freeman ve çalışma arkadaşları, zayıf renk değişimlerini yükseltip algılamak için algoritmalar da geliştiriyor; dinleme cihazına dönüşen cips paketlerinin ardında da bu teknoloji var.

Normalde gürültünün içinde kaybolup gidecek kadar küçük olan bir pikselin binde biri ölçüsünde hafif hareketleri artık saptayabiliyorlar. Görüntüleri, düzenlenmiş sinüs dalgalarına dönüştürme yöntemini kullanıyorlar. Burada önemli nokta, dönüştürülmüş uzayda sinyalin gürültü tarafından baskılanmaması; çünkü sinüs dalgaları, çok sayıda piksel üzerinden alınan ortalamayı temsil ediyor ve dolayısıyla gürültü onların arasına saçılmış oluyor. Böylece araştırmacılar, bir video karesinden çıkan sinüs dalgalarının konumu ile sonraki kareden çıkanlarınkini karşılaştırıp, kaymaları saptayabiliyor. Bu kaymaları yükseltip, veriyi tekrar dönüştürüyorlar.

Bina Köşeleri

Şimdilerde bilimciler, saklı kalan görsel enformasyona ulaşmak için buldukları farklı yolları birleştirerek kullanmaya başladılar. Freeman’ın lisansüstü öğrencisi Katie Bouman liderliğinde yayımlanan bir araştırmada, bilimciler binaların köşelerinin, köşenin ötesindeki nesnelerin kaba görüntülerini üretebilen birer kamera görevi görebildiklerini ortaya koydu.

İğne delikleri ve iğne başları gibi, kenarlar ve köşeler de ışık ışınlarının geçişini sınırlandırır. Sıradan kayıt cihazları hatta bir telefon kullanarak, Bouman ve çalışma arkadaşları gün ışığı altında bir binanın köşesinin yarı-gölgesini (İng. penumbra) filme aldılar. Eğer orada yürüyen kırmızı gömlekli biri varsa örneğin, gömlek yarı-gölgenin içine az miktarda bir kırmızı ışık yansıtır ve bu kırmızı ışık, kişi yürüdükçe yarı-gölge boyunca ilerler. Çıplak gözle bunu seçmek olanaksızdır ama veri işlendikten sonra apaçık meydana çıkar.

Görsel Telif: Antonio Torralba / William T. Freeman

Işık Alanı

Freeman ve çalışma arkadaşlarının bir süre önce yayımladığı çığır açan çalışmada, duvara yakın duran yapraklı bir bitkinin gölgesinden, bir odanın “ışık alanı” (odadaki ışığın yoğunluk ve yön dağılımının temsili) yeniden yapılandırıldı. Yapraklar, birer iğne başı kamerası görevi görüyordu; her biri ışık ışınlarının farklı bir kümesini bloke ediyordu. Her bir yaprağın gölgesini diğerlerininkilerle karşılaştırarak, engellediği ışık ışını kümesi bulunabiliyordu ve böylece gizli manzaranın bir kısmının görüntüsü deşifre edilebiliyordu. Paralaksı da hesaba katarak, araştırmacılar bu görüntü parçalarını birleştirebiliyordu.

Bu ışık-alanı yaklaşımı, daha eski rastlantısal kamera çalışmasından çok daha canlı görüntüler üretiyor. Çünkü çevreye ilişkin önceki bilgi algoritmalara yerleştiriliyor. Bitkinin bilinen biçimi, doğal görüntülerin düzgün olma eğiliminde olduğu varsayımı ve başka “önceki bilgi”ler, araştırmacıların gürültülü sinyaller hakkında çıkarımlar yapmalarına olanak tanıyor; bu da ortaya çıkacak görüntünün keskinleşmesini sağlıyor. Işık-alanı tekniğinin, yeniden yapılandırabilme yapabilmek için çevre hakkında çok şey bilinmesini gerektirdiğini, ama sonuçta da bolca bilgi verdiğini söylüyor Torralba.

Saçılan Işık

Freeman, Torralba ve ekip arkadaşları hep ortada duran ama saklı kalmış görüntüleri açığa çıkarmakla meşgulken, MIT kampüsünün bir başka köşesinde Ramesh Raskar da kendi ekibiyle, “etkin görüntüleme” adlı tekniği kullanarak dünyayı değiştirmek için çalışıyordu. Raskar ve çalışma arkadaşları pahalı, özel kamera-lazer sistemleri kullanarak, köşelerin ötesindekilerin yüksek-çözünürlüklü görüntülerini oluşturuyordu.

Raskar 2012 yılında, 5 yıldır aklında olan bir fikri hayata geçirerek, ekibiyle birlikte bir duvara lazer atımları ateşledikleri bir tekniğin öncülüğünü yaptı. Saçılan ışığın küçük bir kesri, bir engelin çevresinden tepiyordu. Her atımdan sonra, saniyede milyarlarca karelik hızıyla tekil fotonları kaydeden bir “streak” kamera kullanarak, duvardan geri tepen fotonları algılıyorlardı. Geri dönen fotonların uçuş sürelerini ölçerek, araştırmacılar ne kadar yol aldıklarını bulabiliyor ve böylece engelin arkasında gizlenen, fotonların üzerlerinden saçıldığı nesnelerin ayrıntılı 3-boyutlu geometrisini yeniden yapılandırabiliyorlardı.

Güçlüklerden biri, 3-boyutlu görüntü oluşturabilmek için lazerle duvarı raster-scan etmek gerekmesiydi. Diyelim ki köşenin öte yanında duran biri olsun. “O zaman başın üstündeki belli bir noktadan gelen, omzun üstündeki belli bir noktadan gelen ve dizin üstündeki belli bir noktadan gelen ışıkların tümü kameraya tam olarak aynı anda varabilir,” diyor Raskar. “Ama eğer lazer birazcık farklı bir noktaya tutarsam, o zaman bu üç noktadan gelen ışıklar tam olarak aynı anda varmayacaktır.” 3D geometriği ortaya çıkarmak için tüm sinyalleri birleştirmek ve “ters problem”i çözmek gerekir.

Raskar’ın ters problemi çözmek için başlangıçta kullandığı algoritma bilgisayar hesaplaması bakımından zorlayıcıydı ve kullandığı düzenek yarım milyon dolar değerindeydi. Ama matematiği basitleştirmede ve maliyeti düşürmede önemli ölçüde ilerleme kaydedildi. Mart 2018’de Nature dergisinde yayımlanan bir makale, verimli, bütçe dostu köşe ötesi 3D nesne (tam olarak bir tavşan biblosu) görüntüleme için yeni bir standart belirledi. Yazarlar Stanford Üniversitesi’nden Matthew O’Toole, David Lindell ve Gordon Wetzstein idi. Ekip ters problem çözmek için yeni, güçlü bir algoritma geliştirmişti ve nispeten daha ucuz bir SPAD kamera (“streak” kameralardan daha düşük kare hızı olan yarı-iletken bir cihaz) kullanıyordu. Yazarlardan ikisinin eski danışmanı olan Raskar, çalışmayı çok akıllıca bulduğunu ve en beğendiği makalelerden biri olduğunu belirtiyor.

Görsel Telif: Stanford Computation Imaging Lab

Daha önceki algoritmalar, bir prosedür ayrıntısı nedeniyle belli bir noktada takılıp kalıyordu: Araştırmacılar genellikle dönen fotonları, lazerin yöneltildiği noktadan değil de, duvardaki farklı bir noktadan algılamayı yeğliyordu; böylece kameraları lazerin geri tepen ışığından kaçınabilirdi. Ama hem lazeri hem de kamerayı neredeyse aynı noktaya yönelterek, Stanford araştırmacıları giden ve gelen fotonları aynı “ışık konisi”nde haritalamayı başarmıştı. Işık ne zaman bir yüzeyden saçılsa, genişleyen bir fotonlar küresi oluşturur ve bu küre zamanla genişlerken bir koni izi bırakır. O’Toole, Einstein’ın öğretmeni Hermann Minkowski tarafından 20.yy’ın başında geliştirilen ışık konilerinin fiziğini, fotonların uçuş süresi ile saçılma yüzeylerinin konumunu bağlantılandıran özlü bir ifadeye dönüştürdü. Bu dönüştürmeden “ışık konisi dönüşümü” şeklinde söz ediyor.

Sürücüsüz otomobiller şimdiden, doğrudan görüntüleme için LIDAR sistemlerine sahip ve günün birinde pekâlâ köşelerin ötesini görmek için SPAD’larla da donatılabilirler. “Yakın bir gelecekte, bu lazer-SPAD sensörler elden ele gezecek bir biçime girebilir,” öngörüsünde bulunuyor Raskar’ın 2012 makalesinin başyazarı Andreas Velten. Kendisi şu nda Wisconsin Üniversitesi Madison Kampüsü’nde bir etkin-görüntüleme grubunun başında bulunuyor. Velten şimdiki görevlerinin, siyah bir arka plan üzerindeki beyaz bir nesnenin olduğu dikkatle düzenlenmiş ortamların ötesine geçip, daha karmaşık ve gerçekçi durumlarda da görüntüleme yapmayı başarmak olduğunu belirtiyor.

Farklı Yaklaşımlar Birlikte Kullanılabilir

Freeman’ın ekibindeki araştırmacılar, pasif ve aktif yaklaşımları birleştirmeye başladı. Doktora sonrası araştırmacısı Christos Thrampoulidis liderliğindeki bir makalede, lazerle yapılan etkin görüntülemede, bir köşenin ötesinde bulunan ve şekli bilinen bir iğne başı kameranın varlığının, foton uçuş süresi bilgisine hiç gerek duymadan, görülemeyen manzarayı yeniden yapılandırmak için kullanılabileceğini ortaya koydu. “Bunu sıradan bir CCD kamera ile de yapabilmemiz lazım,” diyor Thrampoulidis.

Görüş alanı dışı görüntüleme, ileride arama-kurtarma ekiplerine, itfaiyecilere ve otonom robotlara da yararlı olabilir. Velten, Ay mağaralarının içinin uzaktan görüntülenmesini konu alan bir proje için NASA’nın JPL laboratuarı ile ortaklaşa çalışıyor. Raskar ve ekibi ise geliştirdikleri yaklaşımı, kapalı bir kitabın ilk birkaç sayfasını, kitabın kapağını açmadan okumak ve sisin ötesini görmek için kullanabiliyor.

Freeman’ın hareket büyütme algoritması, cips paketinden ses yapılandırmanın yanı sıra, sağlık ve güvenlik araçlarında veya küçük gökbilimsel hareketlerin saptanmasında da işe yarayabilir.

Kaynak ve İleri Okuma

Etiket
  • Projelerimizde bize destek olmak ister misiniz?
  • Dilediğiniz miktarda aylık veya tek seferlik bağış yapabilirsiniz.
  • Destek Ol
Yorum Yap (0 )

Yorum yapabilmek için giriş yapmalısınız.

Bunlar da ilginizi çekebilir

Bağış Yap, Destek Ol!
Projelerimizde bize destek olmak isterseniz,
Patreon üzerinden
bütçenizi zorlamayacak şekilde aylık veya tek seferlik bağışta bulunabilirsiniz.
E-Bülten Üyeliği
Duyurulardan e-posta ile
haberdar olmak istiyorum.
Reklam Reklam Ver
Arşiv