Princeton uniersity
Kamere mikro velikosti imajo velik potencial za odkrivanje težav v človeškem telesu in omogočanje zaznavanja za super majhne robote, vendar so pretekli pristopi zajemali mehke, popačene slike z omejenimi vidnimi polji.
Zdaj so raziskovalci na Univerzi Princeton in Univerzi v Washingtonu premagali te ovire z ultrakompaktno kamero v velikosti grobega zrna soli. Novi sistem lahko ustvari jasne, slike z naravnimi barvami, ki so enake slikam običajne kamere s sestavljenimi lečami, ki je 500.000-krat večja po prostornini, so poročali raziskovalci v članku, objavljenem 29. novembra v Nature Communications. Omogočen s skupno zasnovo strojne opreme kamere in računalniške obdelave bi lahko sistem z medicinskimi roboti omogočil minimalno invazivno endoskopijo za diagnosticiranje in zdravljenje bolezni ter izboljšanje slikanja. Nize na tisoče takšnih kamer bi lahko uporabili za zaznavanje celotnega prizora in spreminjanje površin v kamere. Medtem ko tradicionalna kamera uporablja vrsto ukrivljenih steklenih ali plastičnih leč za fokusiranje svetlobe, se novi optični sistem opira na tehnologijo, imenovano metasurface, ki jo je mogoče izdelati podobno kot računalniški čip. Le pol milimetra široka metapovršina je posejana z 1,6 milijona valjastih stebrov, od katerih je vsak približno velik kot virus HIV. Vsak steber ima edinstveno geometrijo in deluje kot »optična antena«. Za pravilno oblikovanje celotne optične valovne fronte je potrebno spreminjati zasnovo vsakega stebra. S pomočjo algoritmov, ki temeljijo na strojnem učenju, se interakcije s svetlobo združujejo, da ustvarijo slike najvišje kakovosti in najširše vidno polje do danes. Ključna inovacija pri ustvarjanju kamere je bila integrirana zasnova optične površine in algoritmi za obdelavo signalov, ki ustvarjajo sliko. To je povečalo zmogljivost kamere v naravnih svetlobnih pogojih, v nasprotju s prejšnjimi metasurface kamerami, ki so zahtevale čisto lasersko svetlobo v laboratoriju ali druge idealne pogoje za izdelavo visokokakovostnih slik, je dejal Felix Heide, višji avtor študije in docent za računalništvo. znanosti na Princetonu.
Raziskovalci so primerjali slike, ustvarjene z njihovim sistemom, z rezultati prejšnjih metasurface kamer, pa tudi s slikami, posnetimi s konvencionalno sestavljeno optiko, ki uporablja serijo šestih optičnih leč. Poleg malo zamegljenosti na robovih okvirja so bile slike kamere nano velikosti primerljive s tistimi pri tradicionalni nastavitvi objektiva, ki je več kot 500.000-krat večja po prostornini. Druge ultrakompaktne metasurface leče so trpele zaradi velikih popačenj slike, majhnih zornih polj in omejene zmožnosti zajemanja celotnega spektra vidne svetlobe. “Izziv je bil oblikovati in konfigurirati te majhne nanostrukture, da naredijo to, kar hočeš,” je povedal Ethan Tseng, doktor računalništva. študent na Princetonu, ki je tudi vodil študijo. “Za to specifično nalogo zajemanja RGB slik velikega vidnega polja je bilo prej nejasno, kako sooblikovati milijone nanostruktur skupaj z algoritmi za naknadno obdelavo.”
Eden od glavnih avtorjev Shane Colburn se je s tem izzivom spopadel z ustvarjanjem računalniškega simulatorja za avtomatizirano testiranje različnih konfiguracij nano-antene. Zaradi števila anten in zapletenosti njihovih interakcij s svetlobo ta vrsta simulacije uporablja “ogromne količine pomnilnika in časa,” je dejal Colburn. Razvil je model za učinkovito približevanje zmogljivosti produkcije slik metapovršine z zadostno natančnostjo. Colburn je delo vodil kot doktorski študent na Oddelku za elektrotehniko in računalništvo Univerze v Washingtonu (UW ECE), kjer je zdaj pridruženi docent. Prav tako usmerja načrtovanje sistema pri Tunoptixu, podjetju s sedežem v Seattlu, ki komercializira tehnologije metasurface slikanja. Tunoptix je soustanovila Colburnova diplomirana svetovalka Arka Majumdar, izredna profesorica na Univerzi v Washingtonu na oddelkih ECE in fizike ter soavtorica študije.
“Čeprav pristop k optičnemu oblikovanju ni nov, je to prvi sistem, ki uporablja površinsko optično tehnologijo na sprednji strani in nevronsko obdelavo zadaj,” je povedal Joseph Mait, svetovalec pri Mait-Optik in nekdanji višji raziskovalec in glavni znanstvenik v raziskovalnem laboratoriju ameriške vojske. “Pomen objavljenega dela je dokončanje Herkulove naloge, da skupaj oblikujemo velikost, obliko in lokacijo milijona funkcij metapovršine in parametrov obdelave po detekciji, da bi dosegli želeno zmogljivost slikanja,” je dodal Mait, ki ni sodeloval v študiji.
Heide in njegovi sodelavci si zdaj prizadevajo, da bi sami kameri dodali več računalniških sposobnosti. Poleg optimizacije kakovosti slike bi želeli dodati zmogljivosti za zaznavanje predmetov in druge načine zaznavanja, pomembne za medicino in robotiko. Heide predvideva tudi uporabo ultrakompaktnih slikovnih pik za ustvarjanje “površin kot senzorjev”. »Posamezne površine bi lahko spremenili v kamere z ultra visoko ločljivostjo, tako da ne bi več potrebovali treh kamer na zadnji strani telefona, ampak bi celotna zadnja stran telefona postala ena velikanska kamera. Omislimo si lahko povsem drugačne načine za izdelavo naprav v prihodnosti,« je dejal. Poleg Tsenga, Colburna, Whiteheada, Majumdarja in Heideja so avtorji študije Luocheng Huang, doktorski študent na Univerzi v Washingtonu; in Seung-Hwan Baek, podoktorski znanstveni sodelavec na Princetonu.
Delo so delno podprli Nacionalna znanstvena fundacija, Ministrstvo za obrambo ZDA, UW Reality Lab, Facebook, Google, Futurewei Technologies in Amazon.
Povzeto po:
https://engineering.princeton.edu/news/2021/11/29/researchers-shrink-camera-size-salt-grain
