Napredek računalniškega vida spodbuja avtonomijo transporta

Vid je močan človeški senzorični vnos. Omogoča kompleksne naloge in procese, ki se nam zdijo samoumevni. S povečanjem AoT™ (Autonomy of Things) v različnih aplikacijah, od transporta in kmetijstva do robotike in medicine, postaja vloga kamer, računalništva in strojnega učenja pri zagotavljanju človeškega vida in spoznavanja pomembna. Računalniški vid kot akademska disciplina se je začel razvijati v šestdesetih letih prejšnjega stoletja, predvsem na univerzah, ki se ukvarjajo z nastajajočim področjem umetne inteligence (AI) in strojnega učenja. V naslednjih štirih desetletjih je dramatično napredoval, saj je bil dosežen pomemben napredek v polprevodniških in računalniških tehnologijah. Nedavni napredek na področju globokega učenja in umetne inteligence je dodatno pospešil uporabo računalniškega vida za zagotavljanje zaznavanja in spoznavanja okolja v realnem času z nizko zakasnitvijo, kar omogoča avtonomijo, varnost in učinkovitost v različnih aplikacijah. Promet je eno od področij, ki je imelo velike koristi.

LiDAR (Light Detection and Ranging) je pristop aktivnega optičnega slikanja, ki uporablja laserje za določanje 3D okolja okoli predmeta. Gre za eno od tehnologij, ki jo skušajo motiti rešitve računalniškega vida (ki se zanašajo izključno na svetlobo okolice in ne uporabljajo laserjev za 3D-zaznavanje). Skupna tema je, da človeški vozniki ne potrebujejo LiDAR-ja za zaznavanje globine, zato ga tudi stroji ne bi smeli. Trenutne komercialne funkcije avtonomne vožnje L3 (popolna avtonomija v določenih geografskih območjih in vremenskih razmerah, pri čemer je voznik pripravljen prevzeti nadzor v nekaj sekundah) izdelki danes uporabite LiDAR. Tehnike, ki temeljijo izključno na viziji, še vedno niso mogle komercialno ponuditi te zmogljivosti.

OGLAS

TeslaTSLA
je dominanten zagovornik uporabe računalniškega vida, ki temelji na pasivni kameri, za zagotavljanje avtonomije potniškega vozila. Med nedavnim dogodkom podjetja AI Day so Elon Musk in njegovi inženirji poskrbeli za impresivno predstavitev njegove umetne inteligence, upravljanja podatkov in računalniških zmogljivosti, ki med drugimi pobudami podpirajo funkcijo popolne samostojne vožnje (FSD) na več modelih Tesla. FSD zahteva, da je človeški voznik ves čas vključen v nalogo vožnje (kar je skladno z avtonomijo L2). Trenutno je ta možnost na voljo pri 160,000 vozilih, ki so jih kupili kupci v ZDA in Kanadi. Komplet 8 kamer na vsakem vozilu zagotavlja 360° zemljevid zasedenosti. Podatki kamere (in drugi) iz teh vozil se uporabljajo za urjenje njegove nevronske mreže (ki uporablja samodejno označevanje) za prepoznavanje predmetov, načrtovanje potencialnih trajektorij vozil, izbiro optimalnih in aktiviranje ustreznih nadzornih dejanj. V zadnjih 75 mesecih je bilo opravljenih ~12 posodobitev nevronske mreže (~1 posodobitev vsakih 7 minut), saj se nenehno zbirajo novi podatki in odkrijejo napake pri označevanju ali napake pri manevriranju. Usposobljeno omrežje izvaja načrtovanje in nadzor prek vgrajene, redundantne arhitekture namensko zgrajene računalniške elektronike. Tesla pričakuje, da bo FSD sčasoma vodil do avtonomnih vozil (AV), ki zagotavljajo popolno avtonomijo v določenih domenah operativnega načrtovanja brez potrebe po vključevanju človeškega voznika (imenovano tudi avtonomija L4).

Druga podjetja, kot so Phiar, Helm.ai in NODAR prav tako sledijo poti računalniškega vida. Cilj NODAR-a je znatno razširiti obseg slikanja in 3D-zaznavanje sistemov stereo kamer tako, da se prek patentiranih algoritmov strojnega učenja nauči prilagajanja za neporavnanost kamere in učinke vibracij. Nedavno je zbral 12 milijonov dolarjev za produkcijo svojega vodilnega izdelka, Hammerhead™, ki uporablja kamere avtomobilskega razreda in standardne računalniške platforme.

Poleg cene in velikosti je pogost argument proti uporabi LiDAR ta, da ima omejen obseg in ločljivost v primerjavi s kamerami. Danes so na primer na voljo LiDAR-ji z ​​dosegom 200 m in 5-10 M točk/sekundo (PPS, ki je podoben ločljivosti). Na 200 m bodo majhne ovire, kot so opeke ali ostanki pnevmatik, zabeležile zelo malo točk (morda 2-3 v navpični smeri in 3-5 v vodoravni smeri), kar oteži prepoznavanje predmetov. Stvari postanejo še bolj grobe na daljših razdaljah. Za primerjavo, standardne kamere z milijoni slikovnih pik, ki delujejo pri 30 Hz, lahko ustvarijo 30 milijonov slikovnih pik/sekundo, kar omogoča vrhunsko prepoznavanje predmetov tudi na velikih razdaljah. Naprednejše kamere (12 M slikovnih pik) lahko to še povečajo. Vprašanje je, kako uporabiti te ogromne podatke in ustvariti uporabno zaznavo z zakasnitvami na ravni milisekund, nizko porabo energije in slabšimi svetlobnimi pogoji.

OGLAS

Prepoznaj, podjetje s sedežem v Kaliforniji, poskuša rešiti ta problem. Po besedah ​​izvršnega direktorja Marka Bolitha je njegovo poslanstvo "zagotavljajo nadčloveško vizualno zaznavo za popolnoma avtonomna vozila.” Podjetje je bilo ustanovljeno leta 2017, do danes je zbralo 75 milijonov dolarjev in ima 70 zaposlenih. RK Anand, študent podjetja Juniper Networks, je eden od soustanoviteljev in glavni produktni direktor. Verjame, da uporaba kamer z višjo ločljivostjo z > 120 dB dinamičnega razpona, ki delujejo pri visokih hitrostih sličic (na primer OnSemi, Sony in Omnivision), zagotavlja podatke, potrebne za ustvarjanje 3D informacij visoke ločljivosti, kar je ključnega pomena za realizacijo AV. Omogočila za to so:

1. Po meri zasnovani ASIC-ji za učinkovito obdelavo podatkov in izdelavo natančnih 3D zemljevidov visoke ločljivosti avtomobilskega okolja. Ti so izdelani po 7 nm postopku TSMC, z velikostjo čipa 100 mm², ki delujejo pri frekvenci 1 GHz.
2. Lastniški algoritmi strojnega učenja za obdelavo milijonov podatkovnih točk brez povezave za ustvarjanje usposobljene nevronske mreže, ki lahko nato deluje učinkovito in se nenehno uči. To omrežje zagotavlja zaznavanje in vključuje razvrščanje in zaznavanje predmetov, semantično segmentacijo, zaznavanje voznega pasu, prepoznavanje prometnih znakov in semaforjev
3. Minimiziranje operacij shranjevanja in množenja zunaj čipa, ki so energetsko intenzivne in ustvarjajo visoko zakasnitev. Recognijeva zasnova ASIC je optimizirana za logaritemsko matematiko in uporablja seštevanje. Nadaljnja učinkovitost je dosežena z optimalnim združevanjem uteži v izurjeni nevronski mreži.

Med fazo usposabljanja se komercialni LiDAR uporablja kot temeljna resnica za usposabljanje podatkov stereo kamere z visoko ločljivostjo in visokim dinamičnim razponom za pridobivanje informacij o globini in jih naredi robustne proti neporavnanosti in učinkom vibracij. Po besedah ​​g. Ananda je njihova izvedba strojnega učenja tako učinkovita, da lahko ekstrapolira ocene globine izven razponov usposabljanja, ki jih zagotavlja kalibracijski LiDAR (ki zagotavlja resničnost tal do razdalje 100 m).

OGLAS

Zgornji podatki o usposabljanju so bili izvedeni podnevi s stereo parom kamer z 8.3 milijona slikovnih pik, ki delujejo pri 30 Hz hitrosti sličic (~0.5 B slikovnih pik na sekundo). Prikazuje zmožnost usposobljenega omrežja, da izvleče 3D informacije v prizoru izven razdalje 100 m, s katerim je bilo usposobljeno. Rešitev Recogni lahko svoje učenje z dnevnimi podatki ekstrapolira tudi na nočno delovanje (slika 2).

OGLAS

Po besedah ​​g. Ananda so podatki o dosegu točni do 5 % (na dolge razdalje) in blizu 2 % (na krajše razdalje). Rešitev zagotavlja 1000 TOPS (bilijon operacij na sekundo) s 6 ms zakasnitvijo in porabo energije 25 W (40 TOPS/W), kar je vodilno v industriji. Tekmovalci, ki uporabljajo celoštevilsko matematiko, so pri tej metriki > 10-krat nižji. Rešitev podjetja Recogni je trenutno v preskušanju pri številnih dobaviteljih prve stopnje za avtomobile.

Prerokovalec (»predvidevanje in opazovanje, kje je dejanje«), s sedežem v Franciji, uporablja svoje kamere, ki temeljijo na dogodkih, za AV, napredne sisteme za pomoč voznikom (ADAS), industrijsko avtomatizacijo, potrošniške aplikacije in zdravstvo. Leta 2014 ustanovljeno podjetje podjetje je pred kratkim zaključilo financiranje kroga C v višini 50 milijonov USD, s skupno zbranimi 127 milijoni $ do danes. Xiaomi, vodilni proizvajalec mobilnih telefonov, je eden od investitorjev. Cilj Propheseeja je posnemati človeški vid, pri katerem se receptorji v mrežnici odzivajo na dinamične informacije. Človeški možgani se osredotočajo na obdelavo sprememb prizora (zlasti pri vožnji). Osnovna ideja je uporaba arhitektur kamer in slikovnih pik, ki zaznavajo spremembe intenzivnosti svetlobe nad pragom (dogodek) in posredujejo le te podatke računalniškemu skladu za nadaljnjo obdelavo. Piksli delujejo asinhrono (niso uokvirjeni kot pri običajnih kamerah CMOS) in pri veliko večjih hitrostih, saj jim ni treba integrirati fotonov kot pri običajni kameri, ki temelji na okvirju, in čakati, da celoten okvir konča to pred branjem podatkov. Prednosti so pomembne – manjša pasovna širina podatkov, zakasnitev odločanja, shranjevanje in poraba energije. Prvi komercialni vidni senzor VGA, ki temelji na dogodkih, je imel visoko dinamično območje (>120 dB), nizko porabo energije (26 mW na ravni senzorja ali 3 nW/dogodek). Predstavljena je bila tudi HD (visoka ločljivost) različica (razvita skupaj s Sonyjem) z največjo velikostjo slikovnih pik v industriji (< 5 μm).

OGLAS

Ti senzorji tvorijo jedro platforme za zaznavanje Metavision®, ki uporablja AI za zagotavljanje pametnega in učinkovitega zaznavanja za aplikacije avtonomije in jo ocenjuje več podjetij v transportnem prostoru. Poleg naprej obrnjenega zaznavanja za AV in ADAS Prophesee aktivno sodeluje s strankami za spremljanje voznika v kabini za aplikacije L2 in L3, glejte sliko 4:

Avtomobilske priložnosti so donosne, vendar so cikli oblikovanja dolgi. V zadnjih dveh letih je Prophesee opazil veliko zanimanje in privlačnost v prostoru strojnega vida za industrijske aplikacije. Ti vključujejo visokohitrostno štetje, pregledovanje površin in spremljanje vibracij.

OGLAS

Prophesee je nedavno napovedal sodelovanje z vodilnimi razvijalci sistemov strojnega vida za izkoriščanje priložnosti v industrijski avtomatizaciji, robotiki, avtomobilizmu in IoT (Internet of Things). Druge takojšnje priložnosti so popravek zamegljenosti slike za mobilne telefone in aplikacije AR/VR. Ti uporabljajo senzorje nižjega formata od tistih, ki se uporabljajo za dolgoročne priložnosti ADAS/AV, porabijo še manj energije in delujejo s precej nižjo zakasnitvijo.

Izrael je vodilni inovator na področju visoke tehnologije s pomembnimi tveganimi naložbami in aktivnim zagonskim okoljem. Od leta 2015 je bilo v tehnološkem sektorju vloženih približno 70 milijard dolarjev tveganih naložb. Del tega je na področju računalniškega vida. Mobileye je vodil to revolucijo leta 1999, ko je Amnon Shashua, vodilni raziskovalec AI na Hebrejski univerzi, ustanovil podjetje, da bi se osredotočilo na zaznavanje na podlagi kamere za ADAS in AV. Podjetje je leta 2014 vložilo prošnjo za IPO, kupil pa ga je IntelINTC
leta 2017 za 15 milijard dolarjev. Danes je zlahka vodilni igralec v domeni računalniškega vida in AV in v zadnjem času je napovedal, da namerava vložiti IPO in postane samostojen subjekt. Mobileye je imel prihodke v višini 1.4 milijarde dolarjev na leto in skromne izgube (75 milijonov dolarjev). Zagotavlja zmožnosti računalniškega vida 50 proizvajalcem originalne opreme za avtomobile, ki jih uporabljajo v 800 modelih avtomobilov za zmogljivosti ADAS. V prihodnosti nameravajo prevzeti vodilno vlogo pri avtonomiji vozil L4 (voznik ni potreben) z uporabo tega strokovnega znanja in izkušenj z računalniškim vidom ter zmožnostmi LiDAR, ki temeljijo na Intelovi platformi silicijeve fotonike. Vrednost družbe Mobileye je ocenjena na ~50 milijard dolarjev, ko bo končno javno objavljena.

OGLAS

Champel Capital, s sedežem v Jeruzalemu, je v ospredju naložb v podjetja, ki razvijajo izdelke, ki temeljijo na računalniškem vidu za različne aplikacije od transporta in kmetijstva do varnosti in varnosti. Amir Weitman je soustanovitelj in upravni partner in je ustanovil svoje tvegano podjetje leta 2017. Prvi sklad je vložil 20 milijonov $ v 14 podjetij. Ena od njihovih naložb je bila v Innoviz, ki je leta 2018 z združitvijo SPAC postala javna družba in postala samorog LiDAR. Pod vodstvom Omerja Keilafa (ki prihaja iz tehnološke enote obveščevalnega korpusa izraelskih obrambnih sil), podjetje je danes vodilno pri uvajanju LiDAR za ADAS in AV, z več oblikovalskimi zmagami pri BMW in Volkswagnu.

Drugi sklad Champel Capital (Impact Deep Tech Fund II) je bil ustanovljen januarja 2022 in je do danes zbral 30 milijonov USD (cilj je 100 milijonov USD do konca leta 2022). Prevladujoč poudarek je na računalniškem vidu, pri čemer je v petih podjetjih vloženih 12 milijonov dolarjev. Trije od teh uporabljajo računalniški vid za transport in robotiko.

TankU, s sedežem v Haifi je začelo delovati leta 2018 in je zbralo 10 milijonov dolarjev sredstev. Dan Valdhorn je izvršni direktor in je diplomant enote 8200, elitne visokotehnološke skupine v okviru izraelskih obrambnih sil, ki je odgovorna za obveščanje signalov in dešifriranje kod. TankU-jevi izdelki SaaS (programska oprema kot storitev) avtomatizirajo in varujejo procese v kompleksnih zunanjih okoljih, ki servisirajo vozila in voznike. Te izdelke uporabljajo lastniki voznih parkov, osebnih avtomobilov, črpalk za gorivo in električnih polnilnic za preprečevanje kraj in goljufij pri avtomatiziranih finančnih transakcijah. Storitve oskrbe z gorivom za vozila ustvarijo ~2 bilijone dolarjev svetovnih prihodkov letno, od tega lastniki zasebnih in komercialnih vozil porabijo 40 % ali 800 milijard dolarjev. Trgovci na drobno in lastniki voznih parkov izgubijo ~100 milijard USD letno zaradi kraj in goljufij (na primer uporaba kartice za gorivo voznega parka za nepooblaščena zasebna vozila). Goljufije CNP (kartica ni prisotna) in poseganje/kraja goriva so dodatni viri izgube, zlasti pri uporabi podatkov o ukradeni kartici v mobilnih aplikacijah za plačila.

OGLAS

Izdelek podjetja TUfuel omogoča varno plačevanje z enim dotikom, blokira večino vrst goljufij in opozori stranke, ko sumi na goljufijo. To počne na podlagi mehanizma umetne inteligence, usposobljenega za podatke iz obstoječih videonadzorov v teh objektih in podatke o digitalnih transakcijah (vključno s POS in drugimi zalednimi podatki). Parametri, kot so pot in dinamika vozila, ID vozila, čas vožnje, kilometrina, čas točenja goriva, količina goriva, zgodovina goriva in vedenje voznika, so nekateri atributi, ki se spremljajo za odkrivanje goljufij. Ti podatki prav tako pomagajo trgovcem na drobno optimizirati delovanje spletnega mesta, povečati zvestobo strank in uvesti marketinška orodja, ki temeljijo na viziji. Po besedah ​​izvršnega direktorja Dana Valdhorna njihova rešitev zazna 70 % flote, 90 % dogodkov s kreditnimi karticami in 70 % goljufij, povezanih z posegi.

Sonol je podjetje za energetske storitve, ki ima v lasti in upravlja mrežo 240 postaj in trgovin po Izraelu. TUfuel je nameščen na njihovih lokacijah in je dokazal izboljšano varnost, preprečevanje goljufij in zvestobo strank. Preskusi izdelkov potekajo v ZDA v sodelovanju z vodilnim svetovnim dobaviteljem opreme za bencinske črpalke in trgovine. Podobne pobude potekajo tudi v Afriki in Evropi.

OGLAS

S sedežem v Tel Avivu ITC so leta 2019 ustanovili akademiki strojnega učenja z univerze Ben-Gurion. ITC ustvarja izdelke SaaS, ki "izmerite prometni tok, predvidite zastoje in jih ublažite s pametnim upravljanjem semaforjev – preden začnejo nastajati zastoji." Podobno kot TankU uporablja podatke iz standardnih kamer (ki so že nameščene na številnih prometnih križiščih) za pridobivanje prometnih podatkov v živo. Podatki iz več tisoč kamer po mestu se analizirajo in parametri, kot so vrsta vozila, hitrost, smer gibanja in zaporedje vrst vozil (tovornjaki proti avtomobilom), se izločijo z uporabo lastniških algoritmov umetne inteligence. Simulacije napovedujejo prometne tokove in morebitne prometne zastoje do 30 minut vnaprej. Semaforji so prilagojeni na podlagi teh rezultatov za nemoten prometni tok in preprečevanje zastojev.

Usposabljanje sistema AI zahteva en mesec vizualnih podatkov po tipičnem mestu in vključuje kombinacijo nadzorovanega in nenadzorovanega učenja. Rešitev ITC je že nameščena v Tel-Avivu (uvrščeno na 25. mesto v najbolj obremenjenih mestih na svetu leta 2020), s tisoči kamer, nameščenih na stotinah križišč, ki jih nadzorujejo semaforji. ITC-jev sistem trenutno upravlja 75 vozil, ki naj bi še naprej rasla. Podjetje vgrajuje a podobno zmogljivost v Luksemburgu in začenja s poskusi v večjih mestih ZDA. Po vsem svetu njegova rešitev upravlja 300,000 vozil z operativnimi lokacijami v Izraelu, ZDA, Braziliji in Avstraliji. Dvir Kenig, tehnični direktor, strastno želi rešiti to težavo – ljudem vrniti osebni čas, zmanjšati toplogredne pline, povečati splošno produktivnost in, kar je najpomembneje, zmanjšati število nesreč v prometnih križiščih. Po mnenju g. Keniga, "Naše uvedbe kažejo 30-odstotno zmanjšanje prometnih zastojev, zmanjšanje neproduktivnega časa vožnje, stresa, porabe goriva in onesnaževanja."

OGLAS

Robotika v zaprtih prostorih je ustanovljena v 2018 in Pred kratkim zbrala 18 milijonov dolarjev financiranja. Podjetje s sedežem v bližini Tel-Aviva v Izraelu razvija in prodaja rešitve avtonomnih brezpilotnih letal za notranjo varnost, varnost in spremljanje vzdrževanja. Izvršni direktor in soustanovitelj Doron Ben-David ima znatne izkušnje na področju robotike in aeronavtike, ki si jih je nabral pri IAI.IAI
(glavni obrambni glavni izvajalec) in MAFAT (napredna raziskovalna organizacija v okviru izraelskega ministrstva za obrambo), ki je podobna DARPA v Združenih državah. Naraščajoče naložbe v pametne zgradbe in trge komercialne varnosti spodbujajo potrebo po avtonomnih sistemih, ki lahko uporabljajo računalniški vid in druge senzorične vnose v majhnih in velikih notranjih poslovnih prostorih (pisarne, podatkovni centri, skladišča in maloprodajni prostori). Indoor Robotics cilja na ta trg z uporabo notranjih dronov, opremljenih s standardnimi kamerami ter toplotnimi in infrardečimi senzorji dosega.

Ofir Bar-Levav je glavni poslovni direktor. Pojasnjuje, da je pomanjkanje GPS onemogočalo, da bi se droni v zaprtih prostorih lokalizirali znotraj zgradb (običajno brez GPS-a ali netočnega). Poleg tega so manjkale priročne in učinkovite rešitve za priklop in napajanje. Indoor Robotics to obravnava s štirimi kamerami, nameščenimi na drone (zgoraj, spodaj, levo, desno) in preprostimi senzorji dosega, ki natančno preslikajo notranji prostor in njegovo vsebino. Podatke kamere (kamere zagotavljajo podatke o lokalizaciji in kartiranju) in toplotne senzorje (prav tako nameščene na dronu) analizira sistem umetne inteligence, da zazna morebitne varnostne, varnostne in vzdrževalne težave ter opozori stranko. Droni se napajajo prek stropno nameščene "priklopne ploščice", ki prihrani dragocen prostor na tleh in omogoča zbiranje podatkov med polnjenjem. Finančne prednosti avtomatizacije teh vsakdanjih procesov, kjer je človeško delo zapleteno in drago v smislu zaposlovanja, zadrževanja in usposabljanja, so očitne. Uporaba zračnih brezpilotnih letal v primerjavi z zemeljskimi roboti ima tudi pomembne prednosti v smislu kapitalskih in operativnih stroškov, boljšega izkoriščanja talne površine, svobode gibanja brez naleta na ovire in učinkovitosti zajemanja podatkov kamere. Po besedah ​​gospoda Bar-Levava bo TAM (Total Addressable Market) podjetja Indoor Robotics v inteligentnih varnostnih sistemih za notranje prostore do leta 80 znašal 2026 milijard USD. Ključne lokacije strank danes vključujejo skladišča, podatkovne centre in pisarniške kampuse vodilnih svetovnih korporacij.

OGLAS

Računalniški vid spreminja igro avtonomije – pri avtomatizaciji gibanja, varnosti, nadzoru pametnih zgradb, odkrivanju goljufij in upravljanju prometa. Moč polprevodnikov in umetne inteligence sta močna dejavnika. Ko računalniki obvladajo to neverjetno senzorično modalnost na razširljiv način, so možnosti neskončne.