U tehnološkoj industriji, teško da možete voditi razgovor a da neko ne pomene zaključivanje, umjetnu inteligenciju (AI) i mašinsko učenje (ML). Međutim, važno je napomenuti da iako su svi ovi pojmovi međusobno povezani, oni se takođe značajno razlikuju.
U ovom članku ćemo objasniti fundamentalne razlike i naglasiti važnost korištenja tehnologije AI zasnovane na obradi tenzora{0}}, posebno u rubnim i ugrađenim sistemima. U poređenju sa rješenjima baziranim na grafičkim procesorskim jedinicama (GPU), tenzor procesorske jedinice (TPU) nude efikasnije i isplativije performanse. Također ćemo dati neke primjere slučajeva upotrebe koji ilustruju gdje biste se mogli susresti s rubnim AI rješenjima u budućnosti.
Osnove ML i zaključivanja
ML se odnosi na metodologiju modela obuke koji koriste reprezentativne podatke kako bi se mašinama omogućilo da nauče kako da izvršavaju zadatke. Ovaj proces može biti kompjuterski veoma intenzivan, generišući trilione operacija po novoj tački podataka za obuku. Iterativna priroda procesa obuke, u kombinaciji sa ogromnim skupovima podataka za obuku potrebnim za postizanje visoke tačnosti, pokreće zahtjeve za izuzetno visokim-performansama obrade s plutajućim zarezom{3}}. ML obuka je najbolje implementirana kao infrastruktura data centra, gdje se visoki kapitalni i operativni troškovi mogu opravdati amortizacijom brojnih klijenata.
Zaključak uključuje korištenje obučenih modela za generiranje potencijalnih podudaranja za nove podatke relevantne za reprezentativne podatke na kojima je model obučen. Zaključak ima za cilj da pruži brze odgovore unutar milisekundi. Primjeri zaključivanja uključuju prepoznavanje govora, prevođenje jezika u stvarnom-vremenu, mašinski vid i odluke o optimizaciji umetanja reklama. Iako zaključivanje zahtijeva samo djelić procesorske snage potrebne za obuku, ono i dalje daleko premašuje ono što tradicionalni sistemi bazirani na centralnoj procesorskoj jedinici (CPU)-mogu isporučiti, posebno za aplikacije kompjuterskog vida. Zbog toga se toliko kompanija okreće tenzorskim-rješenjima za ubrzanje zasnovanim na tenzoru-bilo kao IP na SoC-ovima ili kao u-sistemskim akceleratorima-kako bi se postiglo manje od{10}}drugog vremena odziva potrebnog na rubu. Realnost je da trošenje čak minuta ili nekoliko sekundi na obradu slika u sistemu vizije nije od velike koristi. Industrijski sistemi vizije traže brzinu obrade{13}}na nivou milisekundi.
Odvajanje obuke i zaključivanja
Implementacija istog hardvera koji se koristi za obuku za rukovanje radnim opterećenjima zaključivanja može rezultirati preko-opremom mašina za zaključivanje akceleratorima i CPU hardverom. GPU rješenja razvijena za ML u protekloj deceniji nisu nužno optimalan izbor za-primenu velikih{2}}tehnologija zaključivanja ML-a. Dijagram ispod savršeno ilustruje poređenje između TPU akceleratora i GPU akceleratora. To jasno pokazuje da TPU akceleratori daju nižu potrošnju energije, smanjene troškove i veću efikasnost u poređenju sa AGX rješenjima baziranim na GPU{5}}u, dok i dalje pružaju uvjerljive nivoe performansi za aplikacije zaključivanja.
Još jedno kritično razmatranje kada se pristupa rješenjima za obuku i zaključivanje ML je softversko okruženje. Danas su u upotrebi brojne popularne biblioteke, kao što je CUDA za NVIDIA GPU, ML framework-e kao što su TensorFlow i PyTorch, optimizovane biblioteke modela na više platformi kao što je Keras i još mnogo toga. Ovi kompleti alata su neophodni za razvoj i obuku ML modela, ali aplikacije za zaključivanje zahtijevaju drugačiji, manji skup softverskih alata.
Kompleti alata za zaključivanje fokusiraju se na pokretanje modela na ciljnim platformama. Oni podržavaju prenos obučenih modela na platforme, što može uključivati neke transformacije operatera, kvantizaciju i usluge integracije hosta. Međutim, ovo predstavlja relativno jednostavan skup funkcionalnosti u poređenju sa onima potrebnim za razvoj modela i obuku.
Alati za zaključivanje imaju koristi od počinjanja sa standardiziranim prikazom modela. Open Neural Network Exchange (ONNX) je standardni format za predstavljanje ML modela. Kao što naziv implicira, radi se o otvorenom standardu kojim se upravlja kao projekt Linux Foundation. Tehnologije kao što je ONNX omogućavaju razdvajanje sistema obuke i zaključivanja, dajući programerima slobodu da izaberu različite optimizovane platforme za svaku od njih.
Primjeri vizualnih aplikacija
Kako ML i tehnologije procesora zaključivanja nastavljaju da napreduju i evoluiraju, aplikacije se šire. Ispod je samo nekoliko mjesta na kojima biste se mogli susresti s ovom tehnologijom u budućnosti.
Edge serveri u preduzećima kao što su fabrike, bolnice, maloprodajne prodavnice i finansijske institucije. Na primjer, u industrijskim okruženjima, AI može pomoći u upravljanju zalihama, otkrivanju kvarova, pa čak i prediktivnom održavanju prije nego što se pojave problemi. U maloprodaji, omogućava funkcije poput procjene poze, korištenje kompjuterskog vida za otkrivanje i analizu ljudskog držanja. Podaci iz ove analize pomažu maloprodajnim-i-prodavcima da bolje razumiju ljudsko ponašanje i promet u svojim trgovinama, omogućavajući im da optimiziraju izgled trgovina za maksimalnu prodaju i zadovoljstvo kupaca.
Visoka{0}}precizna/visoka{1}}kvalitetna slika za aplikacije uključujući robotiku, industrijsku automatizaciju/inspekciju, medicinsko snimanje, naučno snimanje, kamere za nadzor i prepoznavanje objekata i fotoniku. Na primjer, metode mašinskog učenja su pokazale sposobnost otkrivanja raka obradom digitalnih X- zraka. Ovaj proces uključuje razvoj ML modela dizajniranog za obradu X- slika, obično koristeći obučene algoritme semantičke segmentacije za identifikaciju kanceroznih lezija. Tokom treninga, slike karcinoma koje identifikuju radiolozi koriste se za učenje mreže šta nije rak, šta je rak i kako se pojavljuju različite vrste raka. Što je ML model obučen, to postaje bolji u maksimiziranju ispravnih dijagnoza i minimiziranju pogrešnih dijagnoza. To znači da se mašinsko učenje ne oslanja samo na inteligentni dizajn modela, već i na ogromne količine (desetine hiljada do miliona) pažljivo odabranih primjera podataka u kojima je rak stručno identificiran.
Pametna kolica za kupovinu-Nekoliko kompanija razvija i primenjuje inteligentne sisteme za kupovinu koji proizvode ne prepoznaju po UPC bar kodovima, već po vizuelnom izgledu same ambalaže. Ova funkcija omogućava kupcima da jednostavno stave artikle u korpu ili na sistem za naplatu bez potrebe da lociraju UPC kod i skeniraju ga UPC laserskim skenerom. Ova tehnologija čini proces kupovine preciznijim, bržim i praktičnijim.
Donošenje prave odluke
Kompanije moraju procijeniti sva dostupna rješenja danas i odabrati optimalno na osnovu svog specifičnog slučaja upotrebe. Oni također ne mogu jednostavno pretpostaviti da su sva AI rješenja najbolje implementirana na GPU uređajima, jer rješenja zasnovana na TPU{1}}u nude veću efikasnost obrade i niže korištenje silicija, čime se smanjuju potrošnja energije i troškovi.