Sony va lansa primul senzor Intelligent Vision cu funcționalitate de procesare AI

Senzorul permite procesare AI de mare viteză și contribuie la construirea sistemelor optime conectate în cloud

Tokyo, Japonia — Sony Corporation a anunțat astăzi că va lansa două noi modele de senzori Intelligent Vision, primii senzori de imagine din lume care vor oferi funcționalitate de procesare AI^*1(cu inteligență artificială). Implementarea acestei tehnologii chiar în construcția senzorului permite procesare AI de mare viteză și extragerea datelor necesare, lucru care, în utilizarea serviciilor cloud, reduce latența în momentul transmiterii datelor, rezolvă problemele legate de securitatea acestora și reduce consumul de energie și costurile comunicaționale.

*1 În rândul senzorilor de imagine. Potrivit cercetărilor realizate de Sony ( la data anunțului: 14 mai 2020).

Noile produse extind oportunitățile pentru dezvoltarea camerelor cu inteligență artificială, oferind o gamă largă de aplicații practice în industria de retail dar și în cea a echipamentelor industriale și contribuind la construirea unor sisteme optime conectate la cloud.

Model	Data de livrare a produsului	Preț al samplelor (fără taxe)
IMX500 1/2.3 (diagonală de 7.857 mm) aproximativ 12.3 megapixeli efectiv cu funcția Intelligent Vision (cipul brut)	Aprilie 2020	415 RON
IMX501 1/2.3 (diagonală de 7.857 mm) aproximativ 12.3 megapixeli efectiv cu funcția Intelligent Vision (cipul împachetat)	Iunie 2020 (planificat)	830 RON

Răspândirea pe scară largă a IoT a condus la conectarea în cloud a multor tipuri de device-uri, transformând sistemele de procesare a informației într-o metodă din ce în ce mai răspândită, datele fiind procesate în cloud, cu ajutorul inteligenței artificiale. De cealaltă parte, volumul tot mai mare de informații gestionate în cloud ridică o serie de probleme: o latență crescută a transmiterii datelor care îngreunează procesul de procesare în timp real, îngrijorări legate de securitate din partea utilizatorilor care stochează în cloud date personale identificabile și alte probleme precum creșterea consumului de energie și costurile comunicaționale pe care le implică aceste servicii.

Noii senzori Sony au o configurație stratificată, alcătuită dintr-un cip fotosensibil și un cip logic. Aceștia sunt primii senzori de imagine din lume care vor fi echipați cu funcționalități de analiză și procesare prin inteligența artificială pe cipul logic. Semnalul obținut de cipul fotosensibil este procesat cu ajutorul inteligenței artificiale, eliminând nevoia unui procesor de înaltă performanță sau a memoriei externe și permițând astfel dezvoltarea de sisteme edge AI. Senzorul procesează metadate (informații semantice proprii datelor imaginii), în locul informațiilor de imagine propriu-zise, reducând astfel volumul de date și rezolvând problemele legate de securitate. Mai mult, capabilitățile de inteligență artificială fac posibilă furnizarea de funcționalități diverse pentru aplicații versatile, precum urmărirea în timp real a obiectelor, cu procesare AI de mare viteză. De asemenea, diferitele modele AI pot fi selectate prin rescrierea memoriei interne în conformitate cu cerințele utilizatorului sau cu cerințele locației în care este utilizat sistemul.

Principalele caracteristici

■ Primul senzor de imagine din lume echipat cu tehnologia de procesare AI

Cipul fotosensibil are iluminare din spate și o capacitate efectivă de aproximativ 12.3 megapixeli pentru captarea informației corespunzătoare unghi larg de vizualizare. În plus față de circuitul convențional de funcționare a unui senzor de imagine, cipul logic este echipat cu tehnologia originală Sony DSP (Digital Signal Processor), dedicată procesării semnalului AI și memoriei modelelor AI. Această configurație elimină necesitatea procesoarelor de înaltă performanță sau a memoriei externe, lucru care îl transformă în senzorul perfect pentru sistemele edge AI.

■ Procesare a metadatelor

Semnalele captate prin intermediul cipului fotosensibil sunt filtrate de Procesorul de semnal de imagine-ISP (Image Signal Processor) iar procesarea cu ajutorul inteligenței artificiale este făcută în cadrul procesului care are loc în unitatea cipului logic, furnizând informații sub formă de metadate, reducând astfel cantitatea de date gestionate. Asigurarea faptului că nu sunt procesate informații proprii imaginii ajută la reducerea riscurilor legate de securitate și rezolvă problemele legate de intimitatea utilizatorului. În plus față de imaginea înregistrată de senzorul de imagine convențional, utilizatorii pot selecta formatul de procesare a datelor care se potrivește nevoilor lor de folosire, inclusiv format ISPP (YUV/RBG) sau ROI (Region of Interest), zone specifice ale imaginii.

Procesare AI de mare viteză

Atunci când un clip video este înregistrat prin folosirea unui senzor de imagine convențional, este necesară trimiterea datelor fiecărui cadru individual pentru procesare prin inteligență artificială, rezultând astfel un flux mare de date și făcând dificilă livrarea de performanță în timp real. Noii senzori Sony realizează procesare ISP și procesare de mare viteză prin intermediul inteligenței artificiale (3.1 milisecunde de procesare pentru MobileNet V1^*2) pe cipul logic, realizând întregul proces într-un singur frame video. De asemenea, design-ul permite livrarea unei urmăriri de înaltă precizie și în timp real a obiectelor în timpul înregistrării video.

*2 MobileNet V1: Un model AI de analiză a imaginii pentru recunoașterea obiectelor pe dispozitivele mobile.

Exemplu de Real-Time Tracking cu produsul la o casă de marcat

■ Model AI personalizabil

Cu noii senzori Sony, utilizatori pot personaliza modelele AI așa cum își doresc și le pot rescrie și actualiza potrivit necesităților proprii sau condițiilor mediului în care utilizează sistemul. De exemplu, atunci când mai multe camere care încorporează acest sistem sunt instalate într-o locație de retail, un singur tip de cameră poate fi utilizat în diferite zone, circumstanțe, momente ale zilei sau în scopuri distincte. Atunci când este instalată la intrarea într-un spațiu poate fi folosită pentru a ține evidența numărului de vizitatori care au trecut pragul locului respectiv; atunci când este amplasată pe raftul unui magazin poate fi utilizată pentru a detecta stocurile insuficiente; când este poziționată pe tavan, camera poate fi utilă pentru heat mapping (evaluarea zonelor de interes ale magazinului, detectând locurile care prezintă mai mult interes pentru vizitatori și tind să fie aglomerate). Mai mult, modelul AI al unei camere date poate fi rescris, trecând cu ușurință de la un produs utilizat pentru maparea zonelor de interes la unul dedicat identificării comportamentului consumatorilor și așa mai departe.

Specificații cheie Nume model IMX500 (cipul brut) IMX501 (cipul împachetat) Număr efectiv de pixeli 4056 (H) × 3040 (V), aprox. 12.3 megapixeli Dimensiunea imaginii Diagonală 7.857 mm (1/2.3) Mărimea fotocelulei 1.55 μm (H) × 1.55 μm (V) Rată de cadre Full pixel 60 fps Video 4K (4056 × 2288) 60 fps 1080p 240 fps Full/video+procesare AI 30fps Procesare metadate 30fps Sensibilitate (F5.6 valoare standard) Aprox. 250LSB Nivelul saturației senzorului (valoare minimă) Aprox. 9610e- Consum de energie Analog 2.7V Digital 0.84V Interfață 1.8V Funcții de bază Funcție de procesare AI, ISP, fotografiere HDR Procesare MIPI D-PHY 1.2 (4 lane) / SPI Dispunerea filtrelor de culoare Aranjament Bayer Format de procesare Imagine (Bayer RAW), procesare ISP (YUV/RGB), ROI, metadate Ambalaj – Ceramică LGA 12.5 mm (H) × 15.0 mm (V)

Views: 0