Τι είναι ο νευρωνικός κινητήρας της Apple και πώς λειτουργεί;

Το iPhone, το iPad, το Mac και το Apple TV σας χρησιμοποιούν μια εξειδικευμένη μονάδα νευρωνικής επεξεργασίας που ονομάζεται Apple Neural Engine (ANE) που είναι πολύ πιο γρήγορη και πιο ενεργειακά αποδοτική από την CPU ή την GPU.

Το ANE καθιστά δυνατές προηγμένες λειτουργίες στη συσκευή, όπως επεξεργασία φυσικής γλώσσας και ανάλυση εικόνας χωρίς να αγγίζετε το cloud ή να χρησιμοποιείτε υπερβολική ισχύ.

Ας εξερευνήσουμε πώς λειτουργεί το ANE και την εξέλιξή του, συμπεριλαμβανομένων των συμπερασμάτων και της ευφυΐας που παρέχει στις πλατφόρμες της Apple και πώς οι προγραμματιστές μπορούν να το χρησιμοποιήσουν σε εφαρμογές τρίτων.

Τι είναι το Apple Neural Engine (ANE);

Το Apple Neural Engine είναι ένα όνομα μάρκετινγκ για ένα σύμπλεγμα εξαιρετικά εξειδικευμένων υπολογιστικών πυρήνων βελτιστοποιημένων για την ενεργειακά αποδοτική εκτέλεση βαθιών νευρωνικών δικτύων σε συσκευές Apple. Επιταχύνει τους αλγόριθμους μηχανικής εκμάθησης (ML) και τεχνητής νοημοσύνης (AI), προσφέροντας τεράστια πλεονεκτήματα ταχύτητας, μνήμης και ισχύος σε σχέση με την κύρια CPU ή GPU.

Το ANE είναι ένα μεγάλο μέρος του γιατί τα πιο πρόσφατα iPhone, iPad, Mac και Apple TV αποκρίνονται και δεν ζεσταίνονται κατά τη διάρκεια βαρέων υπολογισμών ML και AI. Δυστυχώς, δεν έχουν όλες οι συσκευές Apple ANE—το Apple Watch, οι Mac που βασίζονται σε Intel και οι συσκευές παλαιότερες από το 2016 δεν διαθέτουν ένα.

Το πρώτο ANE που έκανε το ντεμπούτο του στο τσιπ A11 της Apple στο iPhone X του 2017 ήταν αρκετά ισχυρό για να υποστηρίξει Face ID και Animoji. Συγκριτικά, το πιο πρόσφατο ANE στο τσιπ A15 Bionic είναι 26 φορές ταχύτερο από την πρώτη έκδοση. Σήμερα, το ANE ενεργοποιεί λειτουργίες όπως το Siri εκτός σύνδεσης και οι προγραμματιστές μπορούν να το χρησιμοποιήσουν για να τρέξουν προηγουμένως εκπαιδευμένα μοντέλα ML, ελευθερώνοντας τη CPU και την GPU για να επικεντρωθούν σε εργασίες που τους ταιριάζουν καλύτερα.

Πώς λειτουργεί ο νευρωνικός κινητήρας της Apple;

Το ANE παρέχει έλεγχο και αριθμητική λογική βελτιστοποιημένη για την εκτέλεση εκτεταμένων υπολογιστικών πράξεων όπως ο πολλαπλασιασμός και συσσώρευση, που χρησιμοποιείται συνήθως σε αλγόριθμους ML και AI, όπως ταξινόμηση εικόνων, ανάλυση πολυμέσων, μηχανική μετάφραση και περισσότερο.

Σύμφωνα με πατέντα της Apple με τίτλο "Πολυτρόπος Επίπεδος Μηχανή για Νευρωνικό Επεξεργαστή", το ANE αποτελείται από πολλούς πυρήνες νευρωνικών μηχανών και ένα ή περισσότερα επίπεδα κυκλώματα πολλαπλών λειτουργιών.

Ο σχεδιασμός είναι βελτιστοποιημένος για παράλληλους υπολογιστές, όπου πολλές λειτουργίες, όπως πολλαπλασιασμοί μήτρας που εκτελούνται σε τρισεκατομμύρια επαναλήψεις, πρέπει να εκτελούνται ταυτόχρονα.

Για να επιταχύνει την εξαγωγή συμπερασμάτων σε αλγόριθμους τεχνητής νοημοσύνης, το ANE χρησιμοποιεί μοντέλα πρόβλεψης. Επιπλέον, το ANE έχει τη δική του κρυφή μνήμη και υποστηρίζει μόνο μερικούς τύπους δεδομένων, κάτι που βοηθά στη μεγιστοποίηση της απόδοσης.

Χαρακτηριστικά AI Με την υποστήριξη της ANE

Ακολουθούν ορισμένες λειτουργίες της συσκευής που μπορεί να γνωρίζετε και τις οποίες η ANE καθιστά δυνατή.

• Επεξεργασία φυσικής γλώσσας: Ταχύτερη, πιο αξιόπιστη αναγνώριση φωνής για Υπαγόρευση και Siri. Βελτιωμένη εκμάθηση φυσικής γλώσσας στην εφαρμογή Μετάφραση και σε όλο το σύστημα. Άμεση μετάφραση κειμένου σε Φωτογραφίες, Κάμερα και άλλες εφαρμογές iPhone.
• Υπολογιστική όραση: Εύρεση αντικειμένων σε εικόνες όπως ορόσημα, κατοικίδια, φυτά, βιβλία και λουλούδια χρησιμοποιώντας την εφαρμογή Φωτογραφίες ή την αναζήτηση Spotlight. Λήψη πρόσθετων πληροφοριών σχετικά με Αναγνώρισε αντικείμενα χρησιμοποιώντας το Visual Look Up σε μέρη όπως το Safari, το Mail και τα Μηνύματα.
• Επαυξημένης πραγματικότητας: Απόφραξη ατόμων και παρακολούθηση κίνησης σε εφαρμογές AR.
• Ανάλυση βίντεο: Ανίχνευση προσώπων και αντικειμένων σε βίντεο σε εφαρμογές όπως το Final Cut Pro.
• Εφέ κάμερας: Αυτόματη περικοπή με κεντρικό στάδιο. Θάμπωμα φόντου κατά τη διάρκεια βιντεοκλήσεων FaceTime.
• Παιχνίδια: Φωτορεαλιστικά εφέ σε 3D βιντεοπαιχνίδια.
• Ζωντανό κείμενο: Παρέχει οπτική αναγνώριση χαρακτήρων (OCR) σε Κάμερα και Φωτογραφίες, επιτρέποντάς σας να αντιγράφετε εύκολα χειρόγραφα ή κείμενο όπως κωδικό πρόσβασης Wi-Fi ή διεύθυνση από εικόνες.
• Υπολογιστική φωτογραφία: Το Deep Fusion αναλύει pixel για καλύτερη μείωση θορύβου, μεγαλύτερο δυναμικό εύρος και βελτιωμένη αυτόματη έκθεση και ισορροπία λευκού, αξιοποιώντας το Smart HDR όταν χρειάζεται. Φωτογραφία ρηχού βάθους πεδίου, συμπεριλαμβανομένης της λήψης πορτρέτων Νυχτερινής λειτουργίας. Ρύθμιση του επιπέδου θαμπώματος φόντου με τον Έλεγχο Βάθους.
• Στοιχεία: Το ANE χρησιμοποιείται επίσης για φωτογραφικά στιλ στην εφαρμογή Κάμερα, επιμέλεια αναμνήσεων και στιλιστικά εφέ στις Φωτογραφίες, εξατομικευμένες προτάσεις όπως προτάσεις ταπετσαρίας, λεζάντες εικόνων VoiceOver, εύρεση διπλότυπων εικόνων σε Φωτογραφίες κ.λπ.

Ορισμένες από τις λειτουργίες που αναφέρθηκαν παραπάνω, όπως η αναγνώριση εικόνας, λειτουργούν επίσης χωρίς παρουσία ANE, αλλά θα λειτουργούν πολύ πιο αργά και θα φορολογήσουν την μπαταρία της συσκευής σας.

Μια σύντομη ιστορία της νευρωνικής μηχανής Apple: Από το iPhone X έως τους M2 Mac

Το 2017, η Apple ανέπτυξε το πρώτο της ANE με τη μορφή δύο εξειδικευμένων πυρήνων στο τσιπ A11 του iPhone X. Με τα σημερινά πρότυπα, ήταν σχετικά αργός, με μόλις 600 δισεκατομμύρια λειτουργίες ανά δευτερόλεπτο.

Το ANE δεύτερης γενιάς εμφανίστηκε μέσα στο τσιπ A12 το 2018, με τέσσερις φορές μεγαλύτερους πυρήνες. Βαθμολογημένο με πέντε τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο, αυτό το ANE ήταν σχεδόν εννέα φορές ταχύτερο και χρησιμοποιούσε το ένα δέκατο της ισχύος του προκατόχου του.

Το τσιπ A13 του 2019 είχε το ίδιο ANE οκτώ πυρήνων, αλλά έτρεχε το ένα πέμπτο γρηγορότερα ενώ χρησιμοποιούσε 15% λιγότερη ισχύ, προϊόν του ενισχυμένου κόμβου ημιαγωγών 7 nm της TSMC. Η TSMC (Taiwan Semiconductor Manufacturing Company) κατασκευάζει τσιπ σχεδιασμένα από την Apple.

Η εξέλιξη της νευρωνικής μηχανής της Apple

Το επόμενο έτος, το Apple A14 σχεδόν διπλασίασε την απόδοση του ANE σε 11 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο, που επιτεύχθηκε αυξάνοντας τον αριθμό των πυρήνων ANE από 8 σε 16. Το 2021, το A15 Bionic επωφελήθηκε από τη διαδικασία 5 nm δεύτερης γενιάς της TSMC, η οποία αύξησε περαιτέρω την απόδοση του ANE στα 15,8 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο χωρίς την προσθήκη περισσότερων πυρήνων.

Τα πρώτα τσιπ M1, M1 Pro και M1 Max που συνδέονταν σε Mac είχαν το ίδιο ANE με το A14, φέρνοντας για πρώτη φορά προηγμένο, επιταχυνόμενο από υλικό ML και AI στην πλατφόρμα macOS.

Το 2022, το M1 Ultra συνδύασε δύο τσιπ M1 Max σε ένα μόνο πακέτο χρησιμοποιώντας την προσαρμοσμένη διασύνδεση της Apple που ονομάζεται UltraFusion. Με διπλάσιους πυρήνες ANE (32), το M1 Ultra διπλασίασε την απόδοση του ANE σε 22 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο.

Το Apple A16 το 2022 κατασκευάστηκε χρησιμοποιώντας τον ενισχυμένο κόμβο N4 της TSMC, φέρνοντας περίπου 8% ταχύτερη απόδοση ANE (17 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο) έναντι του ANE του A15.

Τα πρώτα iPad με δυνατότητα ANE ήταν το iPad mini πέμπτης γενιάς (2019), το iPad Air τρίτης γενιάς (2019) και το iPad όγδοης γενιάς (2020). Όλα τα iPad που κυκλοφόρησαν έκτοτε έχουν ένα ANE.

Πώς μπορούν οι προγραμματιστές να χρησιμοποιήσουν το ANE σε εφαρμογές;

Πολλές εφαρμογές τρίτων χρησιμοποιούν το ANE για λειτουργίες που διαφορετικά δεν θα ήταν εφικτές. Για παράδειγμα, το πρόγραμμα επεξεργασίας εικόνας Pixelmator Pro παρέχει εργαλεία όπως το ML Super Resolution και το ML Enhance. Και στο djay Pro, το ANE διαχωρίζει τα beats, τα instrumentals και τα φωνητικά κομμάτια από μια ηχογράφηση.

Ωστόσο, οι προγραμματιστές τρίτων δεν έχουν πρόσβαση χαμηλού επιπέδου στο ANE. Αντίθετα, όλες οι κλήσεις ANE πρέπει να περνούν από το πλαίσιο λογισμικού της Apple για μηχανική εκμάθηση, το Core ML. Με το Core ML, οι προγραμματιστές μπορούν να δημιουργήσουν, να εκπαιδεύσουν και να εκτελέσουν τα μοντέλα ML τους απευθείας στη συσκευή. Ένα τέτοιο μοντέλο χρησιμοποιείται στη συνέχεια για να κάνει προβλέψεις με βάση νέα δεδομένα εισόδου.

"Μόλις ένα μοντέλο βρίσκεται στη συσκευή ενός χρήστη, μπορείτε να χρησιμοποιήσετε το Core ML για να το επανεκπαιδεύσετε ή να το ρυθμίσετε με ακρίβεια στη συσκευή, με τα δεδομένα αυτού του χρήστη", σύμφωνα με την επισκόπηση Core ML στο Ιστοσελίδα της Apple.

Για να επιταχύνει τους αλγόριθμους ML και AI, το Core ML αξιοποιεί όχι μόνο το ANE αλλά και την CPU και την GPU. Αυτό επιτρέπει στο Core ML να εκτελέσει ένα μοντέλο ακόμα κι αν δεν υπάρχει διαθέσιμο ANE. Αλλά με ένα ANE παρόν, το Core ML θα λειτουργεί πολύ πιο γρήγορα και η μπαταρία δεν θα αδειάσει τόσο γρήγορα.

Πολλά χαρακτηριστικά της Apple δεν θα λειτουργούσαν χωρίς το ANE

Πολλές λειτουργίες στη συσκευή δεν θα ήταν δυνατές χωρίς τη γρήγορη επεξεργασία των αλγορίθμων AI και ML και το ελαχιστοποιημένο αποτύπωμα μνήμης και κατανάλωση ενέργειας που φέρνει στο τραπέζι το ANE. Η μαγεία της Apple είναι να διαθέτει έναν αποκλειστικό συνεπεξεργαστή για την εκτέλεση νευρωνικών δικτύων ιδιωτικά στη συσκευή αντί να εκφορτώνει αυτές τις εργασίες σε διακομιστές στο cloud.

Με το ANE, τόσο η Apple όσο και οι προγραμματιστές μπορούν να εφαρμόσουν βαθιά νευρωνικά δίκτυα και να αποκομίσουν τα οφέλη της επιτάχυνσης μηχανική εκμάθηση για διάφορα μοντέλα πρόβλεψης όπως μηχανική μετάφραση, ανίχνευση αντικειμένων, ταξινόμηση εικόνων, και τα λοιπά.