Les modèles d’IA peuvent désormais apprendre continuellement à partir de nouvelles données sur des appareils périphériques intelligents tels que les smartphones et les capteurs.
Une nouvelle technique permet de former des modèles d’apprentissage automatique sur des dispositifs périphériques tels que les microcontrôleurs, qui ont une mémoire très limitée. Cela pourrait permettre aux périphériques d’apprendre continuellement à partir de nouvelles données, en éliminant les problèmes de confidentialité des données, tout en permettant la personnalisation de l’utilisateur.
Les microcontrôleurs, des ordinateurs miniatures capables d’exécuter des commandes simples, sont à la base de milliards d’appareils connectés, des appareils de l’internet des objets (IoT) aux capteurs des automobiles. Mais les microcontrôleurs bon marché et de faible puissance ont une mémoire extrêmement limitée et ne possèdent pas de système d’exploitation, ce qui rend difficile l’apprentissage de modèles d’intelligence artificielle sur des « périphériques » qui fonctionnent indépendamment des ressources informatiques centrales.
La formation d’un modèle d’apprentissage automatique sur un périphérique intelligent lui permet de s’adapter aux nouvelles données et de faire de meilleures prédictions. Par exemple, l’apprentissage d’un modèle sur un clavier intelligent pourrait permettre au clavier d’apprendre continuellement à partir de l’écriture de l’utilisateur. Cependant, le processus d’apprentissage nécessite tellement de mémoire qu’il est généralement effectué à l’aide d’ordinateurs puissants dans un centre de données, avant que le modèle ne soit déployé sur un appareil. Cette méthode est plus coûteuse et soulève des problèmes de confidentialité puisque les données de l’utilisateur doivent être envoyées à un serveur central.
Pour résoudre ce problème, des chercheurs du MIT et du MIT-IBM Watson AI Lab ont mis au point une nouvelle technique qui permet la formation sur l’appareil en utilisant moins d’un quart de mégaoctet de mémoire. D’autres solutions de formation conçues pour les appareils connectés peuvent utiliser plus de 500 mégaoctets de mémoire, dépassant largement la capacité de 256 kilooctets de la plupart des microcontrôleurs (il y a 1 024 kilooctets dans un mégaoctet).
Les algorithmes et le cadre intelligents mis au point par les chercheurs réduisent la quantité de calculs nécessaires à l’apprentissage d’un modèle, ce qui rend le processus plus rapide et plus économe en mémoire. Leur technique peut être utilisée pour entraîner un modèle d’apprentissage automatique sur un microcontrôleur en quelques minutes.
Cette technique préserve également la vie privée en conservant les données sur le dispositif, ce qui pourrait être particulièrement utile lorsque les données sont sensibles, comme dans les applications médicales. Elle pourrait également permettre la personnalisation d’un modèle en fonction des besoins des utilisateurs. En outre, le cadre préserve ou améliore la précision du modèle par rapport à d’autres approches de formation.
« Notre étude permet aux appareils IoT non seulement d’effectuer des inférences, mais aussi de mettre à jour en permanence les modèles d’IA en fonction des nouvelles données collectées, ouvrant ainsi la voie à un apprentissage permanent sur l’appareil. La faible utilisation des ressources rend l’apprentissage profond plus accessible et peut avoir une portée plus large, en particulier pour les appareils périphériques à faible puissance », explique Song Han, professeur associé au département de génie électrique et d’informatique (EECS), membre du MIT-IBM Watson AI Lab, et auteur principal de l’article décrivant cette innovation.
Les coauteurs principaux et les étudiants en doctorat de l’EECS, Ji Lin et Ligeng Zhu, ainsi que les post-doctorants du MIT, Wei-Ming Chen et Wei-Chen Wang, et Chuang Gan, membre du personnel de recherche principal du MIT-IBM Watson AI Lab, se sont joints à M. Han pour rédiger l’article. La recherche sera présentée à la Conférence sur les systèmes de traitement de l’information neuronale.
Han et son équipe se sont déjà penchés sur les goulets d’étranglement en matière de mémoire et de calcul qui existent lorsqu’on essaie d’exécuter des modèles d’apprentissage automatique sur de minuscules appareils périphériques, dans le cadre de leur initiative TinyML.
Formation légère
Un type courant de modèle d’apprentissage automatique est connu sous le nom de réseau neuronal. Largement inspirés du cerveau humain, ces modèles contiennent des couches de nœuds interconnectés, ou neurones, qui traitent les données pour accomplir une tâche, telle que la reconnaissance de personnes sur des photos. Le modèle doit d’abord être entraîné, ce qui implique de lui montrer des millions d’exemples pour qu’il puisse apprendre la tâche. Au fur et à mesure de son apprentissage, le modèle augmente ou diminue la force des connexions entre les neurones, que l’on appelle les poids.
Le modèle peut subir des centaines de mises à jour au cours de son apprentissage, et les activations intermédiaires doivent être stockées à chaque cycle. Dans un réseau neuronal, l’activation est le résultat intermédiaire de la couche intermédiaire. Comme il peut y avoir des millions de poids et d’activations, l’apprentissage d’un modèle nécessite beaucoup plus de mémoire que l’exécution d’un modèle pré-entraîné, explique Han.
Han et ses collaborateurs ont employé deux solutions algorithmiques pour rendre le processus de formation plus efficace et moins gourmand en mémoire. La première, appelée « sparse update », utilise un algorithme qui identifie les poids les plus importants à mettre à jour à chaque cycle de formation. L’algorithme commence à geler les poids un par un jusqu’à ce qu’il voit la précision descendre à un seuil défini, puis il s’arrête. Les poids restants sont mis à jour, tandis que les activations correspondant aux poids gelés n’ont pas besoin d’être stockées en mémoire.
« La mise à jour de l’ensemble du modèle est très coûteuse, car il y a beaucoup d’activations. Les gens ont donc tendance à ne mettre à jour que la dernière couche, mais comme vous pouvez l’imaginer, cela nuit à la précision. Dans notre méthode, nous mettons à jour de manière sélective les poids importants et nous nous assurons que la précision est entièrement préservée », explique Han.
Leur deuxième solution consiste à quantifier la formation et à simplifier les poids, qui sont généralement de 32 bits. Un algorithme arrondit les poids pour qu’ils ne comportent que huit bits, par un processus appelé quantification, ce qui réduit la quantité de mémoire pour l’apprentissage et l’inférence. L’inférence est le processus qui consiste à appliquer un modèle à un ensemble de données et à générer une prédiction. L’algorithme applique ensuite une technique appelée « quantization-aware scaling » (QAS), qui agit comme un multiplicateur pour ajuster le rapport entre le poids et le gradient, afin d’éviter toute baisse de précision pouvant résulter d’une formation quantifiée.
Les chercheurs ont développé un système, appelé « tiny training engine », qui peut exécuter ces innovations algorithmiques sur un simple microcontrôleur dépourvu de système d’exploitation. Ce système modifie l’ordre des étapes du processus de formation de manière à ce que davantage de travail soit effectué lors de l’étape de compilation, avant que le modèle ne soit déployé sur l’appareil périphérique.
« Nous repoussons une grande partie du calcul, comme l’auto-différenciation et l’optimisation des graphes, au moment de la compilation. Nous élaguons également de manière agressive les opérateurs redondants afin de prendre en charge les mises à jour éparses. Une fois au moment de l’exécution, nous avons beaucoup moins de charge de travail à effectuer sur le dispositif », explique Han.
Une accélération réussie
Leur optimisation ne nécessite que 157 kilo-octets de mémoire pour entraîner un modèle d’apprentissage automatique sur un microcontrôleur, alors que d’autres techniques conçues pour un entraînement léger nécessiteraient encore entre 300 et 600 méga-octets.
Ils ont testé leur cadre en formant un modèle de vision par ordinateur pour détecter des personnes dans des images. Après seulement 10 minutes de formation, le modèle a appris à accomplir la tâche avec succès. Leur méthode a permis d’entraîner un modèle plus de 20 fois plus rapidement que les autres approches.
Maintenant qu’ils ont démontré le succès de ces techniques pour les modèles de vision par ordinateur, les chercheurs veulent les appliquer aux modèles de langage et à différents types de données, comme les séries chronologiques. Dans le même temps, ils veulent utiliser ce qu’ils ont appris pour réduire la taille des modèles plus importants sans sacrifier la précision, ce qui pourrait contribuer à réduire l’empreinte carbone de la formation de modèles d’apprentissage automatique à grande échelle.
–
SEO INSIDE est une agence SEO à Rouen (notamment…)
--
SEO Inside est une agence web et SEO - en savoir plus sur nous:
Agence web / Audit SEO / Conseil SEO / Création de site internet / Refonte de site internet optimisé pour le SEO / Référencement naturel / Référencement local /Netlinking / Formation SEO / E-Réputation et avis
Voici nos implantations :
Lille / Dunkerque / Amiens – ce sont nos 3 bureaux historiques.
Puis voici nos zones géographiques d’intervention :
Paris / Abbeville / Rouen / Compiègne / Reims / Metz / Caen / Evreux / Nancy / Colmar / Rennes / Le Mans / Orléans / Dijon / Besançon / Angers / Nantes / La Rochelle / Poitiers / Limoges /Clermont-Ferrand / Lyon / Annecy / Grenoble / Valence / Bordeaux / Montauban / Toulouse / Biarritz / Montpellier / Marseille / Cannes / Nice / Avignon / Monaco
SEO INSIDE est une agence web spécialiste en référencement naturel qui se veut proche de vous. Contactez-nous pour discuter de vos projets.
