Alors que le brise-glace Healy de la Garde côtière américaine (USCG) participe à un voyage à travers le pôle Nord cet été, il capture des images de l'Arctique pour approfondir l'étude de cette région en évolution rapide. Les chercheurs du Lincoln Laboratory ont installé un système de caméra à bord du Healy pendant son séjour au port de Seattle avant qu'il ne se lance dans une mission scientifique de trois mois le 11 juillet. L'ensemble de données résultant, qui sera l'un des premiers du genre, sera utilisé pour développer des outils d'intelligence artificielle capables d'analyser l'imagerie de l'Arctique.

« Cet ensemble de données peut non seulement aider les marins à naviguer de manière plus sûre et à opérer plus efficacement, mais également à protéger notre pays en fournissant une connaissance critique du domaine maritime et une meilleure compréhension de la manière dont l'analyse de l'IA peut être mise à profit dans cet environnement difficile et unique », déclare Jo Kurucar, chercheur au sein du groupe d'architectures et d'algorithmes de logiciels d'IA du Lincoln Laboratory, qui a dirigé ce projet.

Alors que la planète se réchauffe et que la banquise fond, les passages arctiques s'ouvrent à davantage de trafic, tant pour les navires militaires que pour les navires pratiquant la pêche illégale. Ces mouvements peuvent poser des problèmes de sécurité nationale aux États-Unis. L'ouverture de l'Arctique laisse également des questions sur l'évolution de son climat, de sa faune et de sa géographie.

Aujourd'hui, très peu d'ensembles de données d'imagerie de l'Arctique existent pour étudier ces changements. Les images aériennes des satellites ou des avions ne peuvent fournir que des informations limitées sur l'environnement. Une caméra tournée vers l'extérieur attachée à un navire peut capturer plus de détails sur le décor et les différents angles d'objets, tels que d'autres navires, dans la scène. Ces types d'images peuvent ensuite être utilisés pour former des outils de vision par ordinateur IA, qui peuvent aider l'USCG à planifier des missions navales et à automatiser l'analyse. Selon Kurucar, les actifs de l'USCG dans l'Arctique sont dispersés et peuvent grandement bénéficier des outils d'IA, qui peuvent agir comme un multiplicateur de force.

Le Healy est le brise-glace le plus grand et le plus technologiquement avancé de l'USCG. Compte tenu de sa mission actuelle, il convenait parfaitement d'être équipé d'un nouveau capteur pour recueillir cet ensemble de données. L'équipe de recherche du laboratoire a collaboré avec le centre de recherche et de développement de l'USCG pour déterminer les exigences en matière de capteurs. Ensemble, ils ont développé la plate-forme d'imagerie et de surveillance des régions froides (CRISP).

"Lincoln Laboratory entretient d'excellentes relations avec la Garde côtière, en particulier avec le Centre de recherche et de développement. En une décennie, nous avons établi des liens qui ont permis le déploiement du système CRISP", déclare Amna Greaves, chef de projet CRISP et chef adjoint du groupe Architectures et algorithmes logiciels d'IA. "Nous avons des liens solides non seulement à cause des vétérans de l'USCG travaillant au laboratoire et dans notre groupe, mais aussi parce que nos missions technologiques sont complémentaires. Aujourd'hui, il déployait la détection infrarouge dans l'Arctique ; demain, il pourrait faire fonctionner des chiens robots quadrupèdes sur un cutter à réponse rapide. "

Le système CRISP est composé d'une caméra infrarouge à ondes longues, fabriquée par Teledyne FLIR (pour Forward Looking Infrared), conçue pour les environnements maritimes difficiles. La caméra peut se stabiliser par mer agitée et imager dans l'obscurité totale, le brouillard et l'éblouissement. Il est associé à une horloge synchronisée avec GPS et à un enregistreur vidéo réseau pour enregistrer à la fois des images vidéo et fixes ainsi que des données de position GPS.

La caméra est montée à l'avant du flybridge du navire et l'électronique est logée dans un rack renforcé sur le pont. Le système peut être actionné manuellement à partir du pont ou être placé en mode de surveillance autonome, dans lequel il effectue lentement un panoramique d'avant en arrière, enregistrant 15 minutes de vidéo toutes les trois heures et une image fixe une fois toutes les 15 secondes.

"L'installation de l'équipement a été une expérience unique et amusante. Comme pour tout bon projet, nos attentes concernant l'installation n'ont pas répondu à la réalité", déclare Michael Emily, l'administrateur des systèmes informatiques du projet qui s'est rendu à Seattle pour l'installation. En collaboration avec l'équipage du navire, l'équipe du laboratoire a dû ajuster rapidement son itinéraire pour faire passer les câbles de la caméra à la station d'observation après avoir découvert que les points d'accès prévus n'étaient en fait pas accessibles. "Nous avions fait fabriquer des câbles de 100 pieds pour ce projet juste au cas où ce type de scénario, ce qui était une bonne chose car nous n'avions que quelques centimètres à perdre", explique Emily.

L'équipe du projet CRISP prévoit de publier publiquement l'ensemble de données, qui devrait avoir une taille d'environ 4 téraoctets, une fois la mission scientifique de l'USCG terminée à l'automne.

L'objectif de la publication de l'ensemble de données est de permettre à la communauté de recherche au sens large de développer de meilleurs outils pour ceux qui opèrent dans l'Arctique, d'autant plus que cette région devient plus navigable. "La collecte et la publication des données permettent des progrès plus rapides et plus importants que ce que nous pourrions accomplir par nous-mêmes", ajoute Kurucar. "Cela permet également au laboratoire de s'engager dans des applications d'IA plus avancées tandis que d'autres font des progrès plus progressifs en utilisant l'ensemble de données."

En plus de fournir l'ensemble de données, l'équipe du laboratoire prévoit de fournir un modèle de base de détection d'objets, à partir duquel d'autres pourront progresser sur leurs propres modèles. Les applications d'IA plus avancées prévues pour le développement sont des classificateurs pour des objets spécifiques dans la scène et la capacité d'identifier et de suivre des objets à travers des images.

Au-delà de l'assistance aux missions de l'USCG, ce projet pourrait créer un ensemble de données influent pour les chercheurs qui cherchent à appliquer l'IA aux données de l'Arctique pour aider à lutter contre le changement climatique, déclare Paul Metzger, qui dirige le groupe Architectures et algorithmes logiciels d'IA.

Metzger ajoute que le groupe a été honoré de faire partie de ce projet et est ravi de voir les progrès qui découlent de l'application de l'IA aux nouveaux défis auxquels sont confrontés les États-Unis : "Je suis extrêmement fier de la façon dont notre groupe applique l'IA aux défis les plus prioritaires de notre pays, de la prévision des épidémies de COVID-19 et de l'assistance au Commandement européen des États-Unis dans son soutien à l'Ukraine à l'utilisation de l'IA dans l'Arctique pour la sensibilisation maritime".