Fonctionnement de l’outil Générer des embeddings à l’aide de modèles IA
Disponible avec une licence Image Analyst.
Disponible avec une licence Advanced.
La génération d’embeddings est le processus de conversion de données spatiales brutes ou associées en représentations vectorielles numériques qui capturent la signification sémantique. Ces représentations vectorielles, appelées embeddings, permettent de comparer l’imagerie, les localisations géographiques, les attributs et les descriptions textuelles en fonction de la similarité au sein d’un espace d’embedding partagé. La génération d’embeddings d’image requiert l’extension Image Analyst, tandis que la génération d’embeddings de localisation ou de texte requiert la licence Advanced dans ArcGIS Pro.
L’outil Générer des embeddings à l’aide de modèles IA utilise des modèles pré-entraînés afin de générer des embeddings pour des données spatiales. Selon le modèle sélectionné, l’outil peut générer les éléments suivants :
Embeddings de vision à partir d’images
Embeddings de localisation à partir d’entités géographiques
Embeddings de texte à partir de champs de texte
Embeddings vision-langage ou multimodaux qui combinent imagerie ou contexte spatial et texte
Les embeddings générés sont écrits dans un champ BLOB (Binary Large Object) nommé Embedding dans la classe d’entités en sortie et peuvent être utilisés pour plusieurs processus en aval dans ArcGIS.
Applications possibles
Les processus basés sur des embeddings vont au-delà de la similarité des images et prennent en charge de nombreux scénarios d’analyse spatiale, notamment les suivants :
Recherche par similarité sémantique : identifiez des entités spatiales, des régions d’imagerie ou des localisations qui sont sémantiquement similaires à une entrée donnée.
Analyse des changements : comparez les embeddings générés à partir d’imageries capturées à différentes périodes.
Recherche sémantique en langage naturel : utilisez des requêtes textuelles descriptives, par exemple grand parking rempli de véhicules ou zone résidentielle côtière, pour récupérer des imageries ou des localisations pertinentes.
Similarité de localisations : identifiez des lieux ayant un contexte géographique, environnemental ou spatial similaire.
Agrégation et analyse exploratoire : regroupez des entités spatiales en fonction de la similarité des embeddings sans étiquettes prédéfinies.
Utilisez les embeddings en tant qu’entités sémantiques de haut niveau pour des tâches de régression, de classification ou de modélisation prévisionnelle dans ArcGIS Pro. Les embeddings améliorent souvent les performances des modèles en capturant des relations spatiales et contextuelles complexes qui peuvent ne pas apparaître dans les entités traditionnelles.
Les modèles de génération d’embeddings créent des représentations numériques compactes, apprises, de longueur fixe à partir des entrées brutes. Ces modèles peuvent comprendre des modèles fondamentaux à grande échelle entraînés sur d’importants jeux de données, ainsi que des modèles d’embedding spécialisés tels que les encodeurs visuels ou les modèles de langage, par exemple des encodeurs textuels basés sur des transformeurs similaires aux architectures BERT. L’outil prend en charge des modèles d’embedding pré-entraînés adaptés à la modalité d’entrée sélectionnée.
Pour les entrées basées sur des images telles que les images satellite ou aériennes, le modèle traite les données de pixels afin d’apprendre les motifs visuels, la structure spatiale et les relations contextuelles, produisant des embeddings qui représentent le contenu sémantique d’une image ou d’une région plutôt que les valeurs brutes des pixels. Lorsque des modèles vision-langage ou multimodaux sont utilisés, les images et le texte sont projetés dans un espace d’embedding partagé, permettant la recherche d’images en langage naturel et la comparaison de similarité intermodale.
Pour les entrées basées sur la localisation, le modèle convertit des informations géographiques telles que la géométrie des entités en embeddings qui capturent des caractéristiques spatiales telles que les schémas d’utilisation du sol, la densité, le terrain et les relations de proximité. Les localisations ayant un contexte géographique similaire sont positionnées plus proches les unes des autres dans l’espace d’embedding, ce qui permet d’effectuer une analyse de similarité basée sur la sémantique spatiale plutôt que sur la simple correspondance des attributs.
Pour les entrées basées sur le texte, des champs textuels tels que les descriptions ou les métadonnées sont transformés en embeddings qui capturent la signification sémantique. Cela permet la génération de requêtes en langage naturel, la comparaison sémantique des descriptions des entités et l’intégration des informations textuelles dans les processus d’analyse spatiale.
Dans toutes les modalités, les embeddings préservent la similarité sémantique : les entrées ayant une signification visuelle, spatiale ou textuelle similaire produisent des vecteurs plus proches les uns des autres dans l’espace d’embedding. Cela permet la recherche de similarité, l’agrégation, la récupération, le classement des entités et la modélisation prévisionnelle dans ArcGIS Pro, fournissant ainsi une base unifiée pour l’analyse spatiale pilotée sémantiquement.
Générer des embeddings à l’aide de modèles IA
Vous pouvez utiliser l’outil Générer des embeddings à l’aide de modèles IA afin de générer des embeddings pour des données spatiales à l’aide de modèles d’embedding ou de fondation pré-entraînés. Cet outil ne nécessite pas d’entraînement de modèle ni de données étiquetées. Au lieu de cela, il applique des modèles pré-entraînés pour transformer des entrées spatiales ou textuelles brutes en vecteurs d’embedding de longueur fixe qui capturent la signification sémantique.
Ces embeddings peuvent ensuite être utilisés dans des processus basés sur des embeddings en aval, notamment les suivants :
Recherche de similarité
Agrégation spatiale
Modèles de régression et de classification
Analyse de modèle basée sur la localisation
Analyse spatiale basée sur le texte
L’utilisation des embeddings comme entités sémantiques de haut niveau permet souvent d’améliorer la généralisation des tâches d’analyse ultérieures tout en réduisant le recours à l’ingénierie manuelle sur les entités.
Fonctionnement de l’outil
L’outil prend des données spatiales en entrée, telles que des images raster, des entités géographiques ou des attributs textuels. Un modèle d’embedding sélectionné traite l’entrée et génère des embeddings sémantiques. Les embeddings sont ensuite écrits dans une classe d’entités en sortie pour réutilisation.
Entrées raster
Pour l’imagerie raster, les embeddings sont générés sur une grille spatiale régulière. Chaque cellule de la grille représente une surface au sol définie et produit un seul embedding qui résume le contenu sémantique dans cette région.
Entrées sous forme d’entités (localisation)
Pour les entrées sous forme d’entités géographiques, l’outil effectue les opérations suivantes :
Les embeddings peuvent être générés directement par entité.
Le champ
SHAPE(géométrie) est utilisé pour dériver le contexte spatial.Chaque entité reçoit un seul embedding qui représente sa sémantique spatiale.
Entrées sous forme de champs de texte
Lorsqu’un champ de texte est spécifié, l’outil effectue les opérations suivantes :
L’attribut textuel sélectionné est traité à l’aide d’un modèle d’embedding de texte pré-entraîné.
Chaque enregistrement produit un embedding sémantique dérivé de son contenu textuel.
Les embeddings de texte peuvent être utilisés indépendamment ou combinés avec des inclusionsembeddings spatiaux dans des processus multimodaux.
Classe d’entités d’embedding en sortie
Les embeddings obtenus sont écrits sur une classe d’entités en sortie qui inclut les éléments suivants :
Les attributs d’origine autres que les embeddings.
Un champ
Embeddingdédié stocké sous en tant que esriFieldTypeBlob.
Parce que les embeddings sont stockés sous forme de représentations vectorielles réutilisables, ils peuvent être utilisés efficacement dans des outils d’analyse basés sur des embeddings en aval sans devoir être régénérés.
Format de stockage des embeddings
Les embeddings sont représentés sous forme de vecteur Float32 à précision fixe et stockés dans un champ BLOB (Binary Large Object) nommé Embedding. La représentation canonique sur disque est une séquence brute d’octets contenant les valeurs d’embedding encodées en tant que valeurs à virgule flottantes little-endian IEEE-754 32 bits (<f4), stockées de façon contiguë dans l’ordre des éléments (index 0, 1, …, D-1). Ce format est compact, rapide à lire et à écrire, et indépendant du langage ; tout runtime peut reconstruire le vecteur en interprétant les octets BLOB en tant que valeurs little-endian float32.
La dimension D des embeddings est fixée par modèle ; par conséquent, la taille attendue de la charge utile est D * 4 octets. Lorsque des embeddings doivent transiter par des canaux texte uniquement, par exemple des API JSON ou des API REST de service d’entités ArcGIS, la même charge utile binaire est transportée sous forme de chaîne Base64. Aucune mise en page de structure spécifique à une plateforme ni sérialisation spécifique au langage n’est supposée au-delà de la convention explicite little-endian float32.
Bonnes pratiques
Voici les bonnes pratiques concernant l’utilisation de cet outil.
Sélection d’une taille de grille d’embedding pour l’imagerie
Lors de la génération d’embeddings à partir d’une imagerie raster, le paramètre de taille de la grille contrôle la surface au sol synthérisée par chaque embedding. Parce que la recherche de similarité fonctionne sur ces embeddings, la taille de grille influence la manière dont les objets sont précisément représentés et appariés.
Si la taille de grille est trop grande par rapport aux objets cibles, plusieurs entités et l’arrière-plan environnant peuvent être combinés dans un seul embedding. Cela peut produire des réponses de similarité plus larges et réduire la précision des limites. Si la taille de grille est trop petite, les objets peuvent être fragmentés sur de nombreuses cellules d’embedding, ce qui peut mettre l’accent sur la texture locale plutôt que sur la structure globale.
En règle générale, les résultats sont plus efficaces lorsque l’objet d’intérêt s’étend sur plusieurs cellules d’embedding au lieu d’être limité à une seule cellule. Cela permet d’équilibrer les détails structurels et l’exhaustivité du contexte.
Interprétation des effets de taille de grille
Dans l’exemple ci-dessus, les embeddings générés à partir d’une taille de grille de 1,4 m conservent la structure des véhicules sur plusieurs cellules, produisant des correspondances de similarité étroitement localisées. Avec une taille de grille de 2,8 mètres, chaque embedding synthétise une zone plus vaste, ce qui augmente le mélange contextuel et produit des modèles de similarité plus larges.
Puisque la taille des objets, la résolution des images et les objectifs d’analyse varient, il n’existe pas de taille de grille optimale unique. Il est conseillé de choisir une taille de grille qui correspond à l’échelle et à la complexité structurelle des entités que vous souhaitez identifier. Tester plusieurs tailles de grille et comparer les modèles de similarité peut vous aider à déterminer la configuration la plus adaptée à votre processus.