Skip to main content

Fonctionnement de l’outil Extraire les embeddings vers des champs

Les processus ArcGIS Pro intègrent de plus en plus des modèles de fondation qui génèrent des représentations numériques, appelées embeddings, pour décrire des entités spatiales complexes telles que des données d’imagerie, de texte ou d’autres données de haute dimension. Ces embeddings capturent les modèles latents appris par le modèle et sont couramment utilisés pour l’analyse de similarité, l’agrégation, la classification et l’analyse exploratoire.

Lorsque des embeddings sont générés dans ArcGIS Pro à l’aide de l’outil Générer des embeddings à l’aide de modèles IA, ils sont par défaut empaquetés dans un champ BLOB (Binary Large Object). Ce format permet un stockage et un transport efficaces de vecteurs numériques de haute dimension, mais ne peut pas être directement utilisé par de nombreux outils de géotraitement. L’outil Extraire les embeddings vers des champs convertit ces représentations binaires en champs numériques individuels afin que les dimensions des embeddings puissent être utilisées directement dans les processus ArcGIS Pro.

Applications possibles

Vous pouvez utiliser l’outil Extraire les embeddings vers des champs dans les scénarios suivants :

Par exemple, un expert en mégadonnées peut générer des embeddings à partir d’une imagerie satellite à l’aide d’un modèle de fondation de vision. Ces embeddings encodent la texture, la forme et les informations contextuelles apprises par le modèle. L’expansion des embeddings permet aux analystes SIG d’agréger les emprises de l’imagerie ou d’identifier des modèles spatiaux à l’aide des outils familiers d’ArcGIS Pro.

Champ d’embedding

Les embeddings générés par les modèles de fondation sont stockés dans un BLOB. Pour plus d’informations sur la représentation des embeddings dans ArcGIS Pro, reportez-vous à la rubrique Embeddings en tant que champs BLOB.

Enbedding en tant que BLOB

Cette approche minimise la surcharge de stockage et améliore les performances de lecture et d’écriture, en particulier dans le cas de jeux de données volumineux comportant des embeddings de haute dimension. Bien qu’efficace, ce format binaire empêche l’utilisation directe des valeurs d’embedding dans des outils qui attendent des champs numériques.

Préfixe du champ en sortie

L’outil Extraire les embeddings vers des champs inverse le processus d’empaquetage des embeddings et expose chaque dimension d’embedding en tant qu’attribut numérique.

Cet outil réalise les opérations suivantes :

  • Lit les entités en entrée et valide le champ Embedding sélectionné.

  • Copie la valeur du paramètre Input Features (Entités en entrée) dans la valeur du paramètre Output Features (Entités en sortie).

  • Désérialise le premier enregistrement BLOB valide pour déterminer la dimensionnalité des embeddings.

  • Crée un champ Float32 pour chaque dimension d’embedding en utilisant la valeur du paramètre Output Field Prefix (Préfixe du champ de sortie).

  • Parcourt toutes les entités, décompresse les données binaires et écrit chaque valeur de type flottant dans son champ correspondant.

Par exemple, si la valeur du paramètre Output Field Prefix (Préfixe du champ de sortie) est définie sur embed, un embedding de 256 dimensions produit 256 nouveaux champs numériques avec des enregistrements BLOB désérialisés. La table attributaire de la sortie est similaire à ce qui suit :

Résultats développés

Bonnes pratiques

Utilisez l’outil Extraire les embeddings vers des champs lorsque vous avez besoin des dimensions d’embedding sous forme de champs numériques pour l’analyse, la visualisation, les jointures ou les outils ne prenant pas en charge les embeddings compacts (BLOB/vecteurs). Tenez compte des éléments suivants lors de l’extraction des embeddings en dimensions individuelles pour garantir des processus stables et efficaces.

  • Certaines bases de données ont des limites strictes de colonnes ; par exemple, PostgreSQL prend en charge jusqu’à ~1 600 champs par table. L’expansion de grands embeddings peut dépasser ces limites ou dégrader les performances en raison de tables système surdimensionnées. Réduisez le nombre de champs extraits lorsque vous utilisez des bases de données d’entreprise.

  • Des tables très volumineuses peuvent entraîner des temps de traitement importants ou une saturation de la mémoire, même sur des machines disposant d’une grande quantité de mémoire. Testez les processus sur des sous-ensembles plus petits, réduisez les dimensions si nécessaire et évitez d’étendre inutilement des embeddings de très haute dimension.

  • De nombreux outils de régression et d’agrégation, tels que l’outil Régression linéaire généralisée, ne conviennent pas aux entrées de haute dimension. Utilisez l’outil Réduction des dimensions pour condenser les emmbeddings en un ensemble plus petit de composants avant l’analyse en aval. Cela améliore les performances, évite la multicolinéarité et augmente l’interprétabilité.

  • Les embeddings de haute dimension peuvent créer un grand nombre de champs. Utilisez un préfixe clair et concis de champ de sortie et conservez les champs d’identifiant ou catégoriels du jeu de données d’origine pour faciliter l’interprétation des résultats de l’analyse.

  • La classe d’entités en sortie conserve le champ BLOB Embedding d’origine ainsi que les champs numériques extraits. Cela permet de conserver l’embedding sérialisé d’origine tout en activant des processus d’analyse numérique dans ArcGIS Pro. De plus, le champ d’embedding sérialisée est utilisé pour des outils d’analyse basés sur des embeddings, tels que Rechercher des entités similaires à l’aide d’embeddings.