Skip to main content

Funktionsweise von "Embeddings in Felder extrahieren"

ArcGIS Pro-Workflows integrieren zunehmend Basismodelle, die numerische Darstellungen, sogenannte Embeddings, generieren, um komplexe räumliche Features wie Bilddaten, Text oder andere hochdimensionale Daten zu beschreiben. Diese Embeddings erfassen vom Modell erlernte latente Muster und werden häufig für Ähnlichkeitsanalysen, Cluster-Bildung, Klassifizierungen und explorative Analysen verwendet.

Wenn Embeddings in ArcGIS Pro mit dem Werkzeug Embeddings mit KI-Modellen generieren generiert werden, werden sie standardmäßig in ein BLOB-Feld (Large Binary Object) gepackt. Dieses Format ermöglicht eine effiziente Speicherung und die Übertragung hochdimensionaler numerischer Vektoren, kann jedoch von vielen Geoverarbeitungswerkzeugen nicht direkt genutzt werden. Das Werkzeug Embedding in Felder extrahieren wandelt diese binären Darstellungen in einzelne numerische Felder um, sodass die Embedding-Dimensionen direkt in ArcGIS Pro-Workflows verwendet werden können.

Potenzielle Anwendungsbereiche

Sie können das Werkzeug Embedding in Felder extrahieren in folgenden Szenarien verwenden:

Zum Beispiel kann ein Data Scientist Embeddings aus Satellitenbildern mithilfe eines visionsbasierten Basismodells generieren. Diese Embeddings codieren vom Modell erlernte Texturen, Formen und kontextuelle Informationen. Die Erweiterung der Embeddings ermöglicht GIS-Analysten, die Cluster-Bildung von Bilddaten-Footprints oder die Identifizierung räumlicher Muster mit vertrauten ArcGIS Pro-Werkzeugen.

Embedding-Feld

Embeddings, die von Basismodellen generiert werden, werden in einem BLOB-Feld gespeichert. Weitere Informationen zur Darstellung von Embeddings in ArcGIS Pro finden Sie unter Embeddings als BLOB-Felder.

Embeddings als BLOB-Felder

Diese Methode minimiert den Speicheraufwand und verbessert die Lese- und Schreib-Performance, insbesondere bei großen Datasets mit hochdimensionalen Embeddings. Obwohl effizient, verhindert dieses binäre Format die direkte Verwendung von Embedding-Werten in Werkzeugen, die numerische Felder erwarten.

Ausgabefeld-Präfix

Das Werkzeug Embedding in Felder extrahieren kehrt den Embedding-Prozess um und macht jede Embedding-Dimension als numerisches Attribut verfügbar.

Mit diesem Werkzeug können die folgenden Vorgänge ausgeführt werden:

  • Lesen der Eingabe-Features und Validierung des ausgewählten Embedding-Feldes.

  • Kopieren des Parameters Eingabe-Features in den Parameter Ausgabe-Features.

  • Deserialisieren des ersten gültigen BLOB-Datensatzes zur Bestimmung der Embedding-Dimensionalität.

  • Erstellung eines Float32-Feldes für jede Embedding-Dimension unter Verwendung des Parameters Ausgabefeld-Präfix.

  • Iteriert durch alle Features, entpackt die Binärdaten und schreibt jeden Float-Wert in das entsprechende Feld.

Wenn beispielsweise der Parameter Ausgabefeld-Präfix auf den Wert embed festgelegt wird, wird ein Embedding mit 256 Dimensionen in 256 neue numerische Felder mit deserialisierten BLOB-Datensätzen umgewandelt. Die Attributtabelle der Ausgabe sieht wie folgt aus:

Erweiterte Ergebnisse

Best Practices

Verwenden Sie das Werkzeug Embedding in Felder extrahieren, wenn Sie Embedding-Dimensionen als numerische Felder für Analyse, Visualisierung, Joins oder Werkzeuge benötigen, die keine kompakten Embeddings (wie BLOB-/Vektor-Embeddings) unterstützen. Beachten Sie folgende Hinweise, wenn Sie die Embeddings in einzelne Dimensionen extrahieren, um stabile und effiziente Workflows zu gewährleisten.

  • Einige Datenbanken haben strenge Begrenzungen hinsichtlich der Spaltenanzahl – zum Beispiel unterstützt PostgreSQL bis zu ~1600 Felder pro Tabelle. Das Erweitern großer Embeddings kann diese Begrenzungen überschreiten oder die Performance aufgrund übergroßer Systemtabellen beeinträchtigen. Reduzieren Sie die Anzahl der extrahierten Felder bei der Arbeit in Enterprise-Datenbanken.

  • Sehr breite Tabellen können zu langen Verarbeitungszeiten oder Speicherüberlastung führen – selbst auf Computern mit großem Arbeitsspeicher. Testen Sie Workflows unter Verwendung kleinerer Teilmengen, reduzieren Sie ggf. Dimensionen, und vermeiden Sie die unnötige Erweiterung sehr hochdimensionaler Embeddings.

  • Viele Werkzeuge für Regression und Cluster-Bildung wie z. B. das Werkzeug Generalisierte lineare Regression (GLR) sind für hochdimensionale Eingaben nicht geeignet. Verwenden Sie das Werkzeug Dimensionsreduktion, um Embeddings vor der nachgelagerten Analyse auf eine kleinere Menge von Komponenten zu reduzieren. Dies verbessert die Performance, vermeidet Multikollinearität und erhöht die Interpretierbarkeit.

  • Hochdimensionale Embeddings können große Mengen von Feldern erzeugen. Verwenden Sie ein klares, prägnantes Ausgabefeld-Präfix und behalten Sie die Identifikatoren oder kategorialen Felder aus dem ursprünglichen Dataset bei, um die Analyseergebnisse zu interpretieren.

  • Die Ausgabe-Feature-Class behält das ursprüngliche BLOB-Feld Embedding neben den extrahierten numerischen Feldern bei. Dadurch können Sie das ursprünglich serialisierte Embedding beibehalten und gleichzeitig numerische Analyse-Workflows innerhalb von ArcGIS Pro aktivieren. Außerdem wird das serialisierte Embedding-Feld für Embedding-basierte Analysewerkzeuge verwendet, wie zum Beispiel Ähnliche Features anhand von Embeddings finden.