Funktionsweise von "Embeddings mit KI-Modellen generieren"
Mit Image Analyst-Lizenz verfügbar.
Mit der Advanced-Lizenz verfügbar.
Das Generieren von Embeddings ist der Prozess, bei dem räumliche oder zugehörige unverarbeitete Daten in numerische Vektordarstellungen umgewandelt werden, die semantische Bedeutungen erfassen. Diese als Embeddings bezeichneten Vektordarstellungen ermöglichen es, Bilddaten, geographische Positionen, Attribute und Textbeschreibungen anhand ihrer Ähnlichkeit innerhalb eines freigegebenen Embedding-Bereichs miteinander zu vergleichen. Für die Erstellung von Bild-Embeddings ist die Erweiterung "Image Analyst" erforderlich, während für die Erstellung von Standort- oder Text-Embeddings die Advanced-Lizenz in ArcGIS Pro benötigt wird.
Das Werkzeug Embeddings mit KI-Modellen generieren verwendet vortrainierte Modelle, um Embeddings für räumliche Daten zu erstellen. Je nach ausgewähltem Modell kann das Werkzeug Folgendes generieren:
Visionsbasierte Embeddings aus Bilddaten
Standort-Embeddings aus geographischen Features
Text-Embeddings aus Textfeldern
Visions-/sprachbasierte- oder multimodale Embeddings, die Bilddaten oder räumlichen Kontext und Text kombinieren
Die generierten Embeddings werden in ein BLOB-Feld (Large Binary Object) geschrieben, das in der Ausgabe-Feature-Class Embedding benannt wird, und können für mehrere nachgelagerte Workflows in ArcGIS verwendet werden.
Potenzielle Anwendungsbereiche
Embedding-basierte Workflows gehen über Bildähnlichkeit hinaus und unterstützen viele räumliche Analyseszenarien, darunter die folgenden:
Semantische Ähnlichkeitssuche: Identifizieren Sie räumliche Features, Regionen für Bilddaten oder Positionen, die semantisch einer angegebenen Eingabe ähneln.
Veränderungsanalyse: Vergleichen Sie Embeddings, die aus Bilddaten erstellt wurden, die aus verschiedenen Zeiträumen stammen.
Semantische Suche in natürlicher Sprache: Verwenden Sie beschreibende Textabfragen, zum Beispiel großer Parkplatz mit nah beieinander geparkten Fahrzeugen oder Wohngebiet an der Küste, um relevante Bilddaten oder Positionen abzurufen.
Standortähnlichkeit: Identifizieren Sie Positionen mit ähnlichem geographischen, umwelttechnischen oder räumlichen Kontext.
Cluster-Bildung und explorative Analyse: Gruppieren Sie räumliche Features basierend auf Embedding-Ähnlichkeit ohne vordefinierte Beschriftungen.
Verwenden Sie Embeddings als übergeordnete semantische Features für Tasks zur Regressions-, Klassifizierungs- oder Vorhersagemodellierung in ArcGIS Pro. Embeddings verbessern häufig die Modell-Performance, indem sie komplexe räumliche und kontextbezogene Beziehungen erfassen, die bei herkömmlichen, manuell erstellten Features möglicherweise übersehen werden.
Modelle, die Embeddings generieren, erstellen kompakte, trainierte numerische Darstellungen mit fester Länge aus unverarbeiteten Eingaben. Zu diesen Modellen können sowohl umfangreiche Basismodelle gehören, die auf sehr großen Datasets trainiert wurden, als auch spezialisierte Embedding-Modelle wie visionsbasierte Encoder oder Sprachmodelle, zum Beispiel Transformer-basierte Text-Encoder, die den BERT-Architekturen ähneln. Das Werkzeug unterstützt vortrainierte Embedding-Modelle, die für die gewählte Eingabemodalität geeignet sind.
Bei bildbasierten Eingaben wie Satelliten- oder Luftbilddaten verarbeitet das Modell Pixeldaten, um visuelle Muster, räumliche Strukturen und kontextbezogene Beziehungen zu erkennen, und erzeugt dabei Embeddings, die anstatt unverarbeiteter Pixelwerte den semantischen Inhalt eines Bildes oder einer Region wiedergeben. Wenn visions-/sprachbasierte oder multimodale Modelle verwendet werden, werden Bilder und Text in einen gemeinsamen Embedding-Bereich projiziert, was eine natürliche Sprach-/Bildersuche und intermodale Ähnlichkeitsvergleiche ermöglicht.
Bei lagebezogenen Eingaben wandelt das Modell geographische Informationen wie die Feature-Geometrie in Embeddings um, die räumliche Merkmale wie Landnutzungsmuster, Dichte, Terrain und Nachbarschaftsbeziehungen erfassen. Positionen mit ähnlichem geographischen Kontext werden im Embedding-Bereich näher beieinander positioniert, was eine Ähnlichkeitsanalyse auf der Grundlage räumlicher Semantik anstelle eines reinen Attributabgleichs ermöglicht.
Bei textbasierten Eingaben werden Textfelder wie Beschreibungen oder Metadaten in Embeddings umgewandelt, die die semantische Bedeutung erfassen. Dies ermöglicht die Abfrage in natürlicher Sprache, den semantischen Vergleich von Feature-Beschreibungen sowie die Einbindung von Textinformationen in Workflows der räumlichen Analyse.
Über alle Modalitäten hinweg bewahren Embeddings die semantische Ähnlichkeit: Eingaben mit ähnlicher visueller, räumlicher oder textueller Bedeutung erzeugen Vektoren, die im Embedding-Bereich näher beieinander liegen. Dies ermöglicht Ähnlichkeitssuche, Cluster-Bildung, Datenabruf, Feature-Rangfolgen und prädiktive Modellierung innerhalb von ArcGIS Pro und bietet damit eine einheitliche Grundlage für semantisch gesteuerte räumliche Analysen.
Embeddings mit KI-Modellen generieren
Sie können das Werkzeug Embeddings mit KI-Modellen generieren verwenden, um Embeddings für räumliche Daten unter Verwendung vortrainierter Embedding- oder Basismodelle zu generieren. Für dieses Werkzeug sind weder ein trainiertes Modell noch beschriftete Daten erforderlich. Stattdessen wendet es vortrainierte Modelle an, um unverarbeitete räumliche oder textuelle Daten in Embedding-Vektoren fester Länge umzuwandeln, die die semantische Bedeutung erfassen.
Embedding-basierte Workflows können diese Embeddings dann in nachgelagerten Workflows verwenden. Dazu zählen die folgenden:
Ähnlichkeitssuche
Räumliches Clustering
Regressions- und Klassifizierungsmodelle
Lagebezogene Musteranalyse
Textbasierte räumliche Analyse
Durch die Verwendung von Embeddings als übergeordnete semantische Features profitieren nachfolgende Analyse-Tasks häufig von einer verbesserten Generalisierung und einem geringeren Bedarf an manuellem Feature Engineering.
Funktionsweise des Werkzeugs
Das Werkzeug erfasst räumliche Eingabedaten, wie Raster-Bilddaten, geographische Features oder Textattribute. Ein ausgewähltes Embedding-Modell verarbeitet die Eingabe und erzeugt semantische Embeddings. Anschließend werden die Embeddings in eine Ausgabe-Feature-Class zur Wiederverwendung geschrieben.
Raster-Eingaben
Für Raster-Bilddaten wird ein reguläres räumliches Gitter über Embeddings gelegt. Jede Gitterzelle stellt einen definierten Bodenbereich dar und erzeugt ein einziges Embedding, das den semantischen Inhalt innerhalb dieser Region zusammenfasst.
Feature-Eingaben (Position)
Für geographische Feature-Eingaben ist die Funktionsweise des Werkzeugs wie folgt:
Embeddings können direkt pro Feature generiert werden.
Das Feld
SHAPE(Geometrie) wird verwendet, um den räumlichen Kontext abzuleiten.Jedes Feature erhält ein einzelnes Embedding, das seine räumliche Semantik repräsentiert.
Textfeldeingaben
Für Textfelder ist die Funktionsweise des Werkzeugs wie folgt:
Das ausgewählte Textattribut wird mit einem vortrainierten Text-Embedding-Modell verarbeitet.
Jeder Datensatz erzeugt ein semantisches Embedding, das aus seinem Textinhalt abgeleitet ist.
Text-Embeddings können unabhängig oder in Kombination mit räumlichen Embeddings in multimodalen Workflows verwendet werden.
Ausgabe-Feature-Class für Embeddings
Die resultierenden Embeddings werden in eine Ausgabe-Feature-Class geschrieben, die Folgendes enthält:
Die ursprünglichen Attribute ohne Embedding.
Ein dediziertes
Embedding-Feld, das als "esriFieldTypeBlob" gespeichert ist.
Da Embeddings als wiederverwendbare Vektorrepräsentationen gespeichert werden, können sie effizient in nachgelagerten Embedding-basierten Analysewerkzeugen verwendet werden, ohne dass sie neu generiert werden müssen.
Embedding-Speicherformat
Embeddings werden als Float32-Vektor mit fester Genauigkeit dargestellt und in einem BLOB-Feld (Binary Large Object) mit dem Namen Embedding gespeichert. Die kanonische Darstellung auf der Festplatte ist eine unverarbeitete Bytefolge, die die Embedding-Werte enthält, die als Gleitkommazahlen vom Typ Little-Endian-IEEE-754-32-Bit (<f4) codiert sind und fortlaufend in der Reihenfolge der Elemente (Index 0, 1, …, D-1) gespeichert werden. Dieses Format ist kompakt, lässt sich schnell lesen und schreiben und ist sprachunabhängig; jede Runtime kann den Vektor rekonstruieren, indem sie die BLOB-Bytes als Float32-Werte im Little-Endian-Format interpretiert.
Die Embedding-Dimension D ist pro Modell festgelegt; daher beträgt die erwartete Payload-Größe D * 4 Bytes. Wenn Embeddings über reine Textkanäle übertragen werden müssen, beispielsweise über JSON- oder ArcGIS Feature-Service-REST-APIs, wird dieselbe binäre Payload als Base64-Zeichenkette übertragen. Es werden keine plattformspezifischen Struct-Layouts oder sprachspezifische Serialisierungen über die explizite Float32-Konvention im Little-Endian-Format hinaus angenommen.
Best Practices
Folgende Best Practices haben sich bei der Verwendung dieses Werkzeugs bewährt:
Auswahl einer Embedding-Gittergröße für Bilddaten
Beim Erstellen von Embeddings aus Rasterbilddaten steuert der Gittergrößenparameter die von jedem Embedding zusammengefasste Bodenfläche. Da die Ähnlichkeitssuche auf Basis dieser Embeddings durchgeführt wird, beeinflusst die Gittergröße, wie genau Objekte dargestellt und abgeglichen werden.
Ist die Gittergröße im Verhältnis zu den Zielobjekten zu groß, können mehrere Features und umgebender Hintergrund in einem einzigen Embedding kombiniert werden. Dies kann zu weiter gefassten Ähnlichkeitsergebnissen führen und die Grenzgenauigkeit verringern. Wenn die Gittergröße zu klein ist, können Objekte über viele Embedding-Zellen hinweg fragmentiert werden, was die lokale Textur gegenüber der Gesamtstruktur hervorheben kann.
Im Allgemeinen werden effektive Ergebnisse erzielt, wenn das Objekt von Interesse mehrere Embedding-Zellen umfasst, anstatt sich nur in einer einzigen Zelle zu befinden. Dies hilft, strukturelle Details und kontextbezogene Vollständigkeit auszugleichen.
Interpretation von Gittergrößeneffekten
Im obigen Beispiel behalten Embeddings, die mit einem 1,4-m-Gitter erzeugt werden, die Fahrzeugstruktur über mehrere Zellen hinweg bei und führen so zu stark lokal begrenzten Ähnlichkeitsübereinstimmungen. Mit einer Gittergröße von 2,8 Metern fasst jedes Embedding eine größere Fläche zusammen, was die kontextbezogene Kombination erhöht und zu breiteren Ähnlichkeitsmustern führt.
Da Objektgrößen, Bilddatenauflösung und Analyseziele variieren, gibt es keine einheitliche optimale Gittergröße. Sie sollten eine Gittergröße auswählen, die dem Maßstab und der strukturellen Komplexität der Objekte entspricht, die Sie erfassen möchten. Durch das Testen verschiedener Gittergrößen und den Vergleich der Ähnlichkeitsmuster lässt sich die für Ihren Workflow am besten geeignete Konfiguration ermitteln.