Entitätenerkennungsmodell trainieren (GeoAI Tools)

Zusammenfassung

Trainiert ein Modell für die Erkennung benannter Entitäten, mit dem ein vordefinierter Satz Entitäten aus reinem Text extrahiert werden soll.

Weitere Informationen zur Funktionsweise der Entitätenerkennung

Verwendung

Für dieses Werkzeug müssen Deep-Learning-Frameworks installiert sein. Informationen zum Einrichten des Computers für Deep-Learning-Frameworks in ArcGIS Pro finden Sie unter Installieren von Deep-Learning-Frameworks for ArcGIS.

Dieses Werkzeug kann auch zum Optimieren eines bestehenden bereits trainierten Modells eingesetzt werden.
Um dieses Werkzeug mithilfe einer GPU auszuführen, legen Sie die Umgebung für den Prozessortyp auf GPU fest. Bei mehr als einer GPU geben Sie stattdessen die Umgebung GPU-ID an.
Die Eingabe kann eine Feature-Class oder Tabelle mit einem Textfeld und Beschriftungen benannter Entitäten sein oder ein Ordner mit Trainingsdaten in .json- oder .csv-Dateien.
Dieses Werkzeug verwendet Transformer-basierte Backbones für das Training von NER-Modellen und unterstützt auch das In-Context-Learning mit Prompts unter Verwendung des Mistral-LLM. Informationen zur Installation des Mistral-Backbone finden Sie unter ArcGIS Mistral Backbone.
Weitere Informationen zu den Voraussetzungen für die Ausführung dieses Werkzeugs und eventuell dabei auftretenden Problemen finden Sie unter Häufig gestellte Fragen zu Deep Learning.

Beschriftung	Erläuterung	Datentyp
Eingabeordner oder -tabelle	Zur Eingabe stehen folgende Möglichkeiten zur Verfügung: Eine Feature-Class oder Tabelle, die ein Textfeld mit dem Eingabetext für das Modell und die beschrifteten Entitäten enthält, wobei das ausgewählte Textfeld als Eingabetext für das Modell verwendet wird und die übrigen Felder als Beschriftungen für benannte Entitäten verwendet werden. Ein Ordner, der Trainingsdaten in Form von Standard-Datasets für NER-Tasks enthält. Die Trainingsdaten müssen in `.json`- oder `.csv`-Dateien vorliegen. Das Dateiformat bestimmt den Dataset-Typ der Eingabe. Wenn die Eingabe ein Ordner ist, werden die folgenden Dataset-Typen unterstützt: ner_json—Der Ordner mit den Trainingsdaten muss eine `.json`-Datei mit Text und den beschrifteten Entitäten enthalten, die mithilfe des spaCy-JSON-Trainingsformats formatiert sind. IOB—Das von Ramshaw und Marcus in Text Chunking using Transformation-Based Learning vorgeschlagene IOB-Format I – "inside" (innerhalb), O – "outside" (außerhalb), B – "beginning" (Anfang). Der Ordner mit den Trainingsdaten muss die beiden folgenden `.csv`-Dateien enthalten: `tokens.csv`—Enthält Text als Eingabe-Chunks. `tags.csv`—Enthält IOB-Tags für die Text-Chunks. BILUO—Eine Erweiterung des IOB-Formats, das zusätzlich die folgenden Tags enthält: L – "last" (letztes), und U – "unit" (Einheit). Der Ordner mit den Trainingsdaten muss die beiden folgenden `.csv`-Dateien enthalten: `tokens.csv`—Enthält Text als Eingabe-Chunks. `tags.csv`—Enthält BILUO-Tags für die Text-Chunks.	Folder; Feature Layer; Table View; Feature Class
Ausgabemodell	Der Speicherort des Ausgabeordners, in dem das trainierte Modell gespeichert wird.	Folder
Datei des vortrainierten Modells (Optional)	Ein vortrainiertes Modell, das zum Feintuning des neuen Modells verwendet wird. Die Eingabe kann eine Esri Modelldefinitionsdatei (`.emd`) oder eine Deep-Learning-Paketdatei (`.dlpk`) sein. Ein vortrainiertes Modell mit ähnlichen Entitäten kann optimiert werden, um es auf das neue Modell abzustimmen. Das vortrainierte Modell muss mit dem gleichen Modelltyp und dem gleichen Backbone-Modell trainiert worden sein, das für das Training des neuen Modells verwendet wird.	File
Adressenentität (Optional)	Eine Adressenentität, die wie eine Position behandelt wird. Bei der Inferenz werden solche Entitäten mit dem angegebenen Locator geokodiert, und als Ergebnis der Entitätenextraktion wird eine Feature-Class erstellt. Wenn kein Locator bereitgestellt wird oder das trainierte Modell keine Adressenentitäten extrahiert, wird stattdessen eine Tabelle mit den extrahierten Entitäten erstellt.	String
Max. Epochen (Optional)	Die maximale Anzahl von Epochen, für die das Modell trainiert wird. Die Einstellung "Max. Epochen" auf 1 bedeutet, dass das Dataset einmal durch das neuronale Netz geleitet wird. Der Standardwert ist 5.	Long
Modell-Backbone (Optional)	Gibt das vorkonfigurierte neuronale Netzwerk an, das als Architektur für das Training des neuen Modells verwendet werden soll. bert-base-cased—Das Modell wird mit dem neuronalen Netzwerk BERT trainiert. BERT wird mittels MLM-Ziel (Masked Language Modeling) und NSP (Next Sentence Prediction) vortrainiert. roberta-base—Das Modell wird mit dem neuronalen Netzwerk RoBERTa trainiert. Mit RoBERTa werden die wichtigsten Hyperparameter von BERT geändert, sodass kein Vortrainingsziel mehr erforderlich ist und der nächste Satz mit kleinen Batches und höheren Lernraten trainiert wird. albert-base-v1—Das Modell wird mit dem neuronalen Netzwerk ALBERT trainiert. Bei ALBERT wird ein selbstüberwachter Verlust verwendet, mit dem die Kohärenz zwischen Sätzen modelliert wird, was im Vergleich zu BERT zu einer besseren Skalierbarkeit führt. xlnet-base-cased—Das Modell wird mit dem neuronalen Netzwerk XLNet trainiert. XLNet ist eine generalisierte autoregressive Vortrainingsmethode. Diese Methode ermöglicht das Erlernen bidirektionaler Zusammenhänge durch Maximierung der erwarteten Wahrscheinlichkeit bei allen Permutationen der Faktorisierungsreihenfolge, wodurch die Nachteile von BERT überwunden werden. xlm-roberta-base—Das Modell wird mit dem neuronalen Netzwerk XLM-RoBERTa trainiert. XLM-RoBERTa ist ein mehrsprachiges Modell, das mit 100 verschiedenen Sprachen trainiert wird. Im Gegensatz zu einigen anderen mehrsprachigen XLM-Modellen sind hier keine Sprachtensoren erforderlich, um die jeweils verwendete Sprache zu erkennen. Vielmehr wird die jeweilige Sprache anhand der Eingabe-IDs erkannt. distilroberta-base—Das Modell wird mit dem neuronalen Netzwerk DistilRoBERTa trainiert. DistilRoBERTa ist ein englischsprachiges Modell, das ausschließlich unter Überwachung des neuronalen roberta-base-Netzwerks auf OpenWebTextCorpus, einer Reproduktion des WebText-Datasets von OpenAI, trainiert wird. distilbert-base-cased—Das Modell wird mit dem neuronalen Netzwerk DistilBERT trainiert. DistilBERT ist ein kleineres allgemeines Sprachrepräsentationsmodell. mistral—Das Modell wird mithilfe des Mistral-LLM (Large Language Model) trainiert. Mistral ist ein reiner Decoder-Transformator, der Sliding Window Attention, Grouped-Query Attention und den Byte-Fallback-BPE-Tokenizer verwendet. Informationen zur Installation des Mistral-Backbone finden Sie unter ArcGIS Mistral Backbone.	String
Batch-Größe (Optional)	Die Anzahl der Trainingsgebiete, die gleichzeitig verarbeitet werden sollen. Der Standardwert ist 2. Durch Vergrößern der Batch-Größe kann die Performance des Werkzeugs verbessert werden; mit zunehmender Batch-Größe erhöht sich jedoch auch der Speicherbedarf. Wenn ein Fehler vom Typ "Nicht genügend Arbeitsspeicher" auftritt, verwenden Sie eine kleinere Batch-Größe.	Double
Modellargumente (Optional)	Zusätzliche Argumente, die für die Initialisierung des Modells verwendet werden sollen. Das unterstützte Modellargument ist `Sequence Length`. Es wird zum Festlegen der maximalen Sequenzlänge der Trainingsdaten, die beim Training des Modells berücksichtigt werden sollen, verwendet. Spalten der Wertetabelle: Name—The name of the function argument. Value—The value of the function argument.	Value Table
Lernrate (Optional)	Die Schrittgröße, die angibt, in welchem Umfang die Modellgewichtungen beim Trainingsprozess angepasst werden sollen. Wenn kein Wert angegeben ist, wird automatisch eine optimale Lernrate abgeleitet.	Double
Validierungsprozentsatz (Optional)	Der Prozentsatz der Trainingsgebiete, die für die Überprüfung des Modells verwendet werden sollen. Der Standardwert ist 10 für Transformer-basierte Modell-Backbones und 50 für den Mistral-Backbone.	Double
Beenden, wenn sich das Modell nicht mehr verbessert (Optional)	Gibt an, ob das Modelltraining beendet wird, wenn sich das Modell nicht mehr verbessert, oder fortgesetzt wird, bis der Parameterwert Max. Epochen erreicht wurde. Aktiviert—Das Modelltraining wird beendet, wenn sich das Modell nicht mehr verbessert, und zwar unabhängig vom Parameterwert Max. Epochen. Dies ist die Standardeinstellung. Deaktiviert—Das Modelltraining wird fortgesetzt, bis der Parameterwert Max. Epochen erreicht wurde.	Boolean
Modell-Backbone trainierbar machen (Optional)	Gibt an, ob die Backbone-Layer im vorab trainierten Modell fixiert werden sollen, sodass die Gewichtungen und Verzerrungen wie ursprünglich vorgesehen beibehalten werden. Aktiviert—Die Backbone-Layer werden nicht fixiert, und die Gewichtungen und Verzerrungen des Parameterwertes Modell-Backbone können geändert werden, um sie an die Trainingsgebiete anzupassen. Die Verarbeitung dauert zwar länger, führt aber in der Regel zu besseren Ergebnissen. Dies ist die Standardeinstellung. Deaktiviert—Die Backbone-Layer werden fixiert, und die vordefinierten Gewichtungen und Verzerrungen des Parameterwertes Modell-Backbone werden beim Training nicht geändert.	Boolean
Textfeld	Ein Textfeld in der Eingabe-Feature-Class oder Eingabetabelle, das vom Modell als Eingabe verwendet wird. Dieser Parameter ist erforderlich, wenn der Parameterwert Eingabeordner oder -tabelle eine Feature-Class oder Tabelle ist.	Field
Prompt (Optional)	Eine spezifische Eingabe oder Anweisung, die an ein LLM (Large Language Model) gegeben wird, um eine erwartete Ausgabe zu erzeugen. Der Standardwert ist Benannte Entitäten, die zu den angegebenen Klassen gehören, aus dem angegebenen Text extrahieren. Keine Tags zu Entitäten hinzufügen, die zu einer anderen Klasse gehören.	String

arcpy.geoai.TrainEntityRecognitionModel(in_folder, out_model, {pretrained_model_file}, {address_entity}, {max_epochs}, {model_backbone}, {batch_size}, {model_arguments}, {learning_rate}, {validation_percentage}, {stop_training}, {make_trainable}, text_field, {prompt})

Name	Erläuterung	Datentyp
in_folder	Zur Eingabe stehen folgende Möglichkeiten zur Verfügung: Eine Feature-Class oder Tabelle, die ein Textfeld mit dem Eingabetext für das Modell und die beschrifteten Entitäten enthält, wobei das ausgewählte Textfeld als Eingabetext für das Modell verwendet wird und die übrigen Felder als Beschriftungen für benannte Entitäten verwendet werden. Ein Ordner, der Trainingsdaten in Form von Standard-Datasets für NER-Tasks enthält. Die Trainingsdaten müssen in `.json`- oder `.csv`-Dateien vorliegen. Das Dateiformat bestimmt den Dataset-Typ der Eingabe. Wenn die Eingabe ein Ordner ist, werden die folgenden Dataset-Typen unterstützt: ner_json—Der Ordner mit den Trainingsdaten muss eine `.json`-Datei mit Text und den beschrifteten Entitäten enthalten, die mithilfe des spaCy-JSON-Trainingsformats formatiert sind. IOB—Das von Ramshaw und Marcus in Text Chunking using Transformation-Based Learning vorgeschlagene IOB-Format I – "inside" (innerhalb), O – "outside" (außerhalb), B – "beginning" (Anfang). Der Ordner mit den Trainingsdaten muss die beiden folgenden `.csv`-Dateien enthalten: `tokens.csv`—Enthält Text als Eingabe-Chunks. `tags.csv`—Enthält IOB-Tags für die Text-Chunks. BILUO—Eine Erweiterung des IOB-Formats, das zusätzlich die folgenden Tags enthält: L – "last" (letztes), und U – "unit" (Einheit). Der Ordner mit den Trainingsdaten muss die beiden folgenden `.csv`-Dateien enthalten: `tokens.csv`—Enthält Text als Eingabe-Chunks. `tags.csv`—Enthält BILUO-Tags für die Text-Chunks.	Folder; Feature Layer; Table View; Feature Class
out_model	Der Speicherort des Ausgabeordners, in dem das trainierte Modell gespeichert wird.	Folder
pretrained_model_file (Optional)	Ein vortrainiertes Modell, das zum Feintuning des neuen Modells verwendet wird. Die Eingabe kann eine Esri Modelldefinitionsdatei (`.emd`) oder eine Deep-Learning-Paketdatei (`.dlpk`) sein. Ein vortrainiertes Modell mit ähnlichen Entitäten kann optimiert werden, um es auf das neue Modell abzustimmen. Das vortrainierte Modell muss mit dem gleichen Modelltyp und dem gleichen Backbone-Modell trainiert worden sein, das für das Training des neuen Modells verwendet wird.	File
address_entity (Optional)	Eine Adressenentität, die wie eine Position behandelt wird. Bei der Inferenz werden solche Entitäten mit dem angegebenen Locator geokodiert, und als Ergebnis der Entitätenextraktion wird eine Feature-Class erstellt. Wenn kein Locator bereitgestellt wird oder das trainierte Modell keine Adressenentitäten extrahiert, wird stattdessen eine Tabelle mit den extrahierten Entitäten erstellt.	String
max_epochs (Optional)	Die maximale Anzahl von Epochen, für die das Modell trainiert wird. Die Einstellung "Max. Epochen" auf 1 bedeutet, dass das Dataset einmal durch das neuronale Netz geleitet wird. Der Standardwert ist 5.	Long
model_backbone (Optional)	Gibt das vorkonfigurierte neuronale Netzwerk an, das als Architektur für das Training des neuen Modells verwendet werden soll. `bert-base-cased`—Das Modell wird mit dem neuronalen Netzwerk BERT trainiert. BERT wird mittels MLM-Ziel (Masked Language Modeling) und NSP (Next Sentence Prediction) vortrainiert. `roberta-base`—Das Modell wird mit dem neuronalen Netzwerk RoBERTa trainiert. Mit RoBERTa werden die wichtigsten Hyperparameter von BERT geändert, sodass kein Vortrainingsziel mehr erforderlich ist und der nächste Satz mit kleinen Batches und höheren Lernraten trainiert wird. `albert-base-v1`—Das Modell wird mit dem neuronalen Netzwerk ALBERT trainiert. Bei ALBERT wird ein selbstüberwachter Verlust verwendet, mit dem die Kohärenz zwischen Sätzen modelliert wird, was im Vergleich zu BERT zu einer besseren Skalierbarkeit führt. `xlnet-base-cased`—Das Modell wird mit dem neuronalen Netzwerk XLNet trainiert. XLNet ist eine generalisierte autoregressive Vortrainingsmethode. Diese Methode ermöglicht das Erlernen bidirektionaler Zusammenhänge durch Maximierung der erwarteten Wahrscheinlichkeit bei allen Permutationen der Faktorisierungsreihenfolge, wodurch die Nachteile von BERT überwunden werden. `xlm-roberta-base`—Das Modell wird mit dem neuronalen Netzwerk XLM-RoBERTa trainiert. XLM-RoBERTa ist ein mehrsprachiges Modell, das mit 100 verschiedenen Sprachen trainiert wird. Im Gegensatz zu einigen anderen mehrsprachigen XLM-Modellen sind hier keine Sprachtensoren erforderlich, um die jeweils verwendete Sprache zu erkennen. Vielmehr wird die jeweilige Sprache anhand der Eingabe-IDs erkannt. `distilroberta-base`—Das Modell wird mit dem neuronalen Netzwerk DistilRoBERTa trainiert. DistilRoBERTa ist ein englischsprachiges Modell, das ausschließlich unter Überwachung des neuronalen roberta-base-Netzwerks auf OpenWebTextCorpus, einer Reproduktion des WebText-Datasets von OpenAI, trainiert wird. `distilbert-base-cased`—Das Modell wird mit dem neuronalen Netzwerk DistilBERT trainiert. DistilBERT ist ein kleineres allgemeines Sprachrepräsentationsmodell. `mistral`—Das Modell wird mithilfe des Mistral-LLM (Large Language Model) trainiert. Mistral ist ein reiner Decoder-Transformator, der Sliding Window Attention, Grouped-Query Attention und den Byte-Fallback-BPE-Tokenizer verwendet. Informationen zur Installation des Mistral-Backbone finden Sie unter ArcGIS Mistral Backbone.	String
batch_size (Optional)	Die Anzahl der Trainingsgebiete, die gleichzeitig verarbeitet werden sollen. Der Standardwert ist 2. Durch Vergrößern der Batch-Größe kann die Performance des Werkzeugs verbessert werden; mit zunehmender Batch-Größe erhöht sich jedoch auch der Speicherbedarf. Wenn ein Fehler vom Typ "Nicht genügend Arbeitsspeicher" auftritt, verwenden Sie eine kleinere Batch-Größe.	Double
model_arguments [model_arguments,...] (Optional)	Zusätzliche Argumente, die für die Initialisierung des Modells verwendet werden sollen. Das unterstützte Modellargument ist `Sequence Length`. Es wird zum Festlegen der maximalen Sequenzlänge der Trainingsdaten, die beim Training des Modells berücksichtigt werden sollen, verwendet. Spalten der Wertetabelle: `Name`—The name of the function argument. `Value`—The value of the function argument.	Value Table
learning_rate (Optional)	Die Schrittgröße, die angibt, in welchem Umfang die Modellgewichtungen beim Trainingsprozess angepasst werden sollen. Wenn kein Wert angegeben ist, wird automatisch eine optimale Lernrate abgeleitet.	Double
validation_percentage (Optional)	Der Prozentsatz der Trainingsgebiete, die für die Überprüfung des Modells verwendet werden sollen. Der Standardwert ist 10 für Transformer-basierte Modell-Backbones und 50 für den Mistral-Backbone.	Double
stop_training (Optional)	Gibt an, ob das Modelltraining beendet wird, wenn sich das Modell nicht mehr verbessert, oder fortgesetzt, wird bis der Parameterwert `max_epochs` erreicht wurde. `STOP_TRAINING`—Das Modelltraining wird beendet, wenn sich das Modell nicht mehr verbessert, und zwar unabhängig vom Parameterwert `max_epochs`. Dies ist die Standardeinstellung. `CONTINUE_TRAINING`—Das Modelltraining wird fortgesetzt, bis der Parameterwert `max_epochs` erreicht wurde.	Boolean
make_trainable (Optional)	Gibt an, ob die Backbone-Layer im vorab trainierten Modell fixiert werden sollen, sodass die Gewichtungen und Verzerrungen wie ursprünglich vorgesehen beibehalten werden. `TRAIN_MODEL_BACKBONE`—Die Backbone-Layer werden nicht fixiert, und die Gewichtungen und Verzerrungen des Parameterwertes `model_backbone` können geändert werden, um sie an die Trainingsgebiete anzupassen. Die Verarbeitung dauert zwar länger, führt aber in der Regel zu besseren Ergebnissen. Dies ist die Standardeinstellung. `FREEZE_MODEL_BACKBONE`—Die Backbone-Layer werden fixiert, und die vordefinierten Gewichtungen und Verzerrungen des Parameterwertes `model_backbone` werden beim Training nicht geändert.	Boolean
text_field	Ein Textfeld in der Eingabe-Feature-Class oder Eingabetabelle, das vom Modell als Eingabe verwendet wird. Dieser Parameter ist erforderlich, wenn der Parameterwert `in_folder` eine Feature-Class oder Tabelle ist.	Field
prompt (Optional)	Eine spezifische Eingabe oder Anweisung, die an ein LLM (Large Language Model) gegeben wird, um eine erwartete Ausgabe zu erzeugen. Der Standardwert ist Benannte Entitäten, die zu den angegebenen Klassen gehören, aus dem angegebenen Text extrahieren. Keine Tags zu Entitäten hinzufügen, die zu einer anderen Klasse gehören.	String

Codebeispiel

TrainEntityRecognitionModel: Beispiel (eigenständiges Skript)

Im folgenden Beispiel wird veranschaulicht, wie die TrainEntityRecognitionModel-Funktion verwendet wird.

# Name: TrainEntityRecognizer.py
# Description: Train an Entity Recognition model to extract useful entities such as "Address", "Date" from text.

# Import system modules
import arcpy

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_folder = "train_data"
out_folder = "test_bio_format"

# Run Train Entity Recognition Model
arcpy.geoai.TrainEntityRecognitionModel(in_folder, out_folder)

Umgebungen

Prozessortyp, GPU-ID

Lizenzierungsinformationen

Basic: Nein
Standard: Nein
Advanced: Ja