Multiplexeur vidéo (Outils Image Analyst)

Résumé

Crée un seul fichier vidéo géospatial qui combine un fichier de flux vidéo archivé et un fichier de métadonnées associées synchronisés par un horodatage. Le processus de combinaison de deux fichiers contenant la vidéo et les métadonnées est appelé multiplexage.

Utilisation

L’outil est conçu pour les fichiers vidéo archivés et ne fonctionne pas avec les flux vidéo en direct.
Le format du fichier vidéo qui sera multiplexé doit être l’un des formats vidéo pris en charge. Le fichier de métadonnées distinct est un fichier CSV (valeurs séparées par des virgules), JSON ou GPX (GPS Exchange Format) qui contient les en-têtes de champ appropriés et les valeurs associées.

Les formats vidéo pris en charge en entrée de l’outil sont répertoriés dans le tableau suivant :


Description	Extension
Fichier AOMedia Video 1	`.av1`
Fichier AVI (Audio Video Interleave)	`.avi`
Fichier vidéo H264¹	`.h264`
Fichier vidéo H265¹	`.h265`
HLS (à débit adaptatif [Adaptive Bitrate ou ABR])	`.m3u8`
Fichier MOV	`.mov`
Flux de transport MPEG-2	`.ts`
Flux de programme MPEG-2	`.ps`
Flux de transport M2TS	`.m2ts`
Fichier MPEG	`.mpg`
Fichier MPEG-2	`.mpg2`
Fichier MPEG-2	`.mp2`
Fichier MPEG	`.mpeg`
Film MPEG-4	`.mp4`
Fichier MPEG-4	`.mpg4`
MPEG-Dash	`.mpd`
VLC (mpeg2)	`.mpeg2`
Fichier média VLC (mpeg4)	`.mpeg4`
Fichier média VLC (vob)	`.vob`
Fichier Windows Media Video	`.wmv`
¹ Nécessite une opération de multiplexage

Le seul format en sortie d’un fichier vidéo est .ts.
Les métadonnées associées au fichier de flux vidéo permettent de calculer la trajectoire de vol du capteur vidéo, le centre de l’image vidéo et les quatre angles de l’emprise de l’image vidéo sur la carte.
La vidéo géospatiale prend en charge la spécification MISB (Motion Imagery Standards Board). La spécification MISB complète définit beaucoup plus de paramètres que ceux requis pour le Full Motion Video classique. Les paramètres MISB fournis sont encodés dans la vidéo finale, y compris tous les paramètres ou un sous-ensemble de ces derniers.
Pour calculer et afficher les points d’angle relatifs de l’emprise de l’image vidéo en tant que contour de l’image sur la carte, vous avez besoin des 13 champs de métadonnées essentiels répertoriés ci-dessous et décrits de manière détaillée dans la description des paramètres. Une fois les métadonnées complètes et précises, l’outil calcule les angles de l’image vidéo et donc la taille, la forme et la position du contour de l’image vidéo, qui peut alors s’afficher sur la carte.
- Horodatage de précision
- Latitude du capteur
- Longitude du capteur
- Hauteur ellipsoïdale du capteur ou altitude réelle du capteur
- Angle de cap de la plateforme
- Angle de tangage de la plateforme
- Angle de roulis de la plateforme
- Angle de roulis relatif du capteur
- Angle d’élévation relative du capteur
- Angle d’azimut relatif du capteur
- Champ de vision horizontal du capteur
- Champ de vision vertical du capteur
- Distance lointaine
Il s’agit des métadonnées minimales requises pour calculer la transformation entre la vidéo et la carte, pour afficher l’emprise de la vidéo sur la carte et pour activer d’autres fonctionnalités telles que la numérisation et le marquage de la vidéo et de la carte.
Les valeurs des champs de métadonnées peuvent être indiquées en entrée dans le fichier de modèle de métadonnées Multiplexer_Field_Mapping_Template.csv à partir de C:\Program Files\ArcGIS\Pro\Resources\MotionImagery.
- Le fichier Multiplexer_Field_Mapping_Template.csv contient tous les champs de métadonnées requis.
- Seuls les 13 paramètres définis ci-dessus sont nécessaires pour créer le fichier vidéo compatible avec les métadonnées. Vous n’avez pas besoin de fournir tous les paramètres définis dans la spécification MISB pour créer un fichier vidéo compatible avec les métadonnées. Si des paramètres MISB supplémentaires sont fournis, ils sont codés dans le fichier vidéo.
Les performances du fichier vidéo multiplexé obtenu dépendent du type et de la qualité des données contenues dans le fichier de métadonnées, ainsi que de l’exactitude avec laquelle les données vidéo et les fichiers de métadonnées sont synchronisés.
- Si le fichier Multiplexer_Field_Mapping_Template.csv contient uniquement des champs UNIX Time Stamp, Sensor Latitude et Sensor Longitude, la localisation du capteur apparaît sur la carte, mais l’emprise des images vidéo ne s’affiche pas. Certaines fonctions, comme la numérisation des entités et la mesure de la distance dans la vidéo, ne sont pas prises en charge.
- Si l’horodatage qui lie la vidéo et les métadonnées n’est pas synchronisé avec précision, l’emprise de la vidéo et la localisation du capteur sur la carte sont décalées par rapport à la vue dans le lecteur vidéo. Dans ce cas, utilisez le modèle Multiplexer_TimeShift_Template.csv dans C:\Program Files\ArcGIS\Pro\Resources\MotionImagery pour ajuster le minutage de la vidéo et des métadonnées.
Un ensemble de paramètres du fichier Multiplexer_Field_Mapping_Template.csv inclut les coordonnées cartographiques des quatre angles de l’image vidéo projetée au sol. Si les coordonnées cartographiques des quatre angles sont fournies, elles sont utilisées pour créer la vidéo. Si les coordonnées cartographiques des quatre angles ne sont pas fournies, indiquez une source pour le modèle numérique d’élévation (MNE) dans le paramètre Digital Elevation Model (Modèle numérique d’élévation) pour que l’outil calcule l’emprise vidéo à partir des paramètres requis répertoriés ci-dessus.
La précision de l’emprise de la vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Si vous n’avez pas accès aux données MNE, vous pouvez indiquer une élévation moyenne et une unité par rapport au niveau de la mer (15 pieds ou 10 mètres, par exemple). Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres, par exemple. L’indication d’une élévation moyenne ou d’une profondeur dans l’océan n’est pas aussi précise que la fourniture d’un MNE ou de données bathymétriques. Il est recommandé de fournir un service d’imagerie ou une couche MNE le cas échéant.
La vidéo géospatiale prend en charge les données VMTI (Video Moving Target Indicator), selon des méthodes de suivi des objets dans l’imagerie animée. Si les données VMTI sont enregistrées dans un fichier distinct du fichier vidéo associé, elles peuvent être encodées dans le fichier vidéo à l’aide de l’outil Multiplexeur vidéo. La vidéo géospatiale prend en charge la norme MISB Video Moving Target Indicator and Track Metadata.

Encodez les données VMTI dans la vidéo en fournissant les informations VMTI nécessaires à l’image vidéo appropriée à l’aide d’un fichier de métadonnées .csv, .json ou .gpx contenant les données pour les champs suivants :
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
La dernière colonne, vmtilocaldataset, contient la zone de délimitation de l’objet détecté, dans laquelle chaque valeur séparée par un espace est définie par trois valeurs : Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.

Vous pouvez spécifier plusieurs détections d’objets pour un horodatage donné avec un délimiteur point-virgule (;), comme illustré dans l’exemple ci-dessus.

Utilisez MISB Tag 74 dans le fichier Multiplexer_Field_Mapping_Template.csv.

Etiqueter	Explication	Type de données
Fichier vidéo en entrée	Le fichier vidéo en entrée à convertir en fichier vidéo géospatial. Les types de fichiers suivants sont pris en charge : `.av1,` `.avi`, `.h264`, `.h265`, `.mkv`, `.mov`, `.mp2`, `.mp4`, `.mpeg`, `.mpeg2`, `.mpeg4`, `.mpg`, `.mpg2`, `.mpg4`, `.ps`, `.ts`, `.vob` et `.wmv`.	File
Fichier de métadonnées	Fichier `.csv`, `.json` ou `.gpx` contenant des métadonnées relatives aux images vidéo pendant des durées spécifiques. Chaque colonne du fichier de métadonnées représente un champ de métadonnées, et l’une des colonnes doit être une référence temporelle. La référence temporelle est l’horodatage UNIX (secondes écoulées depuis 1970) multiplié par un million, stockée sous la forme d’un entier. L’heure est stockée ainsi de manière à pouvoir référencer chaque instant dans le temps (jusqu’à un millionième de seconde) avec un entier. Par conséquent, une différence temporelle de 500 000 entre deux entrées représente une moitié de seconde dans le temps écoulé. La première ligne comporte les noms de champ des colonnes de métadonnées. Ces noms de champ sont répertoriés dans le fichier `Multiplexer_Field_Mapping_Template.csv` accessible dans `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Les noms de champ personnalisés peuvent également être appariés à leurs noms de champ FMV correspondants à l’aide du modèle. Chaque ligne suivante contient les valeurs de métadonnées d’une date et d’une heure spécifiques, ce qui s’appelle un horodatage. Les noms de champ de métadonnées peuvent se trouver dans n’importe quel ordre et doivent respecter exactement la liste du modèle `Multiplexer_Field_Mapping_Template.csv` afin d’apparier les noms de champ de métadonnées aux noms de champ de métadonnées vidéo appropriés.	File
Fichier vidéo en sortie	Nom de fichier du fichier vidéo en sortie avec son extension. Le fichier vidéo en sortie pris en charge est un fichier `.ts`.	File
Fichier d’appariement des métadonnées (Facultatif)	Fichier `.csv` contenant 5 colonnes et 87 lignes et qui s’appuie sur le modèle de fichier `FMV_Multiplexer_Field_Mapping_Template.csv` obtenu à partir de `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Ce fichier `.csv` établit une référence croisée entre le nom de champ de métadonnées et le nom de champ vidéo. Chaque ligne représente un des paramètres des métadonnées de la norme, par exemple la latitude du capteur. Les deux premières colonnes indiquent les informations relatives à la balise et au nom du paramètre MISB fournies dans le formulaire. La troisième colonne contient le nom de champ tel qu’il apparaît dans le paramètre Metadata File (Fichier de métadonnées). Lorsque la troisième colonne est renseignée, l’outil peut apparier les noms de champ de métadonnées aux balises de métadonnées vidéo appropriées.	File
Fichier de décalage temporel (Facultatif)	Fichier contenant des intervalles de décalage temporel définis. Idéalement, les images vidéo et les métadonnées sont synchronisées dans le temps. Dans ce cas, l’emprise de l’image vidéo entoure les entités qui sont visibles sur l’image vidéo. Il peut arriver que le minutage de la vidéo ne concorde pas avec celui des métadonnées. Il en résulte un décalage apparent entre le moment où une entité au sol est entourée par l’emprise de l’image et le moment où cette entité au sol est visible dans l’image vidéo. Si ce décalage temporel est observable et cohérent, le multiplexeur peut ajuster le minutage des métadonnées pour l’adapter à la vidéo. En cas de non-concordance entre le minutage de la vidéo et celui des métadonnées, spécifiez le décalage temporel dans le modèle `Multiplexer_TimeShift_Template.csv` qui se trouve dans `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Le fichier des observations de décalage temporel est au format `.csv`. Il comprend deux colonnes (`elapsed time` et `time shift`) et une ou plusieurs lignes de données. Une ligne facultative est consacrée aux noms de colonne. Par exemple, si l’image vidéo présente un décalage de cinq secondes pour la totalité de la durée, le fichier des observations de décalage temporel comporte une ligne : `0:00, -5`. La vidéo dans sa totalité est décalée de cinq secondes. S’il existe un décalage de cinq secondes à la marque 0:18 de la vidéo et un décalage de neuf secondes à la marque 2:21 de la vidéo, le fichier des observations de décalage temporel comporte les deux lignes suivantes : <!--```other 0:18, -5 2:21, -9 `Dans ce cas, la vidéo est décalée différemment au début et à la fin. Vous pouvez définir n’importe quel nombre d’intervalles de décalage temporel dans le fichier des observations de décalage temporel.`	File
Modèle numérique de terrain (Facultatif)	Source de l’élévation requise pour calculer les coordonnées d’angle de l’image vidéo. La source peut être une couche, un service d’imagerie, une élévation moyenne du sol ou une profondeur dans l’océan. La valeur de l’élévation moyenne doit inclure les unités de mesure, telles que les mètres, les pieds ou toute autre mesure de longueur. La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Il est recommandé d’indiquer un service d’imagerie ou une couche MNE. Si vous n’avez pas accès aux données MNE, vous pouvez indiquer une élévation moyenne et une unité par rapport au niveau de la mer (15 pieds ou 10 mètres, par exemple). Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres, par exemple. L’indication d’une élévation moyenne ou d’une profondeur dans l’océan n’est pas aussi précise que la fourniture d’un MNE ou de données bathymétriques. Pour calculer les coordonnées d’angle de l’image, la valeur de l’élévation moyenne doit toujours être inférieure à l’altitude ou à la profondeur du capteur enregistrée dans les métadonnées. Par exemple, si la vidéo a été filmée par un capteur situé à une altitude de 10 mètres et plus, une élévation moyenne de 9 mètres ou moins est valide. Si une vidéo a été filmée sous l’eau à une profondeur supérieure ou égale à -10 mètres, une élévation moyenne (par rapport au niveau de la mer) inférieure ou égale à -11 est valide. Si la valeur d’altitude du capteur est inférieure à la valeur d’élévation moyenne, les coordonnées des quatre angles ne sont pas calculées pour cet enregistrement. Si vous ne connaissez pas l’élévation moyenne de la zone du projet, utilisez un MNE.	Raster Layer; Image Service; Linear Unit
Système de coordonnées en entrée (Facultatif)	Système de coordonnées utilisé pour la valeur du paramètre Metadata File (Fichier de métadonnées).	Coordinate System

VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})

Nom	Explication	Type de données
in_video_file	Le fichier vidéo en entrée à convertir en fichier vidéo géospatial. Les types de fichiers suivants sont pris en charge : `.av1,` `.avi`, `.h264`, `.h265`, `.mkv`, `.mov`, `.mp2`, `.mp4`, `.mpeg`, `.mpeg2`, `.mpeg4`, `.mpg`, `.mpg2`, `.mpg4`, `.ps`, `.ts`, `.vob` et `.wmv`.	File
metadata_file	Fichier `.csv`, `.json` ou `.gpx` contenant des métadonnées relatives aux images vidéo pendant des durées spécifiques. Chaque colonne du fichier de métadonnées représente un champ de métadonnées, et l’une des colonnes doit être une référence temporelle. La référence temporelle est l’horodatage UNIX (secondes écoulées depuis 1970) multiplié par un million, stockée sous la forme d’un entier. L’heure est stockée ainsi de manière à pouvoir référencer chaque instant dans le temps (jusqu’à un millionième de seconde) avec un entier. Par conséquent, une différence temporelle de 500 000 entre deux entrées représente une moitié de seconde dans le temps écoulé. La première ligne comporte les noms de champ des colonnes de métadonnées. Si nécessaire, ces noms de champ peuvent être appariés à leurs noms de champ correspondants à l’aide du fichier `Multiplexer_Field_Mapping_Template.csv` dans `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Chaque ligne suivante contient les valeurs de métadonnées de la date et de l’heure indiquées dans le champ de date/heure.	File
out_video_file	Nom de fichier du fichier vidéo en sortie avec son extension. Le fichier vidéo en sortie pris en charge est un fichier `.ts`.	File
metadata_mapping_file (Facultatif)	Fichier `.csv` contenant 5 colonnes et 87 lignes et qui s’appuie sur le modèle de fichier `FMV_Multiplexer_Field_Mapping_Template.csv` obtenu à partir de `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Chaque ligne représente une des balises de métadonnées MISB de la norme, par exemple la latitude du capteur. Les deux premières colonnes contiennent l’index MISB et le nom de la balise MISB. La troisième colonne contient le nom de champ tel qu’il apparaît dans le paramètre `metadata_file`, le cas échéant. Lorsque la troisième colonne est renseignée, l’outil peut apparier les noms de champ de métadonnées aux balises de métadonnées vidéo appropriées. Les quatrième et cinquième colonnes représentent respectivement les unités et les notes associées à la balise.	File
timeshift_file (Facultatif)	Fichier contenant des intervalles de décalage temporel définis. Idéalement, les images vidéo et les métadonnées sont synchronisées dans le temps. Dans ce cas, l’emprise de l’image vidéo entoure les entités qui sont visibles sur l’image vidéo. Il peut arriver que le minutage de la vidéo ne concorde pas avec celui des métadonnées. Il en résulte un décalage apparent entre le moment où une entité au sol est entourée par l’emprise de l’image et le moment où cette entité au sol est visible dans l’image vidéo. Si ce décalage temporel est observable et cohérent, le multiplexeur peut ajuster le minutage des métadonnées pour l’adapter à la vidéo. En cas de non-concordance entre le minutage de la vidéo et celui des métadonnées, spécifiez le décalage temporel dans le modèle `Multiplexer_TimeShift_Template.csv` qui se trouve dans `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Le fichier des observations de décalage temporel est au format `.csv`. Il comprend deux colonnes (`elapsed time` et `time shift`) et une ou plusieurs lignes de données. Une ligne facultative est consacrée aux noms de colonne. Par exemple, si l’image vidéo présente un décalage de cinq secondes pour la totalité de la durée, le fichier des observations de décalage temporel comporte une ligne : `0:00, -5`. La vidéo dans sa totalité est décalée de cinq secondes. S’il existe un décalage de cinq secondes à la marque 0:18 de la vidéo et un décalage de neuf secondes à la marque 2:21 de la vidéo, le fichier des observations de décalage temporel comporte les deux lignes suivantes : <!--```other 0:18, -5 2:21, -9 `Dans ce cas, la vidéo est décalée différemment au début et à la fin. Vous pouvez définir n’importe quel nombre d’intervalles de décalage temporel dans le fichier des observations de décalage temporel.`	File
elevation_layer (Facultatif)	Source de l’élévation requise pour calculer les coordonnées d’angle de l’image vidéo. La source peut être une couche, un service d’imagerie, une élévation moyenne du sol ou une profondeur dans l’océan. La valeur de l’élévation moyenne doit inclure les unités de mesure, telles que les mètres, les pieds ou toute autre mesure de longueur. La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Il est recommandé d’indiquer un service d’imagerie ou une couche MNE. Si vous n’avez pas accès aux données MNE, vous pouvez indiquer une élévation moyenne et une unité par rapport au niveau de la mer (15 pieds ou 10 mètres, par exemple). Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres, par exemple. L’indication d’une élévation moyenne ou d’une profondeur dans l’océan n’est pas aussi précise que la fourniture d’un MNE ou de données bathymétriques. Pour calculer les coordonnées d’angle de l’image, la valeur de l’élévation moyenne doit toujours être inférieure à l’altitude ou à la profondeur du capteur enregistrée dans les métadonnées. Par exemple, si la vidéo a été filmée par un capteur situé à une altitude de 10 mètres et plus, une élévation moyenne de 9 mètres ou moins est valide. Si une vidéo a été filmée sous l’eau à une profondeur supérieure ou égale à -10 mètres, une élévation moyenne (par rapport au niveau de la mer) inférieure ou égale à -11 est valide. Si la valeur d’altitude du capteur est inférieure à la valeur d’élévation moyenne, les coordonnées des quatre angles ne sont pas calculées pour cet enregistrement. Si vous ne connaissez pas l’élévation moyenne de la zone du projet, utilisez un MNE.	Raster Layer; Image Service; Linear Unit
input_coordinate_system (Facultatif)	Système de coordonnées utilisé pour la valeur du paramètre `metadata_file`.	Coordinate System

Exemple de code

Exemple 1 d’utilisation de la fonction VideoMultiplexer (fenêtre Python)

Cet exemple crée un fichier vidéo qui combine une vidéo archivée et les métadonnées associées.

arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
                          r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
                          r"C:\Video_Multiplexer_TimeShift_Template.csv", r"c:\test\dem.tif")

Exemple 2 d’utilisation de la fonction VideoMultiplexer (script autonome)

Cet exemple crée un fichier vidéo qui combine une vidéo archivée et les métadonnées associées.

import arcpy
from arcpy.ia import *

in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"

arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)

Environnements

Prendre en compte l’heure d’été, Fuseau horaire

Informations de licence