Multiplexor de vídeo (Herramientas de Image Analyst)

Resumen

Crea un único archivo de vídeo geoespacial que combina un archivo de transmisión de vídeo archivado y un archivo separado de metadatos asociado sincronizado por una marca de tiempo. El proceso de combinar dos archivos que contienen archivos de vídeo y metadatos se denomina multiplexación.

Uso

Esta herramienta se ha diseñado para archivos de vídeo archivados y no funciona con transmisiones de vídeo en directo.
El formato del archivo de vídeo que se multiplexará debe ser uno de los formatos de vídeo admitidos. El archivo de metadatos separado es un archivo de valores separados por comas (CSV), JSON o formato de intercambio de GPS (GPX) que contiene los encabezados de campo adecuados y valores asociados.

Los formatos de vídeo admitidos como entrada de la herramienta figuran en la tabla siguiente:


Descripción	Extensión
Archivo de vídeo 1 AOMedia	`.av1`
Archivo intercalado de audio y vídeo	`.avi`
Archivo de vídeo H264¹	`.h264`
Archivo de vídeo H265¹	`.h265`
HLS (velocidad de bits adaptable [ABR])	`.m3u8`
Archivo MOV	`.mov`
Flujo de transmisión de MPEG-2	`.ts`
Flujo de programa de MPEG-2	`.ps`
Flujo de transmisión de M2TS	`.m2ts`
Archivo MPEG	`.mpg`
Archivo MPEG-2	`.mpg2`
Archivo MPEG-2	`.mp2`
Archivo MPEG	`.mpeg`
Película MPEG-4	`.mp4`
Archivo MPEG-4	`.mpg4`
MPEG-Dash	`.mpd`
VLC (mpeg2)	`.mpeg2`
Archivo de medios VLC (mpeg4)	`.mpeg4`
Archivo de medios VLC (vob)	`.vob`
Archivo de vídeo multimedia de Windows	`.wmv`
¹ Requiere multiplexación

El formato de salida del archivo de vídeo es .ts únicamente.
Los metadatos asociados al archivo de transmisión de vídeo se utilizarán para calcular la ruta de vuelo del sensor de vídeo, el centro del cuadro de la imagen de vídeo y las cuatro esquinas de la huella del cuadro de vídeo en el mapa.
El vídeo geoespacial admite la especificación del Consejo de Estándares de Imágenes en Movimiento (MISB). La especificación MISB completa define muchos más parámetros que los necesarios para el vídeo de movimiento completo tradicional. Los parámetros del MISB facilitados se codificarán en el vídeo final, incluidos todos los parámetros o un subconjunto.
Para calcular y visualizar los puntos de esquina relativos de la huella de la imagen de vídeo como un contorno de cuadro en el mapa, necesita los 13 campos de metadatos esenciales que se enumeran a continuación y se detallan en la descripción del parámetro. Cuando los metadatos sean completos y precisos, la herramienta calculará las esquinas del cuadro de vídeo y el tamaño, la forma y la posición del contorno del cuadro de vídeo que puede visualizarse a continuación en un mapa.
- Marca de hora de precisión
- Latitud de sensor
- Longitud de sensor
- Altura del elipsoide del sensor o altitud verdadera del sensor
- Ángulo de recorrido de plataforma
- Ángulo de inclinación de plataforma
- Ángulo de giro de plataforma
- Ángulo de giro relativo del sensor
- Ángulo de elevación relativa del sensor
- Ángulo azimutal relativo del sensor
- Campo de visión horizontal del sensor
- Campo de visión vertical del sensor
- Distancia lejana
Estos son los metadatos mínimos necesarios para calcular la transformación entre vídeo y mapa, mostrar la huella de vídeo en el mapa y habilitar otras funciones, como digitalizar y marcar en el vídeo y el mapa.
Los valores de los campos de metadatos pueden introducirse en el archivo de plantilla de metadatos Multiplexer_Field_Mapping_Template.csv desde C:\Program Files\ArcGIS\Pro\Resources\MotionImagery.
- El archivo Multiplexer_Field_Mapping_Template.csv contiene todos los campos de metadatos necesarios.
- Solo se necesitan los 13 parámetros definidos anteriormente para crear el archivo de vídeo compatible con los metadatos. No es necesario que proporcione todos los parámetros definidos en la especificación MISB para crear un archivo de vídeo compatible con metadatos. Si se proporcionan otros parámetros MISB adicionales, se codificarán en el archivo de vídeo.
El rendimiento del archivo de vídeo multiplexado resultante depende del tipo y la calidad de los datos contenidos en el archivo de metadatos, así como de la precisión con la que se sincronizan los datos de vídeo y los archivos de metadatos.
- Si el archivo de Multiplexer_Field_Mapping_Template.csv solo contiene los campos UNIX Time Stamp, Sensor Latitude y Sensor Longitude, la ubicación del sensor se mostrará en el mapa, pero no se mostrará la huella de los fotogramas de vídeo. Algunas funcionalidades no se admitirán, por ejemplo, la digitalización de entidades y la medición de distancias en el vídeo.
- Si la marca de tiempo que vincula el vídeo y los metadatos no se sincroniza con precisión, la huella del vídeo y la ubicación del sensor del mapa se desplazarán de la vista en el reproductor de vídeo. En este caso, utilice la plantilla Multiplexer_TimeShift_Template.csv en C:\Program Files\ArcGIS\Pro\Resources\MotionImagery para ajustar el tiempo del vídeo y los metadatos.
Un conjunto de parámetros del archivo Multiplexer_Field_Mapping_Template.csv incluye las coordenadas de mapa de las cuatro esquinas del marco de imagen de vídeo proyectadas en el suelo. Si se proporcionan las cuatro coordenadas del mapa de esquina, se utilizarán para crear el vídeo. Si no se proporcionan las cuatro coordenadas del mapa de esquina, proporcione una fuente para los datos del modelo digital de elevación (DEM) en el parámetro Modelo digital de elevación y la herramienta calculará la huella del vídeo a partir de los parámetros requeridos que se enumeraron anteriormente.
La precisión de la huella de vídeo y el centro del fotograma depende de la precisión de la fuente de datos de DEM proporcionada. Si no tiene acceso a los datos de DEM, puede proporcionar la elevación media y la unidad relativa al nivel del mar, como 15 pies o 10 metros. En el caso de un submarino, pueden introducir -15 pies o -10 metros, por ejemplo. Usar la elevación media o la profundidad oceánica no es tan exacto como proporcionar datos de DEM o batimétricos. Se recomienda proporcionar una capa DEM o un servicio de imágenes, si está disponible.
El vídeo geoespacial admite datos de indicador de objetivos en movimiento de vídeo (VMTI), basados en métodos de seguimiento de objetos de imágenes en movimiento. Si los datos VMTI se registran en un archivo separado del archivo de vídeo asociado, se pueden codificar en el archivo de vídeo con la herramienta Multiplexor de vídeo. El vídeo geoespacial es compatible con el estándar MISB Indicador de objetivos en movimiento de vídeo y metadatos de seguimiento.

Codifique los datos de VMTI en el vídeo suministrando la información de VMTI que se requiere en el fotograma de vídeo adecuado mediante el uso de un archivo de metadatos .csv, .json o .gpx que contiene los datos de los siguientes campos:
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
La última columna, vmtilocaldataset, contiene el cuadro de delimitación del objeto detectado en el que cada valor delimitado por espacios se define mediante tres valores: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.

Puede especificar detecciones de objetos múltiples correspondientes a una marca de tiempo determinada con un delimitador de punto y coma (;) como se muestra en el ejemplo anterior.

Utilice MISB Tag 74 en el archivo Multiplexer_Field_Mapping_Template.csv.

Etiqueta	Explicación	Tipo de datos
Archivo de vídeo de entrada	El archivo de vídeo de entrada que se convertirá en un archivo de vídeo geoespacial. Los siguientes tipos de archivo son compatibles: `.av1,` `.avi`, `.h264`, `.h265`, `.mkv`, `.mov`, `.mp2`, `.mp4`, `.mpeg`, `.mpeg2`, `.mpeg4`, `.mpg`, `.mpg2`, `.mpg4`, `.ps`, `.ts`, `.vob` y `.wmv`.	File
Archivo de metadatos	Una archivo `.csv`, `.json` o `.gpx` que contiene metadatos sobre los fotogramas de vídeo para momentos específicos. Cada columna del archivo de metadatos representa un campo de metadatos, y una de las columnas debe ser una referencia temporal. La referencia de tiempo es la marca de tiempo UNIX (segundos desde 1970) multiplicada por un millón, que se almacena como un número entero. El tiempo se almacena de esta forma para que cualquier instante en el tiempo (hasta una millonésima de segundo) pueda referenciarse con un número entero. En consecuencia, una diferencia de tiempo entre dos entradas de 500.000 representa la mitad de un segundo en el tiempo transcurrido. La primera fila contiene los nombres de campo correspondientes a las columnas de metadatos. Estos nombres de campo se enumeran en el archivo `Multiplexer_Field_Mapping_Template.csv` en `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery` o los nombres de campo personalizados se pueden hacer coincidir con sus nombres de campo de vídeo correspondientes mediante la plantilla. Cada fila posterior contiene los valores de metadatos correspondientes a un tiempo concreto, denominado marca de tiempo. Los nombres de campo de metadatos pueden estar en cualquier orden y deben tener exactamente el mismo nombre que se indica en la plantilla `Multiplexer_Field_Mapping_Template.csv` para asignar los nombres de campo de metadatos a los nombres de campo de metadatos de vídeo adecuados.	File
Archivo de video de salida	Nombre del archivo de vídeo de salida, incluida la extensión del archivo. El archivo de vídeo de salida admitido es un archivo `.ts`.	File
Archivo de asignación de metadatos (Opcional)	Un archivo `.csv` que contiene 5 columnas y 87 filas y que se basa en el archivo de plantilla `FMV_Multiplexer_Field_Mapping_Template.csv` obtenido de `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Este archivo `.csv` coteja el nombre del campo de metadatos con el nombre del campo de vídeo. Cada fila representa uno de los parámetros de metadatos estándar, como la latitud del sensor. Las dos primeras columnas contienen la información de la etiqueta y el nombre del parámetro MISB proporcionado en el formulario. La tercera columna contiene el nombre de campo tal como aparece en el parámetro Archivo de metadatos. Cuando se rellena la tercera columna, la herramienta puede hacer coincidir los nombres de campo de metadatos con las etiquetas de metadatos adecuadas de vídeo.	File
Archivo de desplazamiento de tiempo (Opcional)	Archivo que contiene intervalos de cambio de tiempo definidos. Lo ideal sería que las imágenes de vídeo y los metadatos se sincronicen en el tiempo. En este caso, la huella de la imagen en el entorno del vídeo rodea las entidades que pueden verse en la imagen de vídeo. A veces se produce una discrepancia entre el tiempo del vídeo y el de los metadatos. Esto genera un retraso aparente entre el momento en que una entidad de suelo está rodeada por la huella de la imagen y el momento en que esa entidad de suelo está visible en la imagen de vídeo. Si este cambio de tiempo es observable y consistente, el multiplexor puede ajustar la cronología de los metadatos para que coincidan con el vídeo. Si se produce una discrepancia entre el tiempo del vídeo y los metadatos, especifique el cambio de tiempo en la plantilla `Multiplexer_TimeShift_Template.csv` de `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. El archivo de observación de cambio de tiempo es un archivo `.csv` que contiene dos columnas (`elapsed time` y `time shift`) y una o varias filas de datos. Es opcional tener una fila para nombres de columna. Por ejemplo, si la imagen de vídeo tiene un retraso de 5 segundos durante todo el tiempo, el archivo de observación de cambio de tiempo tendrá una línea: `0:00, -5`. El vídeo entero se desplaza 5 segundos. Cuando se produce un retraso de 5 segundos en la marca 0:18 del vídeo y un retraso de 9 segundos en la marca 2:21 del vídeo, el archivo de observación de cambio de tiempo tendrá las dos líneas siguientes: <!--```other 0:18, -5 2:21, -9 `En este caso, el vídeo cambia de manera diferente al principio y al final. Puede definir cualquier cantidad de intervalos de cambio de tiempo en el archivo de observación de cambio de tiempo.`	File
Modelo digital de elevación (Opcional)	Fuente de la elevación necesaria para calcular las coordenadas de las esquinas del fotograma de vídeo. La fuente puede ser una capa, un servicio de imágenes o la elevación media del suelo o la profundidad del océano. El valor de elevación media debe incluir unidades de medida como metros o pies, o cualquier medida de longitud. La precisión de la huella de vídeo y el centro del fotograma depende de la precisión de la fuente de datos de DEM proporcionada. Se recomienda proporcionar una capa DEM o un servicio de imágenes. Si no tiene acceso a los datos de DEM, puede proporcionar la elevación media y la unidad relativa al nivel del mar, como 15 pies o 10 metros. En el caso de un submarino, pueden introducir -15 pies o -10 metros, por ejemplo. Usar la elevación media o la profundidad oceánica no es tan exacto como proporcionar datos de DEM o batimétricos. Para calcular las coordenadas de las esquinas del fotograma, el valor de elevación media siempre debe menor que la altitud o la profundidad del sensor según se registra en los metadatos. Por ejemplo, si el vídeo se ha filmado a la altitud de un sensor de 10 metros o más, una elevación media válida podría ser 9 metros o menos. Si el vídeo se ha filmado bajo el agua a una profundidad de -10 metros o más, la elevación media válida (con respecto al nivel del mar) podría ser -11 o más. Si el valor de altitud del sensor es menor que el valor de elevación promedio, las cuatro coordenadas de esquina no se calcularán para ese registro. Si no conoce la elevación media del área del proyecto, utilice un DEM.	Raster Layer; Image Service; Linear Unit
Sistema de coordenadas de entrada (Opcional)	El sistema de coordenadas que se utilizará para el valor del parámetro Archivo de metadatos.	Coordinate System

VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})

Nombre	Explicación	Tipo de datos
in_video_file	El archivo de vídeo de entrada que se convertirá en un archivo de vídeo geoespacial. Los siguientes tipos de archivo son compatibles: `.av1,` `.avi`, `.h264`, `.h265`, `.mkv`, `.mov`, `.mp2`, `.mp4`, `.mpeg`, `.mpeg2`, `.mpeg4`, `.mpg`, `.mpg2`, `.mpg4`, `.ps`, `.ts`, `.vob` y `.wmv`.	File
metadata_file	Una archivo `.csv`, `.json` o `.gpx` que contiene metadatos sobre los fotogramas de vídeo para momentos específicos. Cada columna del archivo de metadatos representa un campo de metadatos, y una de las columnas debe ser una referencia temporal. La referencia de tiempo es la marca de tiempo UNIX (segundos desde 1970) multiplicada por un millón, que se almacena como un número entero. El tiempo se almacena de esta forma para que cualquier instante en el tiempo (hasta una millonésima de segundo) pueda referenciarse con un número entero. En consecuencia, una diferencia de tiempo entre dos entradas de 500.000 representa la mitad de un segundo en el tiempo transcurrido. La primera fila contiene los nombres de campo correspondientes a las columnas de metadatos. Estos nombres de campo pueden emparejarse con sus nombres de campo correspondientes mediante el uso del archivo `Multiplexer_Field_Mapping_Template.csv` en `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery` si es necesario. Cada fila posterior contiene los valores de metadatos correspondientes al tiempo indicado en el campo de tiempo.	File
out_video_file	Nombre del archivo de vídeo de salida, incluida la extensión del archivo. El archivo de vídeo de salida admitido es un archivo `.ts`.	File
metadata_mapping_file (Opcional)	Un archivo `.csv` que contiene 5 columnas y 87 filas y que se basa en el archivo de plantilla `FMV_Multiplexer_Field_Mapping_Template.csv` obtenido de `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Cada fila representa una de las etiquetas de metadatos de MISB estándar, como latitud del sensor. Las dos primeras columnas contienen el índice MISB y el nombre de etiqueta MISB. La tercera columna contiene el nombre de campo como aparece en el parámetro `metadata_file`, si está presente. Cuando se rellena la tercera columna, la herramienta puede hacer coincidir los nombres de campo de metadatos con las etiquetas de metadatos adecuadas de vídeo. La cuarta y la quinta columnas representan las unidades y las notas asociadas con la etiqueta, respectivamente.	File
timeshift_file (Opcional)	Archivo que contiene intervalos de cambio de tiempo definidos. Lo ideal sería que las imágenes de vídeo y los metadatos se sincronicen en el tiempo. En este caso, la huella de la imagen en el entorno del vídeo rodea las entidades que pueden verse en la imagen de vídeo. A veces se produce una discrepancia entre el tiempo del vídeo y el de los metadatos. Esto genera un retraso aparente entre el momento en que una entidad de suelo está rodeada por la huella de la imagen y el momento en que esa entidad de suelo está visible en la imagen de vídeo. Si este cambio de tiempo es observable y consistente, el multiplexor puede ajustar la cronología de los metadatos para que coincidan con el vídeo. Si se produce una discrepancia entre el tiempo del vídeo y los metadatos, especifique el cambio de tiempo en la plantilla `Multiplexer_TimeShift_Template.csv` de `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. El archivo de observación de cambio de tiempo es un archivo `.csv` que contiene dos columnas (`elapsed time` y `time shift`) y una o varias filas de datos. Es opcional tener una fila para nombres de columna. Por ejemplo, si la imagen de vídeo tiene un retraso de 5 segundos durante todo el tiempo, el archivo de observación de cambio de tiempo tendrá una línea: `0:00, -5`. El vídeo entero se desplaza 5 segundos. Cuando se produce un retraso de 5 segundos en la marca 0:18 del vídeo y un retraso de 9 segundos en la marca 2:21 del vídeo, el archivo de observación de cambio de tiempo tendrá las dos líneas siguientes: <!--```other 0:18, -5 2:21, -9 `En este caso, el vídeo cambia de manera diferente al principio y al final. Puede definir cualquier cantidad de intervalos de cambio de tiempo en el archivo de observación de cambio de tiempo.`	File
elevation_layer (Opcional)	Fuente de la elevación necesaria para calcular las coordenadas de las esquinas del fotograma de vídeo. La fuente puede ser una capa, un servicio de imágenes o la elevación media del suelo o la profundidad del océano. El valor de elevación media debe incluir unidades de medida como metros o pies, o cualquier medida de longitud. La precisión de la huella de vídeo y el centro del fotograma depende de la precisión de la fuente de datos de DEM proporcionada. Se recomienda proporcionar una capa DEM o un servicio de imágenes. Si no tiene acceso a los datos de DEM, puede proporcionar la elevación media y la unidad relativa al nivel del mar, como 15 pies o 10 metros. En el caso de un submarino, pueden introducir -15 pies o -10 metros, por ejemplo. Usar la elevación media o la profundidad oceánica no es tan exacto como proporcionar datos de DEM o batimétricos. Para calcular las coordenadas de las esquinas del fotograma, el valor de elevación media siempre debe menor que la altitud o la profundidad del sensor según se registra en los metadatos. Por ejemplo, si el vídeo se ha filmado a la altitud de un sensor de 10 metros o más, una elevación media válida podría ser 9 metros o menos. Si el vídeo se ha filmado bajo el agua a una profundidad de -10 metros o más, la elevación media válida (con respecto al nivel del mar) podría ser -11 o más. Si el valor de altitud del sensor es menor que el valor de elevación promedio, las cuatro coordenadas de esquina no se calcularán para ese registro. Si no conoce la elevación media del área del proyecto, utilice un DEM.	Raster Layer; Image Service; Linear Unit
input_coordinate_system (Opcional)	El sistema de coordenadas que se utilizará para el valor del parámetro `metadata_file`.	Coordinate System

Muestra de código

Ejemplo 1 de VideoMultiplexer (ventana de Python)

En este ejemplo se crea un archivo de vídeo que combina una archivo archivado y los metadatos relacionados.

arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
                          r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
                          r"C:\Video_Multiplexer_TimeShift_Template.csv", r"c:\test\dem.tif")

Ejemplo 2 de VideoMultiplexer (script independiente)

En este ejemplo se crea un archivo de vídeo que combina una archivo archivado y los metadatos relacionados.

import arcpy
from arcpy.ia import *

in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"

arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)

Entornos

Ajustar al horario de verano, Zona horaria

Información de licenciamiento

Basic: Requiere Image Analyst
Standard: Requiere Image Analyst
Avanzado: Requiere Image Analyst

Multiplexor de vídeo (Herramientas de Image Analyst)

Resumen

Uso

Parámetros

Entornos

Información de licenciamiento

Temas relacionados