Видео-Мультиплексор (Инструменты Image Analyst)

Краткая информация

Создает один геопространственный видеофайл, объединяющий архивный файл видеопотока и отдельный связанный файл метаданных, синхронизированные по временной отметке. Процесс комбинации двух файлов, содержащих файлы видео и метаданных, называется мультиплексацией.

Использование

Этот инструмент предназначен для архивных видео файлов и не работает с потоковым видео в реальном времени.
Формат видеофайла, который будет мультиплексирован, должен соответствовать одному из поддерживаемых видео форматов. Отдельный файл метаданных должен быть файлом с разделителями-запятыми (CSV), JSON или GPS Exchange Format (GPX), в котором содержатся корректные заголовки полей и связанные значения.

Форматы видео, поддерживаемые в качестве входных данных для инструмента, перечислены в следующей таблице:


Описание	Расширение
Файл AOMedia Video 1	`.av1`
Audio Video Interleaved	`.avi`
Видео файл¹ H264	`.h264`
Видео файл¹ H265	`.h265`
HLS (Адаптивная скорость передачи данных (ABR))	`.m3u8`
Файл MOV	`.mov`
MPEG-2 Transport Stream	`.ts`
MPEG-2 Program Stream	`.ps`
M2TS Transport Stream	`.m2ts`
Файл MPEG	`.mpg`
Файл MPEG-2	`.mpg2`
Файл MPEG-2	`.mp2`
Файл MPEG	`.mpeg`
MPEG-4 Movie	`.mp4`
Файл MPEG-4	`.mpg4`
MPEG-Dash	`.mpd`
VLC (mpeg2)	`.mpeg2`
Файл VLC Media (mpeg4)	`.mpeg4`
Файл VLC Media (vob)	`.vob`
Файл Windows Media Video	`.wmv`
¹ Требуется мультиплексирование

Формат выходного видеофайла — только .ts.
Метаданные, связанные с потоковым видеофайлом, используются для вычисления пути пролета видео-сенсора, центра кадра изображения видео и четырех углов рамки кадра видео на карте.
Геопространственное видео поддерживает спецификацию Motion Imagery Standards Board (MISB). Полная спецификация MISB определяет гораздо больше параметров, чем необходимо для традиционного полномасштабного видео. Указанные параметры MISB будут закодированы в финальное видео, включая все параметры их поднабора.
Чтобы вычислить и показать соответствующие угловые точки рамки кадра видео в виде контура кадра на карте, нужно 13 отдельных полей метаданных, которые указаны ниже с деталями в описании параметров. Если метаданные заполнены точно и полностью, инструмент вычислит углы кадра видео, размер, форму и расположение контура кадра видео, которое затем может быть показано на карте.
- Точная временная отметка
- Широта сенсора
- Долгота сенсора
- Эллипсоидальная высота сенсора или Истинная высота сенсора
- Угол направления платформы
- Угол тангажа платформы
- Угол крена платформы
- Угол относительного тангажа сенсора
- Угол относительной высоты сенсора
- Угол относительного азимута сенсора
- Горизонтальное поле зрения сенсора
- Вертикальное поле зрения сенсора
- Дальность
Это минимальный набор метаданных, который нужен, чтобы вычислить преобразование между видео и картой, показать контур видео на карте, а также включить другие функции вроде оцифровки и пометок видео на карте.
Значения для полей метаданных могут быть введены в файл шаблона метаданных Multiplexer_Field_Mapping_Template.csv из C:\Program Files\ArcGIS\Pro\Resources\MotionImagery.
- Файл Multiplexer_Field_Mapping_Template.csv содержит все требуемые поля метаданных.
- Для создания видеофайла, соответствующего метаданным, необходимы только 13 параметров, определенных выше. Вам не нужно задавать все параметры, указанные в спецификации MISB, для создания видеофайла, соответствующего метаданным. Если заданы дополнительные параметры MISB, они будут встроены в видео файл.
Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные.
- Если в файле Multiplexer_Field_Mapping_Template.csv содержатся только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, местоположение сенсора будет показано на карте, но рамки кадров видео отображаться не будут. Некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не поддерживается.
- Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение сенсора на карте будет смещено относительно вида в видео-проигрывателе. В таком случае используйте шаблон Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\MotionImagery для выравнивания времени видео и метаданных.
Один набор параметров в файле Multiplexer_Field_Mapping_Template.csv включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться при создании видео. Если координат карты для четырех углов нет, укажите источник данных цифровой модели рельефа (ЦМР) в параметре Цифровая модель рельефа, после чего инструмент вычислит контур видео на основе указанных выше параметров.
Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Рекомендуется указать слой ЦМР или сервис изображений, если он есть.
Геопространственное видео поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в Motion Imagery. Если данные VMT записаны в файл, отдельный от связанного с ним видеофайла, их можно закодировать в этот видеофайл с помощью инструмента Видео-Мультиплексор. Геопространственное видео поддерживает стандарт MISB Video Moving Target Indicator and Track Metadata.

Закодируйте данные VMTI в видео, предоставив необходимую информацию VMTI для соответствующего видеокадра, используя файл метаданных .csv, .json или .gpx, содержащий данные для следующих полей:
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
Последний столбец, vmtilocaldataset, содержит ограничивающую рамку обнаруженного объекта, в котором каждое значение, разделенное пробелами, определяется тремя значениями: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.

Вы можете задать выявления нескольких объектов для данной метки времени, используя точку с запятой (;) в качестве разделителя, как показано в приведенном выше примере.

Используйте MISB Tag 74 в файле Multiplexer_Field_Mapping_Template.csv.

Подпись	Объяснение	Тип данных
Входной файл видео	Входной файл видео, который будет конвертирован в файл геопространственного видео. Поддерживаются следующие типы файлов: `.av1,`, `.avi`, `.h264`, `.h265`, `.mkv`, `.mov`, `.mp2`, `.mp4`, `.mpeg`, `.mpeg2`, `.mpeg4`, `.mpg`, `.mpg2`, `.mpg4`, `.ps`, `.ts`, `.vob` и `.wmv`.	File
Файл метаданных	Файл `.csv`, `.json` или `.gpx`, содержащий метаданные видеокадров для указанного времени. Каждый столбец в файле метаданных соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка — это UNIX time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды) может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей перечислены в файле `Multiplexer_Field_Mapping_Template.csv` в `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`, либо пользовательские имена полей должны быть сопоставлены с соответствующими именами полей видео, которые используются в шаблоне. Каждая последующая строка содержит значения метаданных для указанного времени, которое называется временной меткой. Имена полей метаданных могут идти в любом порядке, а именовать их следует так, как указано в шаблоне `Multiplexer_Field_Mapping_Template.csv`, чтобы имена полей метаданных были корректно сопоставлены с именами полей метаданных видео.	File
Выходной видео файл	Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл `.ts`.	File
Файл сопоставления метаданных (Дополнительный)	Файл `.csv`, содержащий 5 столбцов и 87 строк, основан на файле шаблона `FMV_Multiplexer_Field_Mapping_Template.csv`, полученного из `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Этот файл `.csv` перекрестно ссылается на имя поля метаданных по отношению к имени поля видео. Каждая строка представляет один из параметров стандартных метаданных, например, высоту сенсора. Первые два столбца содержат информацию для тега и имени параметра MISB, которые указаны в форме. Третий столбец содержит имя поля, которое появляется в параметре Файл метаданных. Когда третий столбец заполнен, инструмент может сопоставить имена полей метаданных с соответствующими тегами метаданных видео.	File
Файл сдвига во времени (Дополнительный)	Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случае контур изображения в видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне `Multiplexer_TimeShift_Template.csv` в `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Файл наблюдений сдвига по времени представляет собой файл `.csv`, содержащий два столбца (`elapsed time` и `time shift`), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видеоизображения есть пятисекундное отставание от основного времени, то в файле наблюдения сдвига по времени будет только одна строка: `0:00, -5`. Все видео будет сдвинуто на пять секунд. Если есть пятисекундная задержка на отметке 0:18 видео и девятисекундная задержка на отметке 2:21 видео, то в файле наблюдения сдвига по времени будет две строки: <!--```other 0:18, -5 2:21, -9 `В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига.`	File
Цифровая модель рельефа (Дополнительный)	Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно учитывать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если не известна средняя высота для области проекта, используйте ЦМР.	Raster Layer; Image Service; Linear Unit
Входная система координат (Дополнительный)	Система координат, используемая для значения параметра Файл метаданных.	Coordinate System

VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})

Имя	Объяснение	Тип данных
in_video_file	Входной файл видео, который будет конвертирован в файл геопространственного видео. Поддерживаются следующие типы файлов: `.av1,`, `.avi`, `.h264`, `.h265`, `.mkv`, `.mov`, `.mp2`, `.mp4`, `.mpeg`, `.mpeg2`, `.mpeg4`, `.mpg`, `.mpg2`, `.mpg4`, `.ps`, `.ts`, `.vob` и `.wmv`.	File
metadata_file	Файл `.csv`, `.json` или `.gpx`, содержащий метаданные видеокадров для указанного времени. Каждый столбец в файле метаданных соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка — это UNIX time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды) может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей можно сопоставить с соответствующими именами полей, используя при необходимости файл `Multiplexer_Field_Mapping_Template.csv` в `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Каждая последующая строка содержит значения метаданных для указанного времени в поле времени.	File
out_video_file	Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл `.ts`.	File
metadata_mapping_file (Дополнительный)	Файл `.csv`, содержащий 5 столбцов и 87 строк, основан на файле шаблона `FMV_Multiplexer_Field_Mapping_Template.csv`, полученного из `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Каждая строка представляет один из тегов стандартных метаданных MISB, например, высоту сенсора. Первые два столбца содержат индекс MISB и имя тега MISB. Третий столбец содержит имя поля, которое появляется в параметре `metadata_file`, если он есть. Когда третий столбец заполнен, инструмент может сопоставить имена полей метаданных с соответствующими тегами метаданных видео. Четвертый и пятый столбцы представляют единицы измерения и примечания, связанные с тегом, соответственно.	File
timeshift_file (Дополнительный)	Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случае контур изображения в видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне `Multiplexer_TimeShift_Template.csv` в `C:\Program Files\ArcGIS\Pro\Resources\MotionImagery`. Файл наблюдений сдвига по времени представляет собой файл `.csv`, содержащий два столбца (`elapsed time` и `time shift`), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видеоизображения есть пятисекундное отставание от основного времени, то в файле наблюдения сдвига по времени будет только одна строка: `0:00, -5`. Все видео будет сдвинуто на пять секунд. Если есть пятисекундная задержка на отметке 0:18 видео и девятисекундная задержка на отметке 2:21 видео, то в файле наблюдения сдвига по времени будет две строки: <!--```other 0:18, -5 2:21, -9 `В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига.`	File
elevation_layer (Дополнительный)	Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно учитывать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если не известна средняя высота для области проекта, используйте ЦМР.	Raster Layer; Image Service; Linear Unit
input_coordinate_system (Дополнительный)	Система координат, используемая для значения параметра `metadata_file`.	Coordinate System

Пример кода

VideoMultiplexer, пример 1 (окно Python)

В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.

arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
                          r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
                          r"C:\Video_Multiplexer_TimeShift_Template.csv", r"c:\test\dem.tif")

VideoMultiplexer, пример 2 (автономный скрипт)

В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.

import arcpy
from arcpy.ia import *

in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"

arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)

Параметры среды

Настроить на летнее время, Часовой пояс

Информация о лицензировании