Стратегии передачи данных в Amazon Web Services

Развертывание ArcGIS Enterprise на Amazon Web Services (AWS) позволяет вам воспользоваться преимуществами удобства и масштабируемости, которые предоставляет облачная среда для размещения ваших веб-сервисов. Конечные пользователи могут использовать эти веб-сервисы в приложениях на своих локальных устройствах или в других приложениях в облаке.

Как администратор развертывания ArcGIS на AWS, вы должны убедиться в том, что издатели смогут создавать сервисы, нужные конечным пользователям. Некоторые сервисы можно опубликовать из локальных или веб-клиентов, копируя данные в любой момент публикации. В большинстве случаев, однако, вам может понадобиться передать ГИС-данные по интернету в облачные хранилища. На этой странице перечислены опции публикации и копирования данных, порядок передачи данных на AWS и места для хранения данных на AWS. Здесь также содержится анализ факторов, влияющих на время передачи данных.

Использование преимуществ веб-интерфейсов

ArcGIS Server Manager и организация доступны через веб-браузер. То есть вы можете зайти в эти приложения со своего локального компьютера, не выполняя вход в экземпляры Amazon Elastic Compute Cloud (EC2) на AWS.

Вы можете создать файл определения сервиса в локальной установке ArcGIS Pro, которая включает нужные вам данные сервиса. После получения файла войдите на автономный или интегрированный сайт ArcGIS Server на AWS с помощью Server Manager и выполните публикацию из файла определения сервиса.

При развертывании ArcGIS Enterprise на AWS можно войти на веб-сайт портала под учетной записью пользователя с правами создания ресурсов и публикации размещенных векторных слоев, загрузки на портал таких данных, как сжатые шейп-файлы и файловые базы геоданных или файлы разделенных запятыми значений (CSV) и публикации размещенных векторных слоев, которыми вы сможете поделиться с другими пользователями организации.

Если вы настроили ArcGIS GeoEvent Server на вашем экземпляре EC2, вы сможете транслировать прямые потоки данных. Для получения дополнительной информации обратитесь к справочной информации по ArcGIS GeoEvent Server .

Репликация данных через сервис геоданных

Вы можете подключиться к сайту ArcGIS Server на AWS из установки ArcGIS Pro на локальном компьютере и зарегистрировать как локальную многопользовательскую базу геоданных, так и многопользовательскую базу геоданных на AWS, опубликовать сервис геоданных базы геоданных на AWS и использовать сервис геоданных для репликации данных из локальной базы геоданных в базу геоданных на AWS.

Перемещение данных в AWS

В некоторых случаях вам может понадобиться переместить данные на AWS, а также чтобы издатели вошли на один из экземпляров AWS, созданных вами и включающих лицензионную копию ArcGIS Pro, и чтобы издатели могли создавать и публиковать там данные. Вам потребуется выполнить это в следующих случаях:

Вы сохранили свои исходные данные на AWS.
Вы переместили набор исходных данных на AWS для публикации, поскольку публикация данных из локальных источников на сайте ArcGIS Server в облаке может быть очень медленной и потому во многих случаях не может быть рекомендована.

Места для хранения данных на AWS

Есть несколько способов хранения ГИС данных на AWS. Все следующие опции в Amazon являются платными, причем стоимость может меняться, что необходимо учитывать, прежде чем сделать окончательный выбор. Храните данные в том же регионе в AWS, что и ваш сайт ArcGIS Server и установка ArcGIS Pro.

Тома Amazon Elastic Block Store (EBS) – тома EBS, являющиеся виртуальными дисками, которые можно прикрепить к вашему экземпляру EC2 чтобы увеличить возможный объем хранения данных. Экземпляры, которые вы запускаете с помощью инструментов ArcGIS Enterprise для Amazon Web Services, содержат корневой том. Вы можете добавить свой собственный, заранее заполненный том EBS с помощью AWS Management Console. Тома могут содержать файлы источников данных, такие как файловые базы геоданных, и здесь вы можете хранить кэши карт и изображений.

Изучите обзор EBS в документации AWS.
Amazon Simple Storage Service (S3) — Amazon S3 — это сервис Amazon, специально разработанный для хранения данных в облаке. Этот способ хранения имеет наименьший потенциальный риск потери или повреждения данных. Можно использовать S3 для резервного копирования данных, как нечто среднее между локальным развертыванием и дисками EBS или как местоположения файловых данных, регистрируемых вами на сайте ArcGIS Server site на AWS.

Изучите обзор S3 в документации AWS.
Экземпляр EC2 — можно переносить данные прямо в корневой диск вашего экземпляра EC2.
Сервисы баз данных — когда вы используете инструменты ArcGIS Enterprise для Amazon Web Services для создания развертывания, вы можете включить многопользовательскую базу геоданных, хранящуюся в Amazon Relational Database Service (RDS). Вы можете использовать ArcGIS Pro для копирования наборов классов объектов, классов объектов и таблиц в базу геоданных для использования в качестве исходных данных для своих веб-сервисов. См. раздел Базы геоданных на Amazon Web Services для получения дополнительной информации.
ArcGIS Data Store — одним из компонентов развертывания ArcGIS Enterprise является ArcGIS Data Store, который хранит данные, используемые разными размещёнными векторными слоями. Когда вы развертываете ArcGIS Enterprise на AWS и публикуете размещённые веб-слои, данные можно копировать в одно из хранилищ данных, созданных через ArcGIS Data Store. См. Введение в ArcGIS Data Store для получения дополнительной информации.

Опции передачи данных в облако

Перенос локально размещенных данных в облако занимает длительное время и иногда требует от вас координации действий со своими специалистами в сфере информационной безопасности. Экспорт данных в местоположение в облаке обычно происходит не так быстро и безопасно, как обычная передача данных по локальной сети.

Есть ряд способов, которые можно использовать для передачи данных в облако, но если вы работаете с конфиденциальными данными, вам нужно скоординировать свои действия с вашим персоналом по IT-безопасности, чтобы удостовериться в безопасности применяемого вами метода, и в том, что он одобрен вашей организацией. Существует несколько доступных опций:

Копирование данных при публикации сервиса.

Когда вы публикуете сервис, вы можете скопировать данные этого сервиса на сайт ArcGIS Server или ArcGIS Data Store. В зависимости от типа опубликованного вами сервиса, данные упаковываются в файл определения сервиса (.sd), передаются в директорию загрузок сайта ArcGIS Server и распаковываются во входную директорию ArcGIS Server или данные копируются в один из типов ArcGIS Data Store, которые есть в вашем развертывании. Имейте в виду, что это может занять много времени и привести к передаче больших объемов данных, если вы не ограничите экстенты и наборы данных, используемые для вашей карты или другого ресурса.

Эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.
Использование Подключения к удаленному рабочему столу и последующее копирование и вставка данных.

Подключение к удаленному рабочему столу Microsoft Windows поддерживает перенаправления файловой системы, при которых ваши локальные диски могут использоваться на удаленном компьютере. Войдя в свой экземпляр EC2 в Windows через удаленный рабочий стол, вы можете открыть Проводник Windows и скопировать данные со своих локальных дисков на тома EBS.

Если вам нужно передавать конфиденциальные данные с помощью подключения к удаленному рабочему столу, убедитесь в наличии дополнительных уровней безопасности. Предыдущие версии подключения к Удаленному рабочему столу были с точки зрения безопасности уязвимы, в том смысле, что компьютер под видом сервера мог получить доступ к вашим данным (так называемое «нападение человека посередине»).

Примечание:

Копирование и вставка занимает некоторое время при передаче данных. Не копируйте новые файлы, пока не закончится процедура вставки. Иначе процедура вставки будет прекращена, и вам придется осуществлять ее заново.
Использование утилит клиента S3.

Amazon S3 может использоваться в качестве варианта перемещения размещенных локально данных в тома EBS. Для передачи данных в S3 можно воспользоваться AWS Management Console либо одним из многочисленных приложений сторонних разработчиков, предназначенных для простого перемещения файлов между S3 и своими компьютерами. Если ваши данные находятся в S3, можно воспользоваться той же утилитой на экземпляре EC2 для перемещения данных из в экземпляр.
Доступ к данным вашего веб-сервера.

Любые данные, доступные в сети по протоколу HTTP, подходят для вашего экземпляра EC2. Если в вашей организации есть веб-сервер, можно разместить на нем данные, а затем загрузить данные из экземпляра EC2. Преимущество этого подхода заключается в том, что вы можете настроить параметры безопасности на веб-сервере, чтобы ограничить круг лиц, которые смогут скачивать данные, а также зашифровать транзакции через SSL.
Включение HTTPS.

Вы можете включить протокол передачи файлов (FTP), чтобы загрузить файлы непосредственно на экземпляр EC2. Помните, что стандарт FTP не поддерживает шифрование информации и посылает пароли в открытом виде. Для безопасного использования FTP вам придется принять дополнительные меры безопасности, такие как шифрование сессии FTP с помощью SSL, ограничение круга пользователей, которые смогут передавать данные на ваш экземпляр посредством FTP, а также отключение FTP после передачи данных. Есть ряд сторонних продуктов, поддерживающих настройку безопасных FTP-соединений.
Использование инструментов AWS.

Если вам нужно передать огромный объем данных в AWS, может быть быстрее или экономичнее отправить данные в Amazon на физическом носителе и заплатить Amazon за загрузку данных непосредственно в S3. Amazon предлагает соответствующую услугу под названием AWS Snowball.

Amazon работает со многими поставщиками решений, обеспечивающими передачу, хранение данных и безопасность используемых решений. См. раздел Поиск партнерских решений AWS, чтобы определить, какая из этих компаний может вам помочь в реализации вашей облачной стратегии. Esri является таким поставщиком и предлагает различные сервисы по проектам и внедрению для развертывания ArcGIS в облаке Amazon.

Факторы, влияющие на длительность передачи данных

Скорость различных видов передачи данных, описанных выше, различается в зависимости от физической близости к региону AWS, времени суток и качества вашего интернет-соединения.

Если клиент, источник данных и ArcGIS Enterprise развернуты в разных местах, то при передаче данных между локальным компонентом и облаком производительность, скорее всего, снизится.

Наборы данных ГИС, особенно растровые изображения и кэш карт, могут занимать много места и должны быть упакованы для передачи – в целях уменьшения либо размера файла, либо общего числа файлов для более эффективного переноса данных (особенно в случае с кэшем карт). Некоторые утилиты клиента S3 могут устанавливать ограничения на размер переносимого файла или число файлов, которое можно хранить. Кроме того, некоторые архиваторы имеют ограничения на объем упаковываемых данных. При передаче данных необходимо принять во внимание время архивирования и дополнительные затраты.

Наконец, при использовании S3 необходимо знать об ограничениях количества бакетов, которое вы можете создавать, и других ограничениях бакетов S3. Amazon перечисляет такие ограничения в разделе Ограничения бакетов.

Поддержание целостности путей к данным

Каждый раз при перемещении данных на новое место вы должны знать все варианты хранения ссылок на данные, которые, возможно, придется обновить. Это актуально для документов карты, ссылающихся на множество слоев данных, расположенных в различных местах.

Регистрация вашего местоположение данных Amazon Elastic Compute Cloud на вашем сайте ArcGIS Server поможет снизить усилия по исправлению неисправных путей данных после публикации. См. раздел Зарегистрировать ваши данные с помощью ArcGIS Server с помощью Server Manager в справке ArcGIS Server для получения дополнительной информации.

Другим способом избавления от необходимости исправления подключений к данным является использование в ваших документах карт относительных путей и хранение карт и данных в одной папке.