Подключение к Google BigQuery из ArcGIS

Чтобы подключиться к Google BigQuery, необходимо установить и настроить клиентские файлы для обеспечения связи между ArcGIS и BigQuery, а также создать файлы подключения к базе данных из ArcGIS Pro. Для обеспечения наилучшей производительности развертывайте клиенты ArcGIS в Google Cloud.

Обычно ИТ-специалисты устанавливают программное обеспечение ArcGIS и драйверы, необходимые для подключения к хранилищу данных. Они также настраивают сеть, брандмауэр и другие каналы связи, необходимые для обеспечения связи между ArcGIS и облачным хранилищем данных.

Затем администратор облачного хранилища данных создает учетные записи и предоставляет им права доступа к определенным таблицам в облачном хранилище данных. Администратор может создать подключение из ArcGIS Pro к облачному хранилищу данных и предоставить общий доступ к файлу подключения издателям, либо администратор может предоставить издателям учетные данные, необходимые для создания ими собственных файлов подключения.

Чтобы опубликовать веб-сервисы ArcGIS Server, которые ссылаются на данные в облачном хранилище данных, издатели должны зарегистрировать файл подключения к базе данных на одном из сайтов ArcGIS Server, интегрированных с активным порталом ArcGIS Enterprise. Чтобы опубликовать веб-сервис со снимком данных, необходимо зарегистрировать файл подключения к базе данных на сайте ArcGIS GIS Server, который выступает в качестве хост-сервера портала ArcGIS Enterprise.

Установка и настройка драйверов

Для подключения из ArcGIS Pro к BigQuery необходимо установить самые последние драйверы Magnitude Simba Open Database Connectivity (ODBC) на компьютерах с ArcGIS Pro. Чтобы опубликовать слой изображений карты или векторный слой, содержащий данные из BigQuery, необходимо установить драйверы и настроить компьютеры на интегрированном сайте ArcGIS Server для подключения к BigQuery.

См. документацию Google BigQuery для получения дополнительной информации и ссылок на загрузку и установку 64-битного драйвера ODBC.

Компьютеры Microsoft Windows

Установите драйвер Magnitude Simba ODBC на каждом компьютере с ArcGIS Pro и на каждом компьютере, использующем операционную систему Windows, на интегрированном сайте ArcGIS Server, на который вы будете публиковать.

Убедитесь, что путь к драйверу Magnitude Simba ODBC присутствует в системной переменной среды Windows PATH. Если нет, добавьте его.

Компьютеры Linux

Если интегрированные сайты ArcGIS Server, на которые вы будете публиковать, работают на компьютерах Linux, необходимо установить драйверы Magnitude Simba ODBC на каждом компьютере на сайте ГИС-сервера.

При редактировании файла /etc/odbcinst.ini для указания местоположения драйвера Simba ODBC необходимо изменить заголовок раздела на Simba ODBC Driver for Google BigQuery. Текст должен в точности совпадать. Например, если заголовок будет Simba ODBC Driver for Google BigQuery 64bit или какой-либо ещё, подключения из ArcGIS не будут выполнены.

После настройки файла /etc/odbcinst.ini настройте файл ArcGIS Server init_user_param.sh для доступа к драйверам.

Измените скрипт init_user_param.sh

Измените сценарий выполнения init_user_param.sh, установленный с ArcGIS Server, чтобы добавить ссылку на драйверы. Этот скрипт находится в директории <ArcGIS Server installation directory>/arcgis/server/usr.

Убедитесь, что владелец установки ArcGIS Server на каждом компьютере имеет как минимум права доступа на чтение и выполнение для клиентских библиотек хранилища данных.
В текстовом редакторе откройте скрипт init_user_param.sh.

Удалите знаки комментария (#) из строк, начинающихся с export, и замените расположения драйверов путями на вашем компьютере.

# -----------------------------------------------------------------------
# Modify this section to configure an ODBC connection to Google BigQuery Data
# Warehouse.
#
# To make a connection, copy GoogleBigQueryODBC.did to the lib folder under the
# extracted directory for Google BigQuery ODBC driver. Edit
# simba.googlebigqueryodbc.ini and set DriverManagerEncoding=UTF-16. Configure and
# store the odbcinst.ini in the /etc folder.
#
# -----------------------------------------------------------------------
export LIB_ODBC_DRIVER_MANAGER=<Location_to_ODBC_driver_manager_libraries>/libodbc.so.2
export SIMBAGOOGLEBIGQUERYODBCINI=<Location_to_simba.googlebigqueryodbc.ini>/simba.googlebigqueryodbc.ini

Сохраните и закройте скрипт.
Чтобы изменения, внесенные вами в файл init_user_param.sh, вступили в силу, необходимо перезапустить ArcGIS Server.

Для этого запустите сценарий выполнения stopserver.sh, а затем запустите сценарий выполнения startserver.sh на каждом компьютере на сайте ArcGIS Server.

./stopserver.sh

./startserver.sh

Создайте файлы подключения к базе данных

В ArcGIS Pro используйте диалоговое окно Новое подключение к базе данных, чтобы создать подключение к BigQuery.

Откройте панель Каталог в ArcGIS Pro.
Щелкните правой кнопкой мыши Базы данных или папку в разделе Папки и выберите Новое подключение к базе данных.
Выберите BigQuery из ниспадающего списка Платформа базы данных.
Из ниспадающего списка Тип аутентификации выберите тип аутентификации, используемый при подключении.
- Аутентификация пользователя - для аутентификации используется токен обновления.
- Аутентификация сервиса - для аутентификации используется файл ключа учетной записи сервиса.
См. документацию Google BigQuery по аутентификации, чтобы решить, что использовать.
Если вы выберете Аутентификацию пользователя, предоставьте токен обновления.
Если вы выберете Аутентификацию сервиса, перейдите к местоположению ключевого файла, который содержит учетные данные, необходимые для подключения к BigQuery, выберите файл и щелкните Открыть.
Введите или выберите идентификатор проекта и выберите набор данных по умолчанию, связанный с пользователем, от имени которого вы хотите подключиться.

Примечание:

Не подключайтесь, используя любой из публичных проектов данных BigQuery или любой из публичных наборов данных в публичных проектах в качестве проекта по умолчанию. Вы не можете включить биннинг объектов и не можете создать материализованное представление непосредственно для каких-либо таблиц в наборах данных общедоступных проектов данных.

Укажите только имя набора данных, полное имя набора данных не поддерживается. Имя набора данных должно содержать не более 32 символов.

Если вы собираетесь создать материализованное представление с использованием этого файла подключения, убедитесь, что подключению назначен набор данных по умолчанию, в котором могут быть созданы объекты базы данных. Представление будет создано в этом наборе данных, который может находиться не в том же наборе данных, что и данные, участвующие в материализованном представлении.
Укажите имя для файла подключения в поле Имя файла подключения.

Имя по умолчанию создаётся на основе значений свойств подключения. Вы можете использовать значение по умолчанию или ввести более информативное имя файла.

Это имя, которое будет отображаться на панели и в виде Каталог, а также имя файла .sde, хранящегося на диске.
При необходимости разверните раздел Дополнительные свойства и укажите параметры для подключения, которые будут дополнительными к тем, что были заданы на предыдущих шагах.
- AdditionalProjects
- Окончание срока действия
- Трассировка
- LogLevel
- LogPath
Если вам требуется свойство, которое отсутствует в ниспадающем меню, можно ввести его в поле Свойство и указать для него соответствующее значение.

Ознакомьтесь с документацией Google BigQuery для получения информации о дополнительных параметрах подключения.

Например, чтобы настроить коннектор ODBC на повторную попытку неудачных вызовов API в течение 200 секунд, выберите Окончание срока действия в ниспадающем меню Свойство и введите 200 в поле Значение.
Нажмите ОК, чтобы создать файл подключения.

Подключение к базе данных появляется в разделе Базы данных на панели Каталог, а файл подключения (.sde) создается в директории проекта ArcGIS Pro.

Убедитесь, что учетная запись, которая используется для подключения, имеет необходимые права на доступ к данным в хранилище.

Регистрация на интегрированном сервере

Чтобы разрешить сайтам ArcGIS Server доступ к данным, используйте созданный вами файл подключения к базе данных, чтобы добавить зарегистрированное хранилище данных в ArcGIS Pro или добавить элемент хранилища данных на портале.

Для публикации с включенным параметром конфигурации Создать снимок для слоев запроса необходимо зарегистрировать файл подключения к базе данных на хост-сервере. См. секцию параметров настройки в Настройка векторного веб-слоя в справке ArcGIS Pro для получения дополнительной информации об этом параметре.

Что дальше

После того как вы настроите клиенты ArcGIS для подключения и создания файла подключения к базе данных, вы и другие члены организации сможете создать векторный слой запроса на карте в ArcGIS Pro.