Видео: Apache Oozie Tutorial | Hadoop Oozie Tutorial | Hadoop for Beginners | Intellipaat 2024
Apache Oozie входит во все крупные дистрибутивы Hadoop, включая Apache Bigtop. В своем кластере Hadoop установите сервер Oozie на пограничный узел, где вы также будете запускать другие клиентские приложения против данных кластера, как показано.
Конечные узлы предназначены для шлюза для внешней сети кластера Hadoop. Это делает их идеальными для технологий передачи данных (например, Flume), а также клиентских приложений и другой инфраструктуры приложений, таких как Oozie. Oozie не нуждается в выделенном сервере и может легко сосуществовать с другими службами, которые идеально подходят для краевых узлов, таких как Pig and Hive.
После развертывания Oozie вы готовы запустить сервер Oozie. Инфраструктура Oozie установлена в каталоге $ OOZIE_HOME. Оттуда запустите oozie-start. sh для запуска сервера. (Как вы могли ожидать, остановка сервера включает в себя ввод oozie-stop. Sh.) Вы можете проверить статус своего экземпляра Oozie, выполнив команду
oozie admin -status
После того, как сервер Oozie развернут и запущен, вы можете каталогизировать и запускать различные рабочие процессы, координатор или задание пакетов. При работе с вашими заданиями Oozie хранит определения каталогов - данные, описывающие все объекты Oozie (рабочие процессы, координаторы и задания пакетов), а также их состояния в выделенной базе данных.
По умолчанию Oozie настроен на использование встроенной базы данных Derby, но вы можете использовать MySQL, Oracle или PostgreSQL, если вам нужно.
У вас есть четыре варианта взаимодействия с сервером Oozie:
-
API Java: Этот параметр полезен в ситуациях, когда у вас есть собственный код планирования в Java-приложениях, и вам нужно контролировать выполнение ваших Рабочие процессы Oozie, координаторы или узлы из вашего приложения.
-
REST API: Опять же, этот параметр хорошо работает в тех случаях, когда вы хотите использовать свой собственный код планирования как основу ваших рабочих процессов, координаторов или пакетов Oozie, или если вы хотите создать собственный интерфейс или расширить существующий для администрирования сервера Oozie.
-
Интерфейс командной строки (CLI): Это традиционный интерфейс командной строки Linux для Oozie.
-
Веб-консоль Oozie: Хорошо, возможно, вы не можете много взаимодействовать здесь, но веб-консоль Oozie предоставляет вам (только для чтения) представление состояния сервера Oozie, которое полезно для мониторинга ваших рабочих мест в Oozie.
Hue, интерфейс администрирования Hadoop, предоставляет еще один инструмент для работы с Oozie.Рабочие процессы, координаторы и связки Oozie определяются с помощью XML, который может быть утомительным для редактирования, особенно для сложных ситуаций. Hue предоставляет графический инструмент для графического построения рабочих процессов и других объектов Oozie.
Под обложками Oozie включает встроенный веб-сервер Tomcat, который обрабатывает его вход и выход.
