Видео: Быстрое развертывание кластера Hadoop на платформе RightScale 2024
Как и в любой распределенной системе, сетевое взаимодействие может создавать или разбивать кластер Hadoop: не «дешево». «Между ведущими узлами и подчиненными узлами кластера Hadoop происходит большая болтовня, которая необходима для поддержания работы кластера, поэтому коммутаторы корпоративного класса определенно рекомендуются.
Для каждой стойки в вашем кластере вам нужны два переключателя верхнего уровня (ToR) для резервирования и производительности. Используйте 10GbE для переключателей ToR.
Коммутаторы ToR - это сетевые коммутаторы, которые соединяют все компьютеры в стойке вместе. Обычно вы видите их на самой вершине стойки, поэтому люди говорят «верхняя стойка». «Альтернативный сетевой подход заключается в использовании переключателей конца строки (EoR), но вы не видите этого очень часто.
Подход ToR проще с точки зрения сети для растущих кластеров. Например, добавление подчиненных узлов и дополнительных стоек намного проще с помощью переключателей ToR, чем EoR.
Если у вас более трех стеллажей, вам нужно как минимум два основных переключателя (опять же, в первую очередь для резервирования, но также и для производительности). Эти основные коммутаторы обрабатывают огромное количество трафика, поэтому 40GbE является необходимостью.
Если вы создаете или расширяете кластер для размещения нескольких стеллажей, привлекайте экспертов по сети, которые знакомы с Hadoop, ваши планы роста в будущем и вашу рабочую нагрузку. Плохая сеть может серьезно затруднить производительность, но она также может сделать будущее ростом болезненным и дорогостоящим.
