Я только что начал администрировать кластер Hadoop. Мы используем Bright Cluster Manager до уровня O/S (CentOS 7.1), а затем Ambari вместе с Hortonworks HDP 2.3 для Hadoop.Установка пакета Python: pip vs yum или оба вместе?
Я постоянно получаю запросы на установку новых модулей python. Некоторые модули, которые мы установили при настройке с помощью yum, и по мере того, как кластер продвинулся, некоторые модули были установлены с использованием pip.
Что такое «правильный» способ сделать это? Всегда используйте yum и не сможете предоставить последние и самые большие модули? Всегда используйте pip и не имеете ни одной точки правды (yum), показывающей, какие пакеты установлены? Или это прекрасно, чтобы использовать как pip, так и yum вместе?
Я просто обеспокоен тем, что я заполняю систему нежелательной и слишком много версий модулей python. Какие-либо предложения?
Лучше использовать отдельный python (не возиться с системным python) и использовать pip поверх него для управления модулями python с точной версией. Поскольку вы управляете кластерами для hadoop, вы также можете автоматизировать установки. –
Что значит «отдельный питон»? Вы имеете в виду установку python с нуля вместо использования пакетов yum, доступных в CentOS? И да, мы автоматизируем установки. В Bright Cluster Manager я могу установить программное обеспечение/модули в базовое изображение, а затем обновить все узлы. – ClusterAdmin
«отдельный питон» означает использование virtualenv, я думаю. –