Я столкнулся с этой проблемой, когда я использовал одно и то же действие ботстрапа. Я попытался добавить в Args=[--password, jupyter]
, который я также не смог получить. Это было из this AWS форума:
Name='Install Jupyter notebook',Path="s3://aws-bigdata-blog/artifacts/aws-blog-emr-jupyter/install-jupyter-emr5.sh",Args=[--r,--julia,--toree,--torch,--ruby,--ds-packages,--ml-packages,--python-packages,'ggplot nilearn',--port,8880,--password,jupyter,--jupyterhub,--jupyterhub-port,8001,--cached-install,--notebook-dir,s3://<your-s3-bucket>/notebooks/,--copy-samples]
Что я сделал вместо этого должен был следовать these instructions для установки анаконды непосредственно в экземпляре ОГО с помощью CLI. Если вы следуете первой части, вы сможете ее запустить и запустить. Суммируя здесь:
- SSH в свой основной экземпляр ЭМИ с помощью файла .pem вы сохранили
- раз есть вы хотите установить анаконды с помощью супер priveledges пользователя:
sudo wget http://repo.continuum.io/archive/Anaconda3-4.1.1-Linux-x86_64.sh
. Тогда bash Anaconda3–4.1.1-Linux-x86_64.sh
- Убедитесь, что вы используете версию анаконды из питона:
which python
- Если вы не укажите свой источник:
source .bashrc
- Теперь сделать jupyter конфигурационный файл:
jupyter notebook --generate-config
- компакт-диск в jupyter папка:
cd ~/.jupyter/
- обновляют конфигурационный файл:
vi jupyter_notebook_config.py
В конфигурационном файле добавьте следующие строки:
c = get_config() c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.port = 6789
< --- выбрать какой порт вы хотите
выхода из редактора конфигурации и запустить jupyter через: jupyter notebook
этом должен работать ноутбук без каких-либо активных ядер (на данный момент). Но это даст вам токен, который вы ищете: http://localhost:6789/?token=xxxxxx
Оставьте это работать и откройте новое окно терминала. Теперь вам понадобится туннель для экземпляра EMR для этого aws blog post (сделайте порт таким же, как тот, который вы указали в файле конфигурации). ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L 8192:<<master-public-dns-name>>:8192 [email protected]<<master-public-dns-name>>
Открытие локального хоста: 6789 в браузере должно указывать на страницу jupyter, чтобы ввести ваш пароль или токен. Введите маркер, который был сгенерирован на предыдущем шаге, и вы должны быть добры.
Надеюсь, это поможет! Там может быть менее запутанный путь, но это то, что в конечном итоге работает для меня.
Я следил за [вторым путем] (https://medium.com/@josemarcialportilla/getting-spark-python-and-jupyter-notebook-running-on-amazon-ec2-dec599e1c297) и смог доступ к ноутбуку jupyter, но это была автономная машина EC2, а не кластер. будет ли такой же подход работать в кластере?я должен установить его на всех узлах? это будет довольно неуклюжий. для [первого пути] (https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/), я как-то не могу добраться до ноутбук вообще не только для jupyter hub – Calcutta