Как установить jupiter lab
Как запустить Jupyter Notebook в браузере без бэкенда
К старту нашего флагманского курса по Data Science представляем перевод обзора JupyterLite прямо из блога его разработчиков. JupyterLite — это перезагрузка множества попыток создать полный статический выполняемый в браузере дистрибутив Jupyter, чтобы не было необходимости запускать сервер Jupyter.
Цель проекта — дать лёгкую вычислительную среду в браузере, доступную по одному клику спустя несколько секунд, без установки чего-либо на устройство конечного пользователя. При работе с дистрибутивами в браузере не нужно предоставлять среду выполнения на бэкенде. Приложение в основном представляет собой набор статических файлов, поэтому проще масштабируется и его легче развёртывать.
JupyterLite работает в браузере на статическом веб-сайте ReadTheDocs
Полноценный дистрибутив JupyterLab в браузере
JupyterLite разработан с нуля, он повторно использует множество плагинов и компонентов JupyterLab как есть. В дополнение к JupyterLab JupyterLite по умолчанию работает с интерфейсом RetroLab:
JupyterLite с интерфейсом RetroLab
Благодаря повторному использованию компонентов JupyterLab JupyterLite получает преимущества многих улучшений: новых функций, исправлений специальных возможностей и улучшений обслуживания. В JupyterLite также можно включить совместную работу в реальном времени из JupyterLab 3.1.
Совместная работа в режиме реального времени, JupyterLite в ReadTheDocs
Pyolite — поддерживаемое Pyodide ядро Python
Pyodide — это скомпилированный в WebAssembly интерпретатор CPython 3.8, позволяющий запускать Python в браузере, а также скомпилированных научных пакетов Python.
Из индекса пакетов PyPI Pyodide может установить любой пакет wheel, он содержит комплексный интерфейс внешних функций, предоставляющий экосистему пакетов Python для JavaScript и пользовательский интерфейс браузера для Python, в том числе DOM.
Pyodide: Python и его скомпилированный в WebAssembly научный стек
С версии 0.17 за последние несколько лет Pyodide получил множество улучшений: меньший размер двоичных файлов, поддержку asyncio и улучшение трансляции типов между Python и JavaScript.
JupyterLite по умолчанию поставляется с Pyolite — ядром Python, которое поддерживается Pyodide. Это ядро работает в веб-воркере, а значит при выполнении интенсивных вычислений не блокирует основной поток пользовательского интерфейса.
IPython в браузере
Pyolite теперь работает на IPython, что открывает доступ к его магическим командам, завершению кода, расширенному отображению, интерактивным виджетам и многим другим функциям.
IPython в JupyterLite
Интерактивная визуализация
В JupyterLite также поддерживаются многие библиотеки визуализации, такие как Altair и Plotly, что позволяет быстро и удобно создавать рисунки и графики:
Altair в JupyterLite
Поддержка виджетов Jupyter
В основе виджетов Jupyter лежит спецификация кастомных сообщений протокола Jupyter между ядром и интерфейсом. Мартин Рену добавил поддержку Comms в ядре Pyolite, что позволило многим существующим основным и сторонним виджетам, например bqplot, ipyleaflet и ipycanvas, работать из коробки.
JupyterLite по умолчанию поддерживает виджеты Jupyter
Больше, чем просто Python
JupyterLite работает со множеством ядер. Дистрибутив по умолчанию содержит ядра JavaScript и p5:
В JupyterLite доступно несколько ядер.
Эти ядра выполняются в IFrame как изолированные окружения. С помощью протокола отображения Jupyter можно легко отображать кастомные анимации:
Ядро p5.js в JupyterLite
JupyterLite гибко настраивается
Как и многие инструменты Jupyter, JupyterLite легко настраивается. С версии 3.0 поддерживается новая встроенная система расширения JupyterLab, а существующие расширения JupyterLab легко повторно использовать в JupyterLab.
Расширение JupyterLab Drawio, работающее в JupyterLite
Серверная часть JupyterLite в браузере также использует плагины. Сервер — это регистрирующее несколько плагинов приложение Lumino без оболочки, где регистрируются, например, менеджер содержимого или служба сеансов.
Такой подход делает замену одного плагина на другой очень удобной для разработчиков или администраторов сайта.
Пример: замена менеджера содержимого по умолчанию, который хранит блокноты и файлы в LocalStorage, на менеджера, сохраняющего содержимое в AWS S3.
Обзор архитектуры JupyterLite на основе плагинов
Модульность и гибкость JupyterLite позволяют легко добавлять ядра. Ядро Basthon, прототип для запуска которого разрабатывается в этом репозитории, использует несколько иную модель выполнения, чем Pyolite: оно запускается в основном потоке пользовательского интерфейса, поэтому пользователи могут напрямую управлять DOM главного окна из Python.
Pyolite, в свою очередь, запускается в веб-воркере как фоновый поток. Оба подхода имеют свои плюсы и минусы, а система плагинов JupyterLite позволяет авторам расширений полностью контролировать свои ядра.
Basthon в JupyterLite
Развёртывание
JupyterLite легко разворачивается как статический веб-сайт. Никакой сложной настройки, никаких проблем с масштабируемостью. Только простой, обычный HTTP-сервер статических файлов.
Поэтому появляются варианты: Nginx, Binder, GitHub Pages или страницы GitLab, Vercel, Netlify и многие другие. Можно развернуть JupyterLite в ReadTheDocs, где размещён и постоянно обновляется демонстрационный сайт JupyterLite.
Многие сценарии развёртывания уже задокументированы здесь, также есть демонстрационный шаблон, позволяющий легко развернуть настраиваемый веб-сайт JupyterLite на страницах GitHub одним кликом.
Благодаря работе Николаса Боллвега в JupyterLite для удобства развёртывания появился инструмент командной строки jupyterlite. Одна из задач JupyterLite — позволить любому пользователю собрать собственный дистрибутив с необходимым ему набором плагинов и расширений. Сегодня для этого нужно работать с jupyterlite, но можно представить экспорт удобнее:
Макет экспортёра JupyterLite
Широкий спектр вариантов
Благодаря простоте развёртывания и низкому порогу входа JupyterLite отлично подходит для широкого спектра задач. В образовательном пространстве он упрощает доступ к учебным материалам и вычислительным средам. Преподаватели и студенты могут сосредоточиться на содержании своих занятий, не беспокоясь о развёртывании и мониторинге серверов.
С помощью JupyterLite мы также надеемся привлечь новую волну пользователей Jupyter и сделать всю экосистему ещё доступнее для новичков и более широкого сообщества. В случае небольших проектов это может даже снизить нагрузку на mybinder.org посредством развёрнутой на CDN версии JupyterLite — binderlite.
Как быстро попробовать JupyterLite
JupyterLite можно протестировать по этой ссылке.
Локальный запуск
Во-первых, установите пакет CLI:
Затем создайте веб-сайт JupyterLite и разместите его на локальном сервере:
Документация приложения jupyterlite находится здесь.
А поработать с JupyterLab или JupyterLite на практике вы сможете на наших курсах по Data Science, а на курсе «Machine Learning и Deep Learning» используется оборудование нашего партнёра и лидера в области вычислений для искусственного интеллекта — компании NVIDIA. Кроме того, здесь вы можете узнать, как начать карьеру или прокачаться, например, в Fullstack-разработке на Python:
Data Science и Machine Learning
Первые шаги в JupyterLab
Jupyter и JupyterLab используются специалистами по анализу данных, или специалистами Data Science, или дата-сатанистами, или аналитиками данных, или специалистами по машинному обучению (не знаю, как правильно называется специальность).
Установка JupyterLab
Я всё это выполняю в Debian. Для начала у вас должен быть уже установлен pip (специальная утилита для установки различных пакетов Python). Затем с его помощью устанавливаем JupyterLab:
После этого убедитесь, что каталог
/.local/bin содержится в переменной окружения PATH.
Если его там нет, то его туда нужно добавить:
А ещё лучше прописать это в “
.bashrc”., чтобы не пришлось каждый раз добавлять этот каталог в PATH перед запуском JupyterLab.
Краткий обзор JupyterLab
После этого можно запускать JupyterLab:
У вас откроется окно браузера, в котором мы и будем делать всё остальное.
Jupyterlab
В левой части окна мы видим файлы, которые были в том каталоге, в котором мы находились в момент запуска JupyterLab. В правой части отображаются вкладки с открытыми в данный момент файлами. У нас также есть стандартное горизонтальное меню, как в большинстве современных офисных приложений.
JupyterLab умеет открывать огромное количество файлов. В моём случае у меня в рабочем каталоге лежат два файла: “face.png” и “pushkin.pdf”. Их можно открыть кликнув на них два раза.
JupyterLab PNG file 
JupyterLab PDF file
Мы также можем создавать свои notebook-и. Внутри открывшейся в браузере среды кликните File ⇨ New ⇨ Notebook. В диалоговом окне выберите “Python 3” и кликните “SELECT”. В правой части JupyterLab появится новая вкладка “Untitled.ipynb”. Это и есть наш созданный notebook (не знаю, как переводить, лучше оставлю на английском)
Что такое notebook в Jupyter
Notebook в Jupyter — это файл с чередующимися ячейками, каждая из которых содержит либо markdown, либо программный код на Python.
Работа с notebook-ами в JupyterLab
Сам notebook выглядит примерно так:
Ячейки в Jupyter notebook-ах
Обратите внимание на маркер текущей ячейки. Мы можем перемещаться между ячейками с помощью клавиш со стрелками. Для добавления ячейки перед текущей используйте клавишу “a”, для добавления ячейки после текущей используйте клавишу “b”. Удалить ячейку можно два раза нажав клавишу “d”. Остальные команды можно посмотреть в пункте “Edit” горизонтального меню.
Каждая ячейка содержит либо разметку Markdown, либо программный код Python. Вы можете менять тип текущей ячейки с помощью клавиш “y” (программный код) и “m” (Markdown).
Для примера давайте сделаем первую ячейку с простенькой разметкой Markdown. Для этого выберем её и с помощью клавиши “m” переключим её тип на разметку. Нажмите клавишу “Enter”, чтобы перейти в режим редактирования ячейки. Введите туда следующее содержимое:
Настройка среды JupyterLab в Ubuntu 18.04
JupyterLab – это многофункциональный пользовательский интерфейс, который упрощает выполнение задач, особенно в областях науки о данных и искусственного интеллекта. Среда JupyterLab – это редизайн Jupyter Notebook, ориентированный на производительность. Он предлагает такие инструменты, как встроенное средство просмотра HTML и CSV, а также функции, объединяющие несколько отдельных функций Jupyter Notebooks на одном экране.
В этом мануале вы узнаете, как установить и настроить JupyterLab на сервере Ubuntu 18.04. Мы также покажем, как настроить сервер так, чтобы он мог подключаться к JupyterLab удаленно, по домену с помощью любого веб-браузера.
Требования
1: Установка пароля
Давайте установим пароль для среды JupyterLab. Это важно, потому что экземпляр JupyterLab будет доступен в сети.
Для начала убедитесь, что ваша среда Anaconda активирована. Согласно руководству по установке Anaconda среда называется base.
Чтобы активировать среду, используйте следующую команду:
conda activate base
Командная строка изменится, чтобы показать, что вы находитесь в среде Anaconda:
Все дальнейшие команды в этом мануале будут выполняться в среде base.
Активировав среду Anaconda, вы можете установить пароль для JupyterLab.
Давайте сначала сгенерируем конфигурационный файл для Jupyter:
Вы получите такой вывод:
Writing default config to: /home/8host/.jupyter/jupyter_notebook_config.py
JupyterLab и Jupyter Notebook используют один и тот же конфигурационный файл.
Теперь используйте следующую команду, чтобы установить пароль для удаленного доступа к экземпляру JupyterLab:
jupyter notebook password
Jupyter предложит выбрать и ввести пароль:
Enter password:
Verify password:
[NotebookPasswordApp] Wrote hashed password to /home/8host/.jupyter/jupyter_notebook_config.json
Jupyter сохранит пароль в хешированном формате в файле /home/8host/.jupyter/jupyter_notebook_config.json. Это хешированное значение понадобится вам в будущем.
Затем используйте команду cat, чтобы просмотреть хешированный пароль в только что созданном файле:
Вы получите следующий результат:
<
«NotebookApp»: <
«password»: «sha1:your_hashed_password»
>
>
Скопируйте значение ключа password и временно сохраните его.
Итак, вы защитили среду JupyterLab паролем. На следующем этапе мы создадим сертификат Let’s Encrypt для сервера.
2: Настройка Let’s Encrypt
Давайте создадим сертификат Let’s Encrypt для своего домена. Это защитит данные при доступе к среде JupyterLab из браузера.
Сначала установите клиент Certbot. Добавьте его репозиторий в исходники apt:
sudo add-apt-repository ppa:certbot/certbot
При выполнении команды вам будет предложено нажать Enter, чтобы завершить добавление PPA:
This is the PPA for packages prepared by Debian Let’s Encrypt Team and backported for Ubuntu.
Note: Packages are only provided for currently supported Ubuntu releases.
More info: https://launchpad.net/
certbot/+archive/ubuntu/certbot
Press [ENTER] to continue or Ctrl-c to cancel adding it.
Нажмите Enter, чтобы продолжить.
После выполнения команды обновите исходники apt:
Затем установите Certbot:
sudo apt install certbot
Прежде чем вы сможете запустить Certbot для создания сертификатов, вы должны открыть трафик, поступающий через порты 80 и 443: Certbot будет использовать эти порты для проверки вашего домена. Порт 80 позволяет проверить HTTP-запросы к серверу, а порт 443 – HTTPS-запросы. Certbot сначала сделает http-запрос, а затем – после получения сертификатов для вашего сервера – он сделает https-запрос, который будет проксирован через порт 443 процессу, прослушивающему порт 80. Это подтвердит успешность установки вашего сертификата.
Сначала откройте доступ к порту 80:
Вы получите следующий вывод:
Rule added
Rule added (v6)
Затем разрешите доступ к порту 443:
sudo ufw allow 443
Rule added
Rule added (v6)
Наконец, запустите Certbot, чтобы сгенерировать сертификаты для вашего экземпляра. Для этого используйте следующую команду:
Флаг standalone запускает сервер на время процесса проверки.
Вам будет предложено ввести адрес электронной почты:
Saving debug log to /var/log/letsencrypt/letsencrypt.log
Plugins selected: Authenticator standalone, Installer None
Enter email address (used for urgent renewal and security notices) (Enter ‘c’ to
cancel): your_email
Введите действительный адрес электронной почты и нажмите Enter.
Затем Certbot попросит вас прочитать и принять условия использования Let’s Encrypt. Просмотрите условия, введите A, если вы принимаете их, и нажмите Enter:
Теперь Certbot предложит вам поделиться своей электронной почтой с Electronic Frontier Foundation. Введите свой ответ и нажмите Enter:
В конце вам нужно ввести свой домен. Укажите домен без протоколов:
Please enter in your domain name(s) (comma and/or space separated) (Enter ‘c’
to cancel): your_domain
Obtaining a new certificate
Performing the following challenges:
http-01 challenge for your_domain
Waiting for verification.
Cleaning up challenges
IMPORTANT NOTES:
— Congratulations! Your certificate and chain have been saved at:
/etc/letsencrypt/live/your_domain/fullchain.pem
Your key file has been saved at:
/etc/letsencrypt/live/your_domain/privkey.pem
Your cert will expire on 2020-09-28. To obtain a new or tweaked
version of this certificate in the future, simply run certbot
again. To non-interactively renew *all* of your certificates, run
«certbot renew»
— Your account credentials have been saved in your Certbot
configuration directory at /etc/letsencrypt. You should make a
secure backup of this folder now. This configuration directory will
also contain certificates and private keys obtained by Certbot so
making regular backups of this folder is ideal.
— If you like Certbot, please consider supporting our work by:
Donating to ISRG / Let’s Encrypt: https://letsencrypt.org/donate
Donating to EFF: https://eff.org/donate-le
Certbot выполнит проверку домена, сгенерирует для него сертификаты и ключи и сохранит их в /etc/letsencrypt/live/your_domain.
Теперь, когда вы получили сертификат Let’s Encrypt, обновите конфигурации JupyterLab.
3: Настройка JupyterLab
Теперь пора отредактировать конфигурацию JupyterLab, чтобы добавить в нее созданный только что сертификат Let’s Encrypt. Сейчас вам также понадобится пароль, который вы установили в разделе 1.
Откройте конфигурационный файл JupyterLab, /home/8host/.jupyter/jupyter_notebook_config.py:
Теперь найдите строку c.NotebookApp.certfile и обновите ее следующим образом:
.
## The full path to an SSL/TLS certificate file.
c.NotebookApp.certfile = ‘/etc/letsencrypt/live/your_domain/fullchain.pem’
.
Затем найдите переменную c.NotebookApp.keyfile и отредактируйте ее так:
.
## The full path to a private key file for usage with SSL/TLS.
c.NotebookApp.keyfile = ‘/etc/letsencrypt/live/your_domain/privkey.pem’
.
Строки c.NotebookApp.certfile и c.NotebookApp.keyfile относятся к SSL-сертификату, который будет использоваться при попытке удаленного доступа к серверу по протоколу https.
Затем перейдите к строке c.NotebookApp.ip и обновите ее следующим образом:
.
## The IP address the notebook server will listen on.
c.NotebookApp.ip = ‘*’
.
c.NotebookApp.ip определяет IP-адреса, которые могут получить доступ к JupyterLab на вашем сервере. Установите здесь подстановочный знак *, чтобы разрешить доступ к среде с любого компьютера.
Затем найдите конфигурацию c.NotebookApp.open_browser и обновите ее следующим образом:
По умолчанию JupyterLab пытается автоматически запустить сеанс браузера при запуске. Поскольку на удаленном сервере браузера нет, необходимо отключить эту настройку, чтобы избежать ошибок.
Затем перейдите к переменной c.NotebookApp.password и измените ее таким образом:
.
## Hashed password to use for web authentication.
#
# To generate, type in a python/IPython shell:
#
# from notebook.auth import passwd; passwd()
#
# The string should be of the form type:salt:hashed-password.
c.NotebookApp.password = ‘your_hashed_password’
.
JupyterLab будет использовать хешированное значение для проверки пароля, который вы вводите в своем браузере во время аутентификации.
Затем обновите запись c.NotebookApp.port:
.
## The port the notebook server will listen on.
c.NotebookApp.port = 9000
.
c.NotebookApp.port устанавливает фиксированный порт для доступа к среде выполнения JupyterLab. Так вы можете разрешить доступ только через один порт в брандмауэре ufw.
Когда вы закончите, сохраните изменения и выйдите из файла.
Теперь откройте трафик на порт 9000:
sudo ufw allow 9000
Вы получите следующий результат:
Rule added
Rule added (v6)
Теперь можно запустить JupyterLab.
4: Запуск JupyterLab
На этом этапе мы выполним тестовый запуск JupyterLab.
Сначала перейдите из текущего рабочего каталога в домашний каталог пользователя:
Теперь измените права доступа к файлам сертификатов, чтобы позволить JupyterLab использовать их. Измените права доступа к папке /etc/letsencrypt:
Затем запустите экземпляр JupyterLab:
Эта команда принимает несколько параметров. Однако мы уже внесли эти значения в конфигурации, нам не нужно указывать их в команде. Вы можете предоставить их в качестве аргументов команды, если хотите переопределить какие-то значения в конфигурационном файле.
Теперь вы можете перейти по адресу https://your_domain:9000, чтобы открыть форму входа в JupyterLab.
Если вы войдете в систему с помощью пароля, который вы установили для JupyterLab в разделе 2, вы получите доступ к интерфейсу JupyterLab.
Дважды нажмите Ctrl+C, чтобы остановить сервер JupyterLab.
На следующем этапе мы настроим системный сервис, чтобы сервер JupyterLab мог непрерывно работать в фоновом режиме.
5: Создание сервиса systemd
Давайте настроим сервис systemd, чтобы среда JupyterLab могла работать, даже если окно терминала закрыто.
sudo nano /etc/systemd/system/jupyterlab.service
Добавьте следующий код в этот файл:
Сохраните файл и выйдите из редактора, когда закончите.
Файл с расширением service автоматически регистрируется в системе как демон. Однако по умолчанию он не запускается.
Используйте команду systemctl, чтобы запустить сервис:
sudo systemctl start jupyterlab
Это запустит сервер JupyterLab в фоновом режиме. Вы можете проверить, запущен ли сервер, используя следующую команду:
sudo systemctl status jupyterlab
Вы получите следующий результат:
Теперь вы можете перейти по адресу https://your_domain:9000 в любом браузере, указать пароль и получить доступ к среде JupyterLab, запущенной на вашем сервере.
6: Автоматическое продление сертификата Let’s Encrypt
На этом этапе мы настроим автоматическое обновление SSL-сертификатов по истечении срока их действия (каждый сертификат действителен в течение 90 дней) и перезапуск сервера для загрузки новых сертификатов.
Хотя Certbot берет продление срока сертификатов на себя, он не перезагружает сервер автоматически. Чтобы настроить сервер для перезапуска с обновленными сертификатами, вам нужно добавить renew_hook в конфигурации Certbot вашего сервера.
Отредактируйте файл /etc/letsencrypt/renewal/your_domain.conf:
sudo nano /etc/letsencrypt/renewal/your_domain.conf
В конце файла поместите такую строку:
.
renew_hook = systemctl reload jupyterlab
Сохраните и закройте файл.
Запустите сухой прогон процесса обновления. Чтобы убедиться, что в файле нет ошибок и все работает.
Если команда не выдает ошибок, значит, процесс обновления Certbot успешно настроен и будет автоматически перезагружать сервер, когда срок действия сертификата приблизится к истечению.
Заключение
В этом мануале вы настроили среду JupyterLab на своем сервере и открыли удаленный доступ к ней. Среда JupyterLab обладает всеми преимуществами облачных серверов. Теперь вы можете работать над проектами, связанными с машинным обучением или наукой о данных, из любого браузера. При этом все операции по обмену данными будут защищены SSL-шифрованием.