Как установить библиотеку anaconda
Как настроить среду Python для машинного обучения и глубокого обучения с Anaconda
Дата публикации 2017-03-13
На некоторых платформах может быть сложно установить среду машинного обучения Python.
Сначала должен быть установлен сам Python, а затем нужно установить много пакетов, и это может сбить с толку новичков.
В этом руководстве вы узнаете, как настроить среду разработки машинного обучения Python с помощью Anaconda.
После завершения этого урока у вас будет работающая среда Python для начала обучения, практики и разработки программного обеспечения для машинного обучения и глубокого обучения.
Эти инструкции подходят для платформ Windows, Mac OS X и Linux. Я продемонстрирую их на OS X, так что вы можете увидеть некоторые диалоговые окна Mac и расширения файлов.
обзор
В этом уроке мы рассмотрим следующие шаги:
1. Скачать Анаконду
На этом этапе мы загрузим пакет Anaconda Python для вашей платформы.
Это загрузит пакет Anaconda Python на вашу рабочую станцию.
Я на OS X, поэтому я выбрал версию OS X Файл составляет около 426 МБ.
У вас должен быть файл с именем вроде:
2. Установите Анаконду
На этом этапе мы установим программное обеспечение Anaconda Python в вашей системе.
Этот шаг предполагает, что у вас достаточно прав администратора для установки программного обеспечения в вашей системе.
Установка быстрая и безболезненная.
Здесь не должно быть каверзных вопросов или спорных моментов.
Установка должна занять менее 10 минут и занять чуть более 1 ГБ места на жестком диске.
3. Запустите и обновите Anaconda
На этом этапе мы подтвердим, что ваша среда Anaconda Python обновлена.
Anaconda поставляется с набором графических инструментов под названием Anaconda Navigator. Вы можете запустить Anaconda Navigator, открыв его из панели запуска приложений.
Позже вы сможете использовать Anaconda Navigator и графические среды разработки; на данный момент я рекомендую начать со среды командной строки Anaconda, которая называетсяКонда,
Вы должны увидеть следующее (или что-то подобное):
Вы должны увидеть следующее (или что-то подобное):
Если команды не работают или имеют ошибку, пожалуйста, проверьте документацию для справки для вашей платформы.
См. Некоторые ресурсы в разделе «Дальнейшее чтение».
Возможно, вам придется установить некоторые пакеты и подтвердить обновления.
В приведенном ниже сценарии будет напечатан номер версии ключевых библиотек SciPy, необходимых для разработки машинного обучения, а именно: SciPy, NumPy, Matplotlib, Pandas, Statsmodels и Scikit-learn.
Вы можете ввести «python» и ввести команды напрямую. В качестве альтернативы я рекомендую открыть текстовый редактор и скопировать скрипт в свой редактор.
Сохраните скрипт как файл с именем:versions.py,
В командной строке перейдите в каталог, в котором вы сохранили скрипт, и введите:
Вы должны увидеть результат, подобный следующему:
Какие версии вы получили?
Вставьте вывод в комментариях ниже.
4. Обновление Scikit-Learn Library
На этом этапе мы обновим основную библиотеку, используемую для машинного обучения в Python, под названием scikit-learn.
На момент написания статьи версия Scikit-Learn, поставляемая с Anaconda, устарела (0.17.1 вместо 0.18.1). Вы можете обновить определенную библиотеку, используя команду conda; ниже приведен пример обновления scikit-learn до последней версии.
На терминале введите:
Кроме того, вы можете обновить библиотеку до определенной версии, набрав:
Убедитесь, что установка прошла успешно, и scikit-learn был обновлен путем повторного запускаверсии руСценарий, набрав:
Вы должны увидеть результат, подобный следующему:
Какие версии вы получили?
Вставьте вывод в комментариях ниже.
Вы можете использовать эти команды для обновления машинного обучения и библиотек SciPy по мере необходимости.
Попробуйте учебник scikit-learn, например:
5. Установите библиотеки глубокого обучения
На этом этапе мы установим библиотеки Python, используемые для глубокого изучения, а именно: Theano, TensorFlow и Keras.
НОТА: Я рекомендую использовать Keras для глубокого изучения, а для Keras требуется только установить один из Theano или TensorFlow. Вам не нужны оба! Могут быть проблемы с установкой TensorFlow на некоторых компьютерах с Windows.
Кроме того, вы можете выбрать установку с использованием pip и конкретной версии tenorflow для вашей платформы.
Создайте сценарий, который печатает номера версий каждой библиотеки, как мы делали это ранее для среды SciPy.
Сохраните скрипт в файлdeep_versions.py, Запустите скрипт, набрав:
Вы должны увидеть результат как:
Какие версии вы получили?
Вставьте свой вывод в комментариях ниже.
Попробуйте учебное пособие по глубокому обучению Keras, например:
Дальнейшее чтение
В этом разделе приведены ссылки для дальнейшего чтения.
Резюме
Поздравляем, теперь у вас есть рабочая среда разработки Python для машинного обучения и глубокого обучения.
Теперь вы можете изучать и практиковать машинное обучение и глубокое обучение на своей рабочей станции.
Как же вы идете?
Позвольте мне знать в комментариях ниже.
Использование Anaconda и создание собственных Python окружений
Для выполнения расчетов с помощью Python, как правило, требуются дополнительные библиотеки. Оптимальным способом загрузки дополнительных библиотек на вычислительном кластере НИУ ВШЭ является использование программного пакета Anaconda. Это удобный менеджер пакетов Python, предназначенный для создания изолированных окружений Python и автоматического разрешения зависимостей. На суперкомпьютере уже имеется базовая конфигурация Anaconda, которую можно подключить следующей командой:
module load Python/Anaconda_v11.2020
После подключения этого модуля становятся доступными для использования большинство наиболее популярных библиотек Python, в том числе pytorch, tensorflow.
Полный список базовых библиотек можно посмотреть следующей командой: conda list
Установка других пакетов или обновление версий в базовом окружении невозможна.
Далее необходимо задействовать созданное окружение: source activate my_py_env1
После активации в приглашении терминала появится префикс с именем окружения: (my_py_env1) [testuser@sms
Для вывода списка доступных окружений используйте команду conda env list
Для установки необходимых пакетов используйте команду conda install, например, для установки последней версии NumPy: conda install numpy
С помощью команды conda search выполняется поиск пакетов в репозиториях Anaconda: conda search keras
Отключить окружение (например, для выбора другого): conda deactivate
Для подключения окружения к ноутбукам в JupyterHub установите соответствующее ядро (см. https://github.com/jupyter/jupyter/wiki/Jupyter-kernels).
Например, для Python необходимо установить ядро ipykernel: conda install ipykernel
Настройка окружения Python для работы с GPU на вычислительных узлах
Пример sbatch-скрипта
Примечание для расчетов на python с выводом в терминал
Важное примечание для расчетов на python, результаты которых отображаются в выводе!
По умолчанию python использует буфферизованный вывод (т.е. вывод НЕ мгновенно передается в результирующий файл).
Например, в случае такого кода:
Знакомство с Anaconda: что это такое и как установить
Простое руководство по Anaconda и его установке на Ubuntu 16.04 (64-bit).
May 21, 2019 · 4 min read
Что такое Anaconda?
Перед тем, как изучать Anaconda, рассмотрим Conda.
Цитируем определение Conda с официального блога:
Conda — это менеджер пакетов с открытым кодом и система управления средой, которая работает на Windows, macOS и Linux.
Conda проста в установке, выполнении и обновлении пакетов и зависимостей. Conda легко создает, сохраняет, загружает и переключается между средами на локальном компьютере.
Возникает вопрос: почему вдруг речь зашла о Conda? Все мы знаем, что это система управления пакетами, которая используется для установки и управления пакетов приложений, написанных на Python.
Система имеет и свои ограничения. Ей можно пользоваться только для пакетов Python.
pip работает с Python и пренебрегает зависимостями из не-Python библиотек (HDF5, MKL, LLVM), в исходном коде которых отсутствует файл установщика.
Проще говоря, pip – это менеджер пакетов, который облегчает установку, обновление и удаление пакетов Python. Он работает с виртуальными средами Python.
Conda – это менеджер пакетов для любого программного обеспечения (установка, обновление, удаление). Он работает с виртуальными системными средами.
Кроме того, Conda создает виртуальную среду.
Как возникла Anaconda?
Conda написан на чистом Python, что облегчает его использование в виртуальных средах Python. Кроме того, Conda подходит для библиотек С, пакетов R, Java и т.д.
Он устанавливает двоичные системы. Инструмент conda build создает пакеты из исходного кода, а conda install выполняет установку из пакетов сборки Conda.
Conda является менеджером пакетов для Anaconda — дистрибутива Python, предоставляемого Continuum Analytics. Емкое описание Anaconda следующее:
Anaconda — это дистрибутивы Python и R. Он предоставляет все необходимое для решения задач по анализу и обработке данных (с применимостью к Python).
Anaconda — это набор бинарных систем, включающий в себя Scipy, Numpy, Pandas и их зависимости.
Scipy — это пакет статистического анализа.
Numpy — это пакет числовых вычислений.
Pandas — уровень абстракции данных для объединения и преобразования данных.
Anaconda полезна тем, что объединяет все это в единую систему.
Двоичная система Anaconda — это установщик, который собирает все пакеты с зависимостями внутри вашей системы.
Простая установка
Установка файлов иногда превращается в сущий ад. Но Anaconda куда проще, чем кажется. Я предпочитаю Ubuntu, поскольку здесь установка зависит от выполнения пары команд и хорошего сетевого подключения. Поэтому все становится еще проще. Вот дальнейшие шаги для установки Anaconda.
(Данный процесс подойдет только для 64-битных компьютеров).
Шаг 1: скачивание bash-скрипта Anaconda
Скачать последнюю версию bash-скрипта установщика Anaconda можно с официального сайта. Это можно сделать через выполнение команды curl. Если в вашей системе не установлен curl, то скачайте его через следующую команду.
Перейдите в папку /tmp.
После установки curl выполните следующую команду:
Размер файла — порядка 500 МБ, поэтому установка обычно занимает несколько минут. Пожалуйста, дождитесь полного скачивания файла.
Этот скриншот был сделан после скачивания скрипта. Убедитесь в стабильности сетевого подключения. В противном случае могут возникнуть ошибки при скачивании.
Шаг 2: проверка целостности
Для проверки целостности данных установщика воспользуемся криптографическим алгоритмом хеширования под названием SHA-2 (алгоритм безопасного хеширования).
Контрольная сумма генерируется следующей строкой после выполнения команды.
Шаг 3: запуск bash-скрипта
Мы почти закончили. Пакет загрузился. Теперь осталось запустить скрипт через нужную команду.
Шаг 4: установка криптографических библиотек
Это часть предыдущего процесса. Установщик спрашивает у пользователя, хочет ли он установить все криптографические библиотеки. Введите yes и можете продолжать. Ориентируйтесь по скриншоту ниже – вы увидите примерно ту же информацию.
Шаг 5: подтверждение папки
Последним и итоговым шагом является подтверждение папки, куда будут выгружаться все пакеты Anaconda. Укажите путь, нажмите Enter и готово! Anaconda начнет творить чудеса, устанавливая все, что вам нужно!
Шаг 6: активация и проверка
Для активации установки нужно получить файл
/.bashrc через следующую команду:
Вы увидите данные по всем пакетам, доступным с установкой Anaconda.
Инструкция по Anaconda & Conda. Как управлять и настроить среду для Python?
Среды Conda помогает управлять зависимостями и изолировать проекты. Также среды conda не зависят от языка, т.е. они поддерживают языки, отличные от Python.
В этом руководстве мы рассмотрим основы создания и управления средами Conda для Python
Conda vs. Pip vs. Venv — в чем разница?
venv создает изолированные среды только для разработки на Python, а conda может создавать изолированные среды для любого поддерживаемого языка программирования.
Примите во внимание, что pip устанавливает только пакеты Python из PyPI, с помощью conda можно
Что такое Anaconda? Обо всем по порядку…
Anaconda — это дистрибутивы Python и R. Он предоставляет все необходимое для решения задач по анализу и обработке данных (с применимостью к Python).
Anaconda — это набор бинарных систем, включающий в себя Scipy, Numpy, Pandas и их зависимости.
Что такое Анаконда Навигатор?
Anaconda Navigator — это графический интерфейс пользователя на рабочем столе (GUI), включенный в дистрибутив Anaconda, который позволяет запускать приложения и легко управлять пакетами, средами и каналами conda без использования команд командной строки. Навигатор может искать пакеты в Anaconda Cloud или в локальном репозитории Anaconda. Он доступен для Windows, MacOS и Linux.
Зачем использовать Навигатор?
Для запуска многие научные пакеты зависят от конкретных версий других пакетов. Исследователи данных часто используют несколько версий множества пакетов и используют несколько сред для разделения этих разных версий.
Программа командной строки conda является одновременно менеджером пакетов и менеджером среды. Это помогает специалистам по данным гарантировать, что каждая версия каждого пакета имеет все необходимые зависимости и работает правильно.
Navigator — это простой и удобный способ работы с пакетами и средами без необходимости вводить команды conda в окне терминала. Вы можете использовать его, чтобы найти нужные вам пакеты, установить их в среде, запустить пакеты и обновить их — все в Navigator.
Почему Вам могут потребоваться несколько сред Python?
Когда Вы начинаете изучать Python, Вы устанавливаете самую новую версию Python с последними версиями библиотек (пакетов), которые Вам нужны или с которыми Вы хотите поэкспериментировать.
Когда Вы постигните азы Python и загрузите приложения Python из GitHub, Kaggle или других источников. Этим приложениям могут потребоваться другие версии библиотек (пакетов) Python, чем те, которые Вы в настоящее время используете (прошлые версии пакетов или прошлые версии Python).
В этом случае Вам необходимо настроить различные среды.
Помимо этой ситуации, есть и другие варианты использования, когда могут оказаться полезными дополнительные среды:
Каналы — это места хранилищ, где Conda ищет пакеты. Каналы существуют в иерархическом порядке. Канал с наивысшим приоритетом является первым, который проверяет Conda в поисках пакета, который вы просили. Вы можете изменить этот порядок, а также добавить к нему каналы (и установить их приоритет).
Рекомендуется добавлять канал в список каналов как элемент с самым низким приоритетом. Таким образом, вы можете включить «специальные» пакеты, которые не являются частью тех, которые установлены по умолчанию (каналы
Continuum). В результате вы получите все пакеты по умолчанию — без риска перезаписи их по каналу с более низким приоритетом — И тот «специальный», который вам нужен.
Создание новой среды в Anaconda Navigator
Для создания новой среды, нажимаем пункт Environments, а затем Create:
Далее указываем наименование среды и выбираем версию Python:
Добавление нового канала в Anaconda Навигаторе
Как начать работу в новой среде Conda?
Итак, Вы создали среду, указали дополнительные каналы, установили необходимые пакеты (библиотеки). Теперь необходимо в Анаконда Навигаторе перейти на вкладку Home и инсталлировать в определенную среду те компоненты, которые Вы хотите использовать.
Например, последовательно установим 2 компонента Jupyter Notepad и Spyder. Для компонентов также имеются каналы, откуда скачиваются для инсталляции ПО.
После инсталляции станут доступны кнопки Launch — Запустить компонент для работы в среде.
Запустим для примера Spyder:
Настройка среды для Spyder
1. Настройка интерпретатора
Настройка директории
Как открыть Jupyter Notebook в новой среде MyNewEnvironmentName
Для того, чтобы запустить Jupyter Notebook в созданной среде MyNewEnvironmentName, в пуске находим Anaconda3 и запускаем блокнот с названием среды:
Появится консольное окошко — это движок Jupyter Notebook, который работает в фоновом режиме:
В Jupyter запускаем Python 3:
Для того, чтобы убедиться в какой среде мы работаем, можно вбить ряд команд (ниже приведен текст этих команд для Python 3):
Узнать среду, в которой работает Jupyter Notebook:
Получить список модулей, доступных в Env:
Anaconda3 Prompt cmd Conda Command — Запуск команд через консоль
Для того, чтобы использовать команды conda через командную строку (cmd), необходимо запустить программу Anaconda Prompt (Anaconda3)
Можете набрать две команды (в качестве проверки работы conda):
Установка новой библиотеки (пакета) в среду
Пакеты управляются отдельно для каждой среды. Изменения, которые вы вносите в пакеты, применяются только к активной среде.
Исполняемые файлы в среде Conda
Видео по Anaconda Youtube
Использование Anaconda с Doker
Anaconda со своей изолированной средой для пакетов Data Science Python и технологией контейнеров Docker создает отличную комбинацию для масштабируемых, воспроизводимых и переносимых развертываний данных.
Вы можете использовать Anaconda с Docker для создания контейнеров и обмена вашими приложениями для обработки данных внутри вашей команды. Совместные рабочие процессы по обработке данных с Anaconda и Docker максимально упрощают переход от разработки к развертыванию.
Jupyter Notebook: цифровая лабораторная тетрадь
Для обеспечения воспроизводимости исследований необходимо регистрировать все, что вы делаете. Это достаточно обременительно, особенно если вы просто хотите просто поэкспериментировать и выполнить специальный анализ.
Отличный инструмент для экспериментов — Jupyter Notebook. Интерактивный интерфейс программирования позволяет мгновенно проверять действия, выполняемые кодом, благодаря чему можно создавать алгоритмы шаг за шагом. Более того, вы можете использовать ячейки Markdown для записи своих идей и выводов одновременно с кодом.
Conda
Управление пакетами, зависимостями и средой для любого языка — Python, R, Ruby, Lua, Scala, Java, JavaScript, C / C ++, FORTRAN и других.
Conda — это система управления пакетами с открытым исходным кодом и система управления средой, работающая в Windows, macOS и Linux. Conda быстро устанавливает, запускает и обновляет пакеты и их зависимости. Conda легко создает, сохраняет, загружает и переключается между средами на вашем локальном компьютере. Он был создан для программ Python, но он может упаковывать и распространять программное обеспечение для любого языка.
Conda как менеджер пакетов поможет вам найти и установить пакеты. Если вам нужен пакет, для которого требуется другая версия Python, вам не нужно переключаться на другой менеджер среды, потому что conda также является менеджером среды. С помощью всего лишь нескольких команд вы можете настроить совершенно отдельную среду для запуска этой другой версии Python, продолжая при этом запускать вашу обычную версию Python в обычной среде.
В конфигурации по умолчанию conda может устанавливать и управлять тысячами пакетов на repo.anaconda.com, которые создаются, проверяются и поддерживаются Anaconda.
Conda может быть объединена с системами непрерывной интеграции, такими как Travis CI и AppVeyor, чтобы обеспечить частое автоматическое тестирование вашего кода.
Пакет conda и менеджер среды включены во все версии Anaconda и Miniconda.
Команды Conda
Управление Conda и Anaconda
Убедитесь, что conda установлена, проверьте версию #
Обновление пакета conda и менеджера среды
Обновите метапакет анаконды (anaconda)
Управление средами — Managing Environments
Получить список всех моих окружений. Активная среда показана с *
Создать среду и установить программу (ы)
Активируйте новую среду, чтобы использовать ее
Дезактивировать окружающую среду
Создайте новую среду, укажите версию Python
Сделать точную копию окружения
Сохранить текущую среду в файл
Загрузить среду из файла
Управление Python
Проверьте версии Python, доступные для установки
Установите другую версию Python в новой среде
Добавьте новое значение в каналы, чтобы conda искала пакеты в этом месте
Управление пакетами (Packages), включая Python
Просмотр списка пакетов и версий, установленных в активной среде
Найдите пакет, чтобы узнать, доступен ли он для установки conda.
Установите новый пакет. ПРИМЕЧАНИЕ. Если вы не укажете имя среды, оно будет установлено в текущей активной среде.
Обновить пакет в текущей среде
Поиск пакета в определенном месте (канал pandas на Anaconda.org)
Установить пакет из определенного канала
Найдите пакет, чтобы узнать, доступен ли он в репозитории Anaconda.
Установить коммерческие пакеты Continuum
Создайте пакет Conda из пакета Python Index Index (PyPi)
Удаление Пакетов (Packages) или Сред (Environments)
Удалить один пакет из любой именованной среды