TensorFlow
Разработанный компанией Google фреймворк глубокого обучения TensorFlow, без сомнения, – популярнейший инструмент для обучения нейросетей. Google активно использует собственный фреймворк для таких крупномасштабных сервисов, как Gmail и Google Translate. TensorFlow применяют такие бренды, как Uber, Airbnb, Xiaomi, Dropbox и другие.
- С помощью TensorFlow можно визуализировать отдельные части нейросети.
- Модули Tensorflow можно делать автономными.
- TensorFlow позволяет проводить обучение нейросетей и на CPU, и на GPU.
- Конвейерный процесс обучения.
- Большая команда постоянно работает над улучшением стабильности и новыми функциями.
Scikit-Learn
Популярная библиотека машинного обучения Scikit-Learn написана на Python , C и C ++. С амый распространенный выбор для решения классических задач машинного обучения. Используется и в промышленных системах, и в научных исследованиях.
- Широкий выбор алгоритмов обучения с учителем и без учителя.
- Scikit-learn специализируется исключительно на алгоритмах машинного обучения . В задачи библиотеки не входит загрузка, обработка, манипуляция данными и их визуализация.
- Большое сообщество и подробная документация.
NumPy
NumPy – одна из самых популярных библиотек Python, применяемых для машинного обучения. TensorFlow и другие библиотеки используют ее «внутри себя» для выполнения операций с многомерными массивами.
Математические алгоритмы, реализованные на интерпретируемых языках (Python), часто работают гораздо медленнее тех же алгоритмов, реализованных на компилируемых языках. Библиотека NumPy предоставляет реализации вычислительных алгоритмов, оптимизированные для работы с многомерными массивами.
Keras
Keras – идеальный выбор, если нужно быстро и просто собрать модель глубокого обучения. П редставляет собой надстройку над фреймворками TensorFlow и Theano. Библиотека нацелена на оперативную работу с сетями глубинного обучения, при этом спроектирована так, чтобы быть компактной, модульной и расширяемой. Keras предоставляет высокоуровневый, интуитивный набор абстракций, который делает простым формирование нейронных сетей, независимо от используемой в качестве вычислительного бэкенда библиотеки научных вычислений.
- Отлично работает как на CPU, так и на GPU.
- Поддерживает практически все модели нейронных сетей, которые могут быть объединены для построения более сложных моделей.
- Платформа полностью написана на Python, то есть можно использовать стандартные инструменты отладки.
PyTorch
PyTorch – один из лучших вариантов для работы с нейросетями, давний конкурент TensorFlow. Разрабатывается преимущественно группой искусственного интеллекта Facebook. Именно PyTorch использовался в качестве фреймворка глубокого обучения в статье Генеративно-состязательная нейросеть: ваша первая GAN-модель.
- Простая поддержка GPU.
- В GPU-режиме PyTorch обеспечивает качественную оптимизацию, есть рантайм-среда с API на C++ .
- Поддержка асинхронного выполнения вычислений.
- Прямой доступ к платформам, визуализаторам и средам выполнения на базе ONNX .
LightGBM
LightGBM – это фреймворк на основе градиентного бустинга – одного из самых популярных алгоритмов в соревнованиях Kaggle. Градиентный бустинг – это техника машинного обучения для задач классификации и регрессии, которая строит модель предсказания в форме ансамбля предсказывающих моделей, обычно деревьев решений.
- Быстрая скорость обучения и высокая эффективность.
- Низкое потребление памяти.
- Поддержка параллельных вычислений и расчетов на GPU.
- Можно работать с большими объемами данных.
Pandas
Pandas – библиотека, предоставляющая высокоуровневые структуры для работы с данными и широкий спектр инструментов для их анализа. Библиотека позволяет выполнять множество сложных команд с небольшим количеством кода: сортировка и группировка данных, работа с недостающими данными, временными рядами и т. д. Все данные представляются в виде таблиц датафреймов.
SciPy
SciPy п редназначена для выполнения научных и инженерных расчётов , в том числе задач машинного обучения.
- Возможности: поиск минимумов и максимумов функций, вычисление интегралов, поддержка специальных функций, обработка сигналов и изображений, решение дифференциальных уравнений и др.
- SciPy тесно связан с NumPy, так что NumPy-массивы поддерживаются по умолчанию.
- Библиотека SciPy может взаимодействовать с PyTables – иерархической базой данных, разработанной для управления большими объёмами данных в файлах формата HDF5.
Eli5
Eli5 – это библиотека Python для визуализации и отладки моделей машинного обучения с помощью унифицированного API. Имеется встроенная поддержка нескольких ML-фреймворков и библиотек : упоминавшихся выше scikit-learn, Keras, LightGBM, а также XGBoost, lightning и CatBoost.
NLTK
NLTK – пакет библиотек и программ для символьной и статистической обработки естественного языка. Сопровождается обширной документацией, включая книгу с объяснением концепций, стоящих за задачами обработки естественного языка, которые можно выполнять с помощью данного пакета.
Pillow
Pillow – улучшенная версия библиотеки изображений PIL (Python Image Library). Поддерживает разнообразные типы файлов: PDF, WebP, PCX, PNG, JPEG, GIF, PSD, WebP, PCX, GIF, IM, EPS, ICO, BMP и другие. Есть множество инструментов фильтрации, которые можно использовать для задач компьютерного зрения.
Мы рассмотрели подборку полезностей, которую активно используют специалисты машинного обучения, знатоки нейросетей и прочих направлений Data Science. Если вам интересна наука о данных, обратите внимание на наши публикации по тегу Data Science.