Создать кластер Managed Kubernetes для Data Science
В кластере Managed Kubernetes можно запустить контейнер с предустановленными инструментами для машинного обучения и запустить в нем сервис Jupyter Notebook.
Контейнер можно использовать для обучения и инференса моделей при разработке приложений и работе с данными.
Список инструментов
Список пакетов в контейнере:
- PIP
- PyTorch
- TensorFlow
- Keras
- Anaconda
- Jupyter Notebook
- scikit-learn
- Numpy
- Scipy
- Pandas
- NLTK
- OpenCV
- Catboost
- XGBoost
- LightGBM
Создать кластер для Data Science
- В панели управления перейдите в раздел Облачная платформа → Kubernetes.
- Нажмите Создать кластер.
- Выберите конфигурацию группы нод с параметрами не менее 4 vCPU, 8 ГБ RAM, 20 ГБ SSD.
- Выберите остальные настройки кластера (подробнее в инструкции Создать кластер Managed Kubernetes) и нажмите Создать.
- Подключитесь к кластеру.
Запустить контейнер
Скачайте YAML-файл с конфигурацией деплоймента.
Запустите контейнер:
kubectl apply -f selectel-ml.yaml
Проверьте статус контейнера:
kubectl get pod -w
Дождитесь статуса Running — он означает, что контейнер создан и запущен:
selectel-ml 1/1 Running
Запустить Jupyter Notebook
Откройте порт для доступа к сервису:
kubectl expose deployment selectel-ml --type=LoadBalancer --name=my-service
Получите порт для подключения к серверу Jupyter:
kubectl get services
Пример ответа:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
my-service LoadBalancer 10.100.90.86 203.0.113.1 8888:31779/TCP 30sВ адресной строке браузера введите адрес из
EXTERNAL-IP
и номер порта изPORT(S)
, например203.0.113.1:8888
.Если в
EXTERNAL-IP
отображается<pending>
, выполните командуkubectl get services
через несколько минут.В открывшемся веб-интерфейсе Jupyter Notebook введите пароль по умолчанию:
9lG0eXCevt
.Опционально: смените пароль по инструкции от Jupyter Notebook.
Работа с контейнером через консоль
Настройте работу с контейнером через консоль:
kubectl exec -it [pod name] /bin/bash