Создать кластер Managed Kubernetes для Data Science

В кластере Managed Kubernetes можно запустить контейнер с предустановленными инструментами для машинного обучения и запустить в нем сервис Jupyter Notebook.

Контейнер можно использовать для обучения и инференса моделей при разработке приложений и работе с данными.

Список инструментов

Список пакетов в контейнере:

Создать кластер для Data Science

  1. В панели управления перейдите в раздел Облачная платформа ⟶ Kubernetes.
  2. Нажмите Создать кластер.
  3. Выберите конфигурацию группы нод с параметрами не менее 4 vCPU, 8 ГБ RAM, 20 ГБ SSD.
  4. Выберите остальные настройки кластера (подробнее в инструкции Создать кластер Managed Kubernetes) и нажмите Создать.
  5. Подключитесь к кластеру.

Запустить контейнер

  1. Скачайте YAML-файл с конфигурацией деплоймента.
  2. Запустите контейнер:

    kubectl apply -f selectel-ml.yaml
  3. Проверьте статус контейнера:

    kubectl get pod -w
  4. Дождитесь статуса Running — он означает, что контейнер создан и запущен:

    selectel-ml	1/1	Running

Запустить Jupyter Notebook

  1. Откройте порт для доступа к сервису:

    kubectl expose deployment selectel-ml --type=LoadBalancer --name=my-service
  2. Получите порт для подключения к серверу Jupyter:

    kubectl get services

    Пример ответа:

    NAME       TYPE          CLUSTER-IP      EXTERNAL-IP     PORT(S)         AGE
    my-service LoadBalancer  10.100.90.86    203.0.113.1     8888:31779/TCP  30s
  3. В адресной строке браузера введите адрес из EXTERNAL-IP и номер порта из PORT(S), например 203.0.113.1:8888.

  4. Если в EXTERNAL-IP отображается <pending>, выполните команду kubectl get services через несколько минут.

  5. В открывшемся веб-интерфейсе Jupyter Notebook введите пароль по умолчанию: 9lG0eXCevt.

  6. Опционально: смените пароль по инструкции от Jupyter Notebook.

Работа с контейнером через консоль

Настройте работу с контейнером через консоль:

kubectl exec -it [pod name] /bin/bash