Данный документ описывает способы развертывание сторонних ML-сервисов для интеграции c PACS OneCell.
Способ и детали интеграции прорабатываются индивидуально с каждым производителем ML-сервисов.
Вся инфраструктура OneCell разворачивается в Kubernetes, поэтому все процессы деплоя, масштабирования, резервирования и обслуживание осуществляется централизовано DevOps инженерами команды OneCell.
В этом случае ML-сервис упаковывается в Docker-контейнер и передается команде OneCell. В данном случае разработчик ML-сервиса самостоятельно решает вопросы по безопастности кода внутри Docker-контейнера. Команда OneCell может дать рекомендации по защите кода, моделей, весов и т.д.
Деплой, масштабирование и обслуживание сервиса остается на стороне OneCell. Команда OneCell отвечает за выполнение SLA.
В данном подходе доступен весь пул серверных мощностей для вычислений и при необходимости ML-сервис может быть автоматически отмасштабирован в десятках экземплярах на десятках видеокарт, для быстрой обработки большого потока изображений.
Один из серверов, выделяется под развертывание ML-сервиса.
Разработчик ML сервиса самостоятельно деплоит ML-сервис на выделенном сервере/виртуалке. Деплой и обслуживание сервиса остается на стороне разработчика ML сервиса. Команда OneCell не отвечает за выполнение SLA.
При текущем подходе ресурсы будут ограничены одним физическим или виртульным сервером, и нельзя будет отмасштабировать сервис.
Вне зависимости от способа развертывания, для интеграции используется универсальный API описанный в документе ML Service API.
В рамках интеграции разработчик ML сервисов согласовывает с OneCell: