ONNX Runtime, OpenVINO и TVM: обзор инструментов для ускорения ML-моделей
|
|
Вторник, 01 Ноября 2022 г. 17:00
+ в цитатник
Большинство вычислений при работе ML-моделей — матричные. Для работы с ними подходят
Tensor и
CUDA — специальные графические ядра, интегрированные в GPU. Это дает видеокартам преимущества перед CPU в машинном обучении. Однако они стоят дороже. Если нужно развернуть инференс на процессоре, есть компромисс — использовать инструменты для оптимизации.
По мотивам
выступления Артема Земляка, инженера-программиста Smart Consulting, рассказываем о том, какие фреймворки лучше использовать для эффективного продакшена ML-сервисов. Подробности под катом.
Читать дальше → https://habr.com/ru/post/696782/?utm_source=habrahabr&utm_medium=rss&utm_campaign=696782
Метки:
Блог компании Selectel
Высокая производительность
Искусственный интеллект
машинное обучение
selectel
cpu
нейронные сети
openvino
onnxruntime
tvm
-
Запись понравилась
-
0
Процитировали
-
0
Сохранили
-