Llama.cpp
Портируемый локальный движок инференса для квантованных языковых моделей на ноутбуках, серверах и рабочих станциях. Модель и оборудование предоставляете вы.
Настройка: Нужно выполнить установку или настройку по официальной документации; модель и инфраструктура могут потребовать отдельной подготовки.


