Перетяжка, Премия ТПрогер, 13.11
Перетяжка, Премия ТПрогер, 13.11
Перетяжка, Премия ТПрогер, 13.11
Написать пост
Сервисы
Сервисы

Материалы для программистов на тему «Сервисы»

Виктория Эберт для Tproger

Как встроить локальную LLM в прод: от выбора модели до мониторинга токенов

Локальный прод делает нас независимыми от внешних API: капризы провайдеров, модерация, отключения или апдейты моделей больше не ломают воркфлоу. Но хайп вокруг локальных моделей часто разбивается о суровую реальность стоимости железа и поддержки. Разбираемся, из чего состоит инфраструктура прода для локальных LLM, что важнее — размер модели или TPS и какие метрики нужно вывести на дашборд, чтобы ничего не упало.

Как встроить локальную LLM в прод: от выбора модели до мониторинга токенов
8676
Дмитрий Важенин

Топ-10 мифов о публичных облаках

Разбираем 10 самых живучих мифов про публичные облака, от цены и безопасности до vendor lock in и надежности. Что правда, что нет, и как принять решение без эмоций.

Топ-10 мифов о публичных облаках
1779
Tproger

Инференс любой модели по API теперь доступен в РФ. Что такое Evolution AI Factory от Cloud.ru

Cloud.ru открыл для коммерческого использования среду для работы с GenAI. То есть теперь можно быстро развёртывать нужные модели на инфраструктуре российского облачного провайдера. Рассказываем, что внутри.

Инференс любой модели по API теперь доступен в РФ. Что такое Evolution AI Factory от Cloud.ru
3187