Запускайте LLM-ы в Kubernetes с помощью LLMKube.

Моя дорожная карта DevOps 👉🏽 https://marceldempers.dev Patreon 👉🏽https://patreon.com/marceldempers Ознакомьтесь с исходным кодом ниже 👇🏽 и следите за обновлениями 🤓 Также, если вы хотите поддержать канал, станьте участником 😎 https://marceldempers.dev/join Посмотрите также "Сообщество DevOps" https://marceldempers.dev/community Исходный код 🧐 https://github.com/marcel-dempers/docker-development-youtube-series Ставьте лайки и подписывайтесь, чтобы получать больше :) Подписывайтесь на меня в социальных сетях! GitHub | https://github.com/marcel-dempers LinkedIn | https://www.linkedin.com/in/marceldempers Музыка: Трек: souKo - souKo - Parallel | Лицензия Creative Commons Attribution (https://creativecommons.org/licenses/by/3.0/) Слушать: https://soundcloud.com/soukomusic/parallel Временные метки: 00:00 Вступление 00:03 llama.cpp 01:12 Что такое llm-kube 01:42 Определение моделей в формате YAML 02:19 Создание кластера k8s 02:41 Документация 03:56 Установка llm-kube 04:23 Проверка установки 04:45 Новые CRD 05:39 Модель 06:48 InferenceService 07:58 Под капотом 09:33 Тестирование/использование нашей модели 10:07 Конечная точка OpenAI (OpenCode) 11:10 Исходный код 11:35 Заключение