Локальная нейронка на llama.cpp
Ресурсы: - LM Studio: https://lmstudio.ai/ - Ollama: https://ollama.com/ - Заметка "Ollama в Podman": https://tsb99x.github.io/notes/ollama-in-podman.html - Заметка "Open WebUI в Podman": https://tsb99x.github.io/notes/open-webui-in-podman.html - llama.cpp на GitHub: https://github.com/ggml-org/llama.cpp - Gemma 4 от Unsloth: https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF Эпизоды: - 00:00 Вступление - 02:02 Про LM Studio - 03:30 Про Ollama - 04:36 Ollama и Open WebUI - 05:50 Про llama.cpp - 07:00 Новый UI в llama.cpp - 07:40 Поддерживаемые API - 09:15 О релизах llama.cpp - 11:11 Про тестовую модель - 12:00 Демо - 13:45 llama-cli - 15:23 llama-bench - 16:27 llama-server и UI - 18:55 Спасибо за внимание!
Ресурсы: - LM Studio: https://lmstudio.ai/ - Ollama: https://ollama.com/ - Заметка "Ollama в Podman": https://tsb99x.github.io/notes/ollama-in-podman.html - Заметка "Open WebUI в Podman": https://tsb99x.github.io/notes/open-webui-in-podman.html - llama.cpp на GitHub: https://github.com/ggml-org/llama.cpp - Gemma 4 от Unsloth: https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF Эпизоды: - 00:00 Вступление - 02:02 Про LM Studio - 03:30 Про Ollama - 04:36 Ollama и Open WebUI - 05:50 Про llama.cpp - 07:00 Новый UI в llama.cpp - 07:40 Поддерживаемые API - 09:15 О релизах llama.cpp - 11:11 Про тестовую модель - 12:00 Демо - 13:45 llama-cli - 15:23 llama-bench - 16:27 llama-server и UI - 18:55 Спасибо за внимание!