GPUshka

Ваш личный ChatGPT: Сервер с Ollama для локального запуска LLM

Этот шаблон позволяет в один клик развернуть сервер с Ollama — популярным инструментом для простого и быстрого запуска больших языковых моделей (LLM). В комплекте идет OpenAI-совместимый веб-интерфейс, что позволяет вам общаться с моделями в привычном формате чата. Получите полный контроль над вашими данными и экспериментами.

Что можно делать с Ollama?

  • Загружайте популярные модели, такие как `Llama 3`, `Mixtral`, `Phi-3`, `Gemma` и десятки других.
  • Создавайте чат-ботов, которые могут отвечать на вопросы по вашим документам.
  • Адаптируйте открытые модели под свои специфические задачи.
  • Используйте встроенный OpenAI-совместимый API для интеграции LLM в ваши продукты.
  • Обрабатывайте чувствительные данные на изолированном сервере.

Рекомендуемые GPU:

  • Для моделей до 13B (Llama 3 8B, Phi-3): L4, RTX 3090/4090.
  • Для моделей до 70B (Llama 3 70B, Mixtral): L40S или A100 80GB.
  • Эра триллионных моделей: H200 и B200 для запуска самых больших открытых моделей и создания сервисов с максимальной пропускной способностью.
Выбрать сервер для Ollama

Другие инструменты для LLM

Изучите альтернативные способы запуска и использования языковых моделей.

  • vLLM

    Альтернативный движок для инференса с фокусом на максимальную производительность.

  • DeepSeek LLM

    Одна из популярных моделей, которую легко запустить через Ollama.

  • Phi-3-Mini

    Компактная модель, также доступная в библиотеке Ollama.