Microsoft Phi-3-Mini: Компактный LLM-гений на vLLM
Этот шаблон предоставляет доступ к Phi-3-Mini, революционной компактной языковой модели от Microsoft, работающей на базе высокоскоростного движка vLLM. Получите производительность, сравнимую с гораздо более крупными моделями, при значительно меньших требованиях к ресурсам GPU.
Преимущества Phi-3-Mini на vLLM:
- Идеально подходит для интерактивных чат-ботов и приложений, требующих низкую задержку.
- Требует меньше видеопамяти, что позволяет запускать ее на более доступных GPU.
- Несмотря на размер, модель демонстрирует впечатляющие способности в логике, кодинге и следовании инструкциям.
- vLLM предоставляет OpenAI-совместимый API для простой интеграции.
Рекомендуемые GPU:
Связанные LLM решения
Изучите другие популярные модели и инструменты для работы с ними.
- Запуск LLM на vLLM
Узнайте больше о высокоскоростном движке для инференса.
- Ollama
Простой способ запустить Phi-3 и другие модели.
- DeepSeek LLM 7B
Популярная альтернативная модель в компактном классе.