Описание
Ollama — это фреймворк с открытым исходным кодом и инструмент командной строки, предназначенный для упрощения процесса запуска, управления и взаимодействия с большими языковыми моделями (БЯМ) на локальном компьютере. Ollama избавляет пользователей от сложностей, связанных с настройкой и конфигурацией оборудования, и позволяет легко загружать, запускать и настраивать модели с открытым исходным кодом (такие как Llama 3, Mistral, Gemma и Qwen), обеспечивая бесперебойную, автономную, приватную и высокоэффективную работу с локальным ИИ.
Возможности и функции приложения Ollama:
Удобный интерфейс командной строки (CLI): мощный и интуитивно понятный интерфейс командной строки, который позволяет пользователям ollama run llama3 легко загружать (вытягивать), запускать, просматривать и управлять локальными моделями с помощью простых команд (например, ).
Кастомизация с помощью Modelfile: система Modelfile (похожая на Dockerfile), которая позволяет пользователям легко создавать собственные версии моделей, изменяя системные подсказки, параметры и шаблоны.
Обширная библиотека моделей: предоставляет доступ к обширному реестру популярных моделей с открытым исходным кодом, включая Llama, Mistral, Phi, Gemma, а также мультимодальные модели, такие как LLaVA.
Локальный REST API: автоматически запускает локальный сервер API, позволяя разработчикам легко интегрировать локальные языковые модели в приложения, скрипты или сторонние пользовательские интерфейсы (например, Open WebUI).
Аппаратное ускорение: оптимизировано для высокопроизводительного локального логического вывода и по умолчанию поддерживает процессоры Apple Silicon (Metal), а также видеокарты NVIDIA (CUDA) и AMD (ROCm).
Кроссплатформенная совместимость: полностью поддерживает основные операционные системы, включая macOS, Windows и Linux, а также может быть легко развернута с помощью Docker.
Мультимодальные возможности: поддерживает мультимодальные модели, позволяя пользователям обрабатывать и анализировать изображения вместе с текстом непосредственно через командную строку или API.
Управление контекстным окном: позволяет пользователям настраивать размер контекстного окна и другие производственные параметры (например, температуру и top_p) на лету.
Системные требования:
Операционная система
Windows 10 22H2 или более поздняя версия, Home или Pro
Драйверы NVIDIA 452.39 или более поздней версии, если у вас видеокарта NVIDIA
Стек драйверов AMD ROCm v7 / HIP7 для ускорения ROCm или драйвер AMD Radeon с поддержкой Vulkan для ускорения Vulkan
Ollama 0.30.7
Скрытое содержимое могут видеть только пользователи групп(ы): Premium, Местный, Свои
