Как повторить
- Нужен Mac на Apple Silicon (M1 и новее), около 9 ГБ на диске и минимум 16 ГБ памяти. На 8 ГБ модель не поместится. Для Windows, Linux и видеокарт NVIDIA смотрите шаг 7.
- Создайте отдельное виртуальное окружение. Зависимости модели жёстко фиксируют версии (mlx 0.32.0, mlx-vlm 0.6.3, transformers 5.5.0) и перезапишут уже установленные.
python3 -m venv .venv-bonsai
source .venv-bonsai/bin/activate
pip install -U huggingface_hub- Скачайте веса. Аккаунт на Hugging Face не нужен.
hf download prism-ml/Ternary-Bonsai-2-27B-mlx-2bit --local-dir bonsai2-27b-mlx- Поставьте зависимости из пакета. Обычные загрузчики MLX эту модель не читают: она объявлена как
prism_hadamard_qwen35. Без загрузчика из папкиruntime/пакет не загрузится или, по словам PrismML, выдаст неверный текст без ошибки.
pip install -r bonsai2-27b-mlx/runtime/requirements.txt- Запустите готовый скрипт:
cd bonsai2-27b-mlx
python quickstart.py "Объясни в трёх предложениях, что такое тернарные веса"Скрипт подключает загрузчик из runtime/ и настройки из generation_config.json. Рассуждение в нём выключено, ответ обрезается на 256 токенах (константа MAX_TOKENS). Первый запуск загружает 8,6 ГБ в память, это займёт время.
- Для своего кода или картинок подойдёт пример из карточки модели:
import sys
sys.path.insert(0, "bonsai2-27b-mlx/runtime")
from vision_artifact import load_vl_model, chat_config
from mlx_vlm import generate
from mlx_vlm.prompt_utils import apply_chat_template
model, processor, config = load_vl_model("bonsai2-27b-mlx")
prompt = apply_chat_template(processor, chat_config(config), "Ваш вопрос", num_images=0)
print(generate(model, processor, prompt, max_tokens=4096,
temperature=1.0, top_p=0.95, top_k=20))Для картинки поставьте num_images=1 и передайте список файлов четвёртым аргументом: ["photo.jpg"]. По умолчанию модель рассуждает на уровне xhigh, и рассуждение съедает лимит max_tokens. PrismML советует ставить от 16384. Настройки генерации передавайте явно: mlx-vlm не читает generation_config.json, и без них модель всегда берёт самый вероятный следующий токен. Значения в примере для режима рассуждений, для обычных ответов: temperature=0.7, top_p=0.80, top_k=20.
- Чат в браузере, Windows и Linux доступны через демо-репозиторий PrismML. Если он расходится с карточкой модели, следуйте ему.
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
BONSAI_OPENWEBUI=0 BONSAI_CODE_INTERPRETER=0 ./setup.sh
./scripts/start_llama_server.shЧат откроется на http://localhost:8080. setup.sh ставит форк llama.cpp от PrismML (обычный эти файлы не откроет) и версию модели GGUF на 7,8 ГБ. Две переменные в начале отключают Open WebUI и интерпретатор кода, это экономит несколько ГБ. Один вопрос без сервера: ./scripts/run_llama.sh -p "Ваш вопрос". На Windows скрипты называются setup.ps1 и scripts\start_llama_server.ps1. На Mac setup.sh ставит и MLX-окружение с mlx-vlm 0.7.2 вместо 0.6.3 из карточки, сервер на нём запускает ./scripts/start_mlx_server.sh.
Как проверить результат
Скрипт должен выдать связный ответ. По замерам PrismML через llama.cpp скорость около 47 токенов в секунду на M5 Max (снята на более ранней сборке, ждёт перемера) и 28 на M5 Pro. Пользователи сообщают около 24 на M3 Max, 15–20 на M4 Pro и 7–8 на Mac mini M2 с 16 ГБ. Если скорость в разы ниже, выключите в macOS режим низкого энергопотребления. Если ответ ползёт по токену, модели не хватило оперативной памяти: закройте тяжёлые приложения, уменьшите контекст или запустите GGUF-версию из шага 7. Она легче, а длину контекста там задаёт переменная BONSAI_CTX.
Ссылки
- Карточка модели MLX: веса, команды запуска и загрузчик.
- GGUF-версия: сборка для CUDA, Metal и процессора.
- Известные проблемы: пустые ответы при малом лимите, ошибка 500 при
reasoning_effort: "high", падение на процессорах с AVX-512. - Bonsai-demo: скрипты установки, серверы и чат в браузере.
- Замеры сообщества: скорость на разных Mac и видеокартах.
- Whitepaper (PDF): методика и полные таблицы тестов.
- Команда hf: помощь, если
hf downloadне находится или просит войти.
Источник: PrismML, официальный блог компании.