№70

8 октября 2026

агенты · инструменты · данные

Дешёвая модель-фильтр Jev отсеивает простые случаи до вызова дорогой LLM

На простые вопросы «да или нет» отвечает быстрая и дешёвая модель Jev.

2 мин чтения · $0,042/1 млн токенов · 30 мин + 1–2 ч на порог

Где подвох
напрямую на typesafe.ai зарегистрироваться нельзя с 22 сентября, доступ есть только через Cloudflare. Бесплатный лимит Workers AI на Jev не распространяется.

Как повторить

  1. Заведите аккаунт Cloudflare, включите Workers AI и пополните баланс в AI Gateway заранее. Если баланса нет, запрос вернёт ошибку "Insufficient balance".
  2. Создайте постоянный API-токен с правом на Workers AI. Часовой токен из wrangler для регулярных вызовов не подходит: он быстро истекает.
  3. Опишите задачу как state (что проверяете) и questions (что спрашиваете). Типы вопросов: noul для «да/нет», choice для выбора категории, score для оценки по шкале. Полный формат есть в документации Cloudflare.
  4. Вызовите модель:
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --data '{
  "model": "typesafe/jev",
  "input": {
    "state": "текст или объект, который проверяете",
    "questions": {
      "fits_topic": {
        "type": "noul",
        "instructions": "Материал относится к теме X?",
        "criteria": { "true": "явно про тему X", "false": "не про тему X" }
      }
    }
  }
}'
  1. Возьмите вероятность из noul/probabilities в ответе и задайте пороги. Например, ниже 0,3 считайте ответом «нет», выше 0,7 ответом «да», а всё, что между ними, отправляйте в тяжёлую модель.
  2. Перед запуском проверьте вопрос на паре десятков размеченных примеров из своей задачи. Формулировка вопроса влияет на результат сильнее самой модели: конкретный вопрос отсеивает гораздо увереннее общего.
  3. Поставьте Jev перед вызовом Gemini, Claude или GPT. Тяжёлая модель будет срабатывать только там, где Jev не уверена.

Как проверить результат

Возьмите по десятку заведомых «да» и «нет» из своей задачи и прогоните их через Jev с одним и тем же вопросом. Если вероятности собираются у нуля и у единицы, порог можно ставить. Если они толпятся в середине, вопрос слишком общий: сформулируйте его конкретнее и прогоните заново.

Как это устроено

Jev относится к моделям «System One» от TypeSafe AI. Она не рассуждает и не пишет текст. На закрытый вопрос (да/нет, выбор из списка, оценка по шкале) она отвечает числом-вероятностью. Поэтому она работает быстрее и стоит дешевле обычной LLM, а вероятность сразу делит поток на «точно да», «точно нет» и «непонятно».

В опубликованном кейсе Telegram-бот сортировал сохранённые материалы по темам. Там такой фильтр оказался в 4 раза быстрее и в 8 раз дешевле Gemini и снял с неё 75% нагрузки. Это замеры автора кейса на его задаче, независимо их не проверяли, и на другой задаче они могут не повториться.

Ссылки

Источник: автор бота SAVAI (@savaibot), пост в Telegram.

Больше подобного

Разбираю по находке в день и складываю сюда. Свежее и то, что до сайта не доехало, выходит в канале «Евдокимов как обычно».