№36

8 октября 2026

Разбор

Бесплатный сбор лидов из каталогов компаний: ScrapeGraphAI и локальная модель

Скрипт на Python выгружает из каталога компаний название, сайт, email или ссылку на контактную форму.

3 мин чтения · Бесплатно

Где подвох
Если запускать сбор из Claude через официальное подключение, он идёт через платное облако ScrapeGraphAI: 500 кредитов дают бесплатно один раз, дальше от 20 долларов в месяц. Локальный скрипт к Claude не подключается.

Как повторить

Бесплатно, на своём компьютере

  1. Установите библиотеку и Playwright (движок, который открывает страницы как браузер):
   pip install scrapegraphai
   playwright install
  1. Поставьте Ollama и скачайте модель:
   ollama pull llama3.2

Модель весит несколько гигабайт, качать её нужно один раз. После этого модель работает без интернета, но страницы каталога скрипт по-прежнему загружает из сети.

  1. Создайте файл extract_leads.py. В поле model указана модель Ollama: если вы скачали другую, впишите её имя. model_tokens задаёт, сколько текста модель принимает за раз, а "format": "json" просит её отвечать в JSON. "headless": False показывает окно браузера во время работы, "verbose": True выводит журнал шагов.
   import json
   from scrapegraphai.graphs import SmartScraperGraph

   graph_config = {
       "llm": {
           "model": "ollama/llama3.2",
           "model_tokens": 8192,
           "format": "json",
       },
       "verbose": True,
       "headless": False,
   }

   smart_scraper_graph = SmartScraperGraph(
       prompt="Собери список компаний с этой страницы: название, сайт, email или ссылка на контактную форму",
       source="https://адрес-каталога-компаний/",
       config=graph_config,
   )

   result = smart_scraper_graph.run()
   print(json.dumps(result, indent=4, ensure_ascii=False))
  1. Запустите python extract_leads.py. Первый запуск занимает больше времени: Ollama загружает модель в память.
  2. Если у каталога несколько страниц, библиотека не будет переходить по ним сама. Выпишите адреса страниц вручную и передайте список в SmartScraperMultiGraph. Автоматический обход всего каталога одним параметром total_pages есть только в облачном API.
   from scrapegraphai.graphs import SmartScraperMultiGraph

   urls = [
       "https://адрес-каталога/page/1",
       "https://адрес-каталога/page/2",
       "https://адрес-каталога/page/3",
   ]
   graph = SmartScraperMultiGraph(
       prompt="Собери список компаний: название, сайт, контакты",
       source=urls,
       config=graph_config,
   )
   result = graph.run()
  1. Результат приходит как словарь Python или JSON. Чтобы сохранить таблицу, добавьте import pandas as pd; pd.DataFrame(result["...ваше поле со списком..."]).to_csv("leads.csv").

Через Claude, платно (для сравнения: этот путь не использует локальный скрипт)

  1. Получите ключ API в личном кабинете ScrapeGraphAI. Там же один раз дают 500 бесплатных кредитов.
  2. Добавьте настройки в claude_desktop_config.json (на macOS: ~/Library/Application Support/Claude/claude_desktop_config.json):
   {
     "mcpServers": {
       "scrapegraph-mcp": {
         "command": "npx",
         "args": ["mcp-remote@latest", "https://mcp.scrapegraphai.com/mcp", "--header", "X-API-Key:ВАШ_КЛЮЧ"]
       }
     }
   }
  1. Закройте Claude Desktop через Cmd+Q и откройте снова: если просто закрыть окно, настройки не подхватятся. В Settings → Developer у scrapegraph-mcp должен появиться статус running.
  2. Напишите в чате: «собери со страницы <ссылка> название компании, сайт и контакты через scrapegraph». Одна страница с извлечением данных стоит около 6 кредитов: 1 за разметку и 5 за извлечение в JSON. Бесплатных кредитов хватит примерно на 80 страниц.

Как проверить результат

Скрипт должен вернуть JSON с полями из запроса, а не пересказ текстом. Если появилась ошибка соединения с Ollama, выполните curl http://localhost:11434: нет ответа, значит Ollama не запущена. В Claude должен работать инструмент credits, он показывает остаток кредитов. Сверьте вручную 2–3 записи с исходной страницей: когда карточки стоят плотно, модель иногда путает соседние.

Как это устроено

Библиотека открывает страницу в браузере и передаёт её языковой модели, а модель достаёт данные по вашему описанию. Небольшие локальные модели вроде llama3.2 на сложной вёрстке путают поля чаще, чем платные модели OpenAI, Anthropic или Gemini. Библиотека работает и с ними, но тогда вы платите поставщику модели за токены (единицы текста, которые она обрабатывает). За соблюдение правил использования сайта, с которого вы собираете данные, отвечаете вы.

Ссылки

  • ScrapeGraphAI на GitHub: код библиотеки и примеры, лицензия MIT.
  • Документация: примеры с Ollama и описание MCP-сервера.
  • Ollama: бесплатная программа для запуска моделей на своём компьютере.
  • scrapegraph-mcp: сервер, через который Claude подключается к облаку ScrapeGraphAI.
  • Тарифы облака: Starter 20 долларов в месяц за 10 000 кредитов, Growth 100, Pro 500 долларов в месяц, разовые пакеты кредитов от 5 долларов.
  • Apify: платная альтернатива с готовыми скрейперами. Например, Contractor Leads Scraper в Apify Store стоит 8 долларов за 1000 найденных компаний.

Больше подобного

Разбираю по находке в день и складываю сюда. Свежее и то, что до сайта не доехало, выходит в канале «Евдокимов как обычно».