Органические результаты поискаРегулярно повторяйте поисковые запросы. Сравнивайте сайты, позиции, заголовки и сниппеты, чтобы найти пробелы в контенте и новых конкурентов.
Попробуйте эти сценарии для маркетинга, роста и изучения конкурентов.
Команда B2B может еженедельно отслеживать десять запросов, например best CRM for small teams, на одном рынке. Отмечайте новых конкурентов, изменения позиций и обещания в заголовках.
Ведите еженедельный обзор выдачи с наблюдаемой позицией своего сайта и изменениями у конкурентов.
Сгруппируйте повторяющиеся заголовки по намерению: сравнения, цены, инструкции или альтернативы. Найдите темы, где вашего контента нет или он отвечает на другой вопрос.
Расставьте приоритеты идей контента и свяжите их с исходными результатами поиска.
Найдите узкую категорию и проверьте домены выдачи. Просмотрите сайты, затем передайте список в Website Contacts для дальнейшего исследования компаний.
Сохраните список компаний с поисковыми источниками и вручную проверенными сайтами.
ОТ ПЕРВОГО ЗАПУСКА К РЕГУЛЯРНОЙ РАБОТЕ
{
"queries": ["web scraping tools"],
"country": "US",
"language": "en",
"maxItems": 20
}Вставьте это в редактор JSON Actor. Перед запуском замените примеры своими целями.
Посмотреть актуальные параметры на ApifyЭтот скрапер возвращает органические результаты Google. Используйте обычные запросы или поисковые операторы и сохраняйте одинаковые страну, язык и лимит при сравнении запусков. Платная реклама и AI Overviews не собираются.
| Способ поиска | Когда использовать | Что меняется |
|---|---|---|
| Поиск по ключевым словам | Когда использоватьВы хотите найти подходящие результаты, прежде чем выбрать конкретные цели. | Что меняетсяВводите запросы отдельными элементами. Работают кавычки, site: и исключения с минусом. Ссылка Google передаёт текст запроса, а не все URL-фильтры. |
| Ссылки на страницы поиска | Когда использоватьВы уже настроили поиск на исходном сайте. | Что меняетсяОдин запрос вместе с queries или вместо него. Для нескольких тем используйте queries, сохраняя контекст ранжирования каждого поиска. |
| Выбор рынка | Когда использоватьВам нужны данные по конкретной стране или рынку. | Что меняетсяРынок поиска как двухбуквенный код или название страны. Меняет географическое ранжирование и отличается от языка и страны прокси. |
Максимум органических результатов на запрос, а не на весь запуск. Два запроса с maxItems 20 могут дать 40 строк. Google выдаёт 10 результатов на страницу.
Сравнить с похожим скрейперомИспользуйте точные имена полей ниже в JSON. В форме Apify вводите элементы списков отдельно и соблюдайте числовые и логические типы.
Значение по умолчанию и предзаполнение различаются. Первое действует при пропуске настройки; второе является примером в форме Apify. Проверяйте цели и лимиты перед каждым запуском. У некоторых настроек нет значения по умолчанию в схеме. Всё равно нужно указать хотя бы одну поддерживаемую цель.
queriesВводите запросы отдельными элементами. Работают кавычки, site: и исключения с минусом. Ссылка Google передаёт текст запроса, а не все URL-фильтры.
queryОдин запрос вместе с queries или вместо него. Для нескольких тем используйте queries, сохраняя контекст ранжирования каждого поиска.
countryРынок поиска как двухбуквенный код или название страны. Меняет географическое ранжирование и отличается от языка и страны прокси.
languageЯзык интерфейса Google, например en, de или pt-BR. Не гарантирует, что все найденные страницы написаны на этом языке.
timeRangeФильтрует актуальность в Google: hour, day, week, month, year или any. Не восстанавливает прошлые позиции или историческую выдачу.
any hour day week month yearsafeSearchВключает SafeSearch Google. Сохраняйте одинаковую настройку между запусками, чтобы не принять изменения фильтра за изменения позиций.
maxItemsМаксимум органических результатов на запрос, а не на весь запуск. Два запроса с maxItems 20 могут дать 40 строк. Google выдаёт 10 результатов на страницу.
maxConcurrencyОт 1 до 10 параллельных запросов. Страницы внутри запроса обходятся последовательно. Начните с 3 и небольшого числа результатов.
delayMsПауза между запросами страниц в миллисекундах. Увеличивайте при ограничениях источника; уменьшение не устраняет задержки сети и лимиты запросов.
maxPagesPerQueryЛимит страниц на запрос. На странице 10 органических результатов. При maxItems 100 и maxPagesPerQuery 2 получится не больше примерно 20 на запрос.
proxyConfigurationActor всегда использует группу GOOGLE_SERP Apify; другие не дают пригодных результатов. Учитывается только страна прокси. Ваш тариф должен поддерживать эту группу.
proxyRotationsПовторяет отклонённые запросы с новой прокси-сессией. Дополнительные попытки помогают при временных блокировках, но увеличивают время и трафик. Меняйте стандартное значение только при необходимости по журналу.
resumeСохраняет прогресс примерно каждые 30 секунд для продолжения после перезапуска или миграции Apify. Обычно оставляйте включённым.
continueFromLastRunПродолжает незавершённую работу предыдущего запуска с теми же входными данными. Старые результаты остаются в его dataset. Для нового или регулярного сбора оставляйте false.
impersonateИдентификатор браузера для запросов. Сохраняйте стандарт Actor, кроме диагностики мгновенных блокировок. Он меняет отпечаток запроса, а не запрашиваемые данные.
Справочник соответствует параметрам Actor. Перед изменением рабочего процесса проверьте актуальную форму. Посмотреть актуальные параметры на Apify.
Каждый пример рассчитан на отдельный запуск. Начните с малого, проверьте результаты и затем расширяйте охват. Измените цели, страны и даты под свою задачу.
Три запроса с maxItems 20 могут вернуть до 60 строк. Еженедельно используйте ту же конфигурацию и сохраняйте запрос, позицию и дату сбора. Для сравнения рынков запустите отдельно другую страну.
{
"queries": [
"web scraping tools",
"competitor ad tracking",
"marketing data pipeline"
],
"country": "US",
"language": "en",
"maxItems": 20,
"safeSearch": false
}Используйте site: и фразы в кавычках для поиска проиндексированных страниц домена. Результаты отражают индекс Google, а не полный обход сайта. Замените apify.com и фразы своими целями.
{
"queries": ["site:apify.com \"ad library\"", "site:apify.com \"google search\""],
"country": "GB",
"language": "en",
"maxItems": 10
}Используйте week для поиска свежих материалов. Фильтр относится к давности в индексе; он не восстанавливает позиции прошлой недели и не подтверждает дату первой публикации.
{
"queries": ["dbt BigQuery tutorial", "marketing analytics SQL"],
"country": "US",
"language": "en",
"timeRange": "week",
"maxItems": 20
}Каждая строка относится к запросу и позиции. Ссылка может быть восстановлена из пути, показанного Google; проверьте url_is_exact и сомнительные адреса перед обходом или объединением с конкретной страницей. Сохраняйте снимки с датой. Данных об объёме поиска, платной рекламе и исторических позициях нет.
resume защищает текущий запуск при перезапуске Apify. continueFromLastRun продолжает предыдущий запуск с той же конфигурацией; старые записи остаются в старом dataset. Объедините оба набора и увеличьте достигнутый лимит. Для наблюдения сегодняшних изменений начните новый сбор.
Сохраните одну из конфигураций выше в input.json. Задайте в терминале APIFY_TOKEN своим токеном Apify и отправьте файл как тело запроса.
curl --fail-with-body --request POST \
--url "https://api.apify.com/v2/actors/jmlp~google-search-scraper/runs" \
--header "Authorization: Bearer $APIFY_TOKEN" \
--header "Content-Type: application/json" \
--data-binary @input.jsonОтвет содержит ID запуска и defaultDatasetId, а не готовые результаты. Дождитесь успешного завершения, задайте DATASET_ID идентификатором набора и получите записи. Для больших наборов используйте limit и offset для постраничной выгрузки.
curl --fail-with-body \
--url "https://api.apify.com/v2/datasets/$DATASET_ID/items?format=json" \
--header "Authorization: Bearer $APIFY_TOKEN"Документация API Apify для запуска и экспорта
Параметры экспорта набора данных
Меняйте по одному параметру, сохраняйте небольшой лимит и проверяйте сводку перед расширением сбора.
Actor всегда использует группу GOOGLE_SERP Apify; другие не дают пригодных результатов. Учитывается только страна прокси. Ваш тариф должен поддерживать эту группу.
Каждая строка относится к запросу и позиции. Ссылка может быть восстановлена из пути, показанного Google; проверьте url_is_exact и сомнительные адреса перед обходом или объединением с конкретной страницей. Сохраняйте снимки с датой. Данных об объёме поиска, платной рекламе и исторических позициях нет.
Рынок поиска как двухбуквенный код или название страны. Меняет географическое ранжирование и отличается от языка и страны прокси.
Успешный статус означает завершение работы Actor, а не наличие данных у источника. Проверьте SUMMARY.inputProblem, SUMMARY.problem и журнал: возможны отсутствующие цели, неподдерживаемые фильтры или отклонённые запросы. Попробуйте известную цель с меньшим числом фильтров.
Проверьте общие лимиты, лимиты поиска и страниц, охват и дедупликацию. Несколько запросов могут найти одну запись. Счётчик источника может включать недоступные публично данные. Проверьте незавершённые задачи, прежде чем считать набор полным.
Добавляйте query, position, title, url, url_is_exact и collected_at. Выделите домен в отдельную колонку и фильтруйте свой сайт и постоянных конкурентов.
Читать инструкциюПопросите Claude сгруппировать намерения и сравнить темы заголовков, указывая запрос и позицию. Одной выдачи недостаточно для оценки полного содержания или качества страницы.
Читать инструкциюОтслеживайте позицию и частоту появления конкурентов в таблице с датами. Сохраняйте одинаковые страну и язык между запусками.
Читать инструкциюРазбейте наблюдения по дате сбора, сохраняя запрос, страну и язык. Сравнивайте позиции подтверждённых доменов в SQL. Проверьте восстановленные URL перед использованием как точных ID страниц.
Читать инструкцию
Проверь jmlp/google-search-scraper и собери до 20 органических результатов для best CRM for small teams на английском US. Сгруппируй темы заголовков и домены, укажи query и position, отметь восстановленные URL и предложи вопросы для контента. Не выдумывай частотность запросов.Сохраняйте время сбора и исходные ID: они нужны для проверки источника результата и сравнения с последующими запусками.
Скрапер возвращает органическую выдачу. Частотность и данные платных ключевых слов требуют другой базы. Выдача меняется по рынкам и времени. Часть URL восстановлена: проверяйте url_is_exact и ссылки перед обходом или объединением данных по странице.
Нет. Он возвращает органические результаты, позиции, заголовки, URL и сниппеты. Для частотности и сложности нужна другая база.
Нет. Если Google показывает навигационную цепочку, скрапер может восстановить URL. Поле url_is_exact отмечает это различие.
Источник и актуальные сведения: Actor Google Search от JMLP на Apify.
Facebook & Instagram01Узнайте, что рекламируют конкуренты.
Соберите рекламу конкурентов в одном месте. Сравните тексты, предложения и сроки перед следующей кампанией.
Поиск, YouTube и Display02Посмотрите рекламу бренда в Google.
Соберите креативы из поиска, YouTube и Display. Сравните форматы и рынки, чтобы выбрать подходящие каналы для своей кампании.
Расскажите, что нужно собрать или понять. Я помогу со скрапером на заказ, конвейером или анализом.
Обсудить проект