Как использовать Browserless от Nstbrowser для автоматического решения Cloudflare Turnstile (2025)

1. Введение

С постоянным развитием технологий интернет-безопасности, Cloudflare представила механизм проверки Turnstile. Это бесклеевой метод проверки, предназначенный для обеспечения бесперебойной работы пользователей при эффективной блокировке вредоносного трафика. Однако для разработчиков, использующих инструменты автоматизации и технологии веб-скрапинга, введение Turnstile, несомненно, повысило сложность обхода таких проверок.

К счастью, используя облачный сервис Browserless от Nstbrowser и инструменты автоматизации, такие как Puppeteer, разработчики могут имитировать поведение реального пользователя для успешного обхода проверки Cloudflare Turnstile и продолжать эффективно выполнять задачи по сбору данных. В этой статье подробно описывается, как работает Cloudflare Turnstile, его влияние на веб-скрапинг и как использовать сервис Browserless от Nstbrowser для решения этой проблемы.

2. Что такое Cloudflare Turnstile?

Cloudflare Turnstile — это новый тип механизма проверки, предназначенный для замены традиционного CAPTCHA. Он различает пользователей-людей и автоматизированный трафик с помощью бесклеевого процесса проверки, уменьшая нагрузку на взаимодействие с пользователем.

Основные функции Turnstile:

1. Бесклеевая проверка: Пользователи не обязаны вручную вводить CAPTCHA или выбирать изображения.
2. Динамический анализ: Анализирует различные точки данных, такие как заголовки запросов, отпечатки пальцев браузера и модели поведения, чтобы определить, является ли посетитель реальным пользователем.
3. Защита конфиденциальности: Turnstile не требует от пользователей предоставления конфиденциальной информации, обеспечивая соответствие правилам конфиденциальности, таким как GDPR.
4. Интеллектуальное срабатывание: В некоторых случаях, когда система не может с уверенностью идентифицировать посетителя, могут быть запущены дополнительные проверки на основе кликов (например, клики по кнопкам или простые взаимодействия).

Хотя этот механизм более удобен для обычных пользователей, он значительно увеличивает сложность для ботов и инструментов автоматизации обхода проверки.

3. Влияние Cloudflare Turnstile на веб-скрапинг

Введение Cloudflare Turnstile создает несколько проблем для приложений веб-скрапинга:

1. Блокировка автоматизированных запросов: Turnstile обнаруживает источник и модели поведения запросов, что делает простые HTTP-запросы или традиционные скрипты скрапинга легко идентифицируемыми и блокируемыми.
2. Динамический механизм проверки: Логика Turnstile корректируется в реальном времени на основе поведения посетителя, что затрудняет прохождение проверки статическими шаблонами скрапинга.
3. Требования к среде браузера: Turnstile опирается на полную среду браузера (например, выполнение JavaScript, поддержка cookie), что затрудняет прохождение проверки headless-браузерами без надлежащей конфигурации.
4. Запуск проверки кликов: В некоторых случаях Turnstile может потребовать от пользователей выполнения простых задач с кликами (например, клики по кнопкам или выбор определенного контента), что добавляет еще один уровень сложности для инструментов автоматизации.
5. Усовершенствованные методы дактилоскопии: Turnstile использует сложные методы обнаружения дактилоскопии, что делает простую подделку отпечатков пальцев браузера неэффективной.

Для разработчиков, которым необходимо собирать большие объемы данных или выполнять задачи автоматизации, эти проблемы могут значительно снизить показатели успешности и эффективность задач.

4. Как преодолеть эти трудности?

Используя облачный сервис Browserless от Nstbrowser и инструменты автоматизации, такие как Puppeteer, разработчики могут беспрепятственно обходить механизм проверки Cloudflare Turnstile. Ниже приведены стратегии и шаги по реализации для решения этих проблем:

4.1 Использование сервиса Browserless от Nstbrowser

Облачный сервис Browserless от Nstbrowser — это высокопроизводительное решение для headless-браузеров, специально разработанное для обработки сложных анти-ботовых механизмов, таких как Turnstile.

Основные преимущества:

• Реальная среда браузера: Поддерживает полное выполнение JavaScript и хранение cookie, имитируя поведение браузера реального пользователя.
• Динамическая подмена отпечатков пальцев: Встроенная технология анти-дактилоскопии для обхода обнаружения отпечатков пальцев Turnstile.
• Автоматизированные операции с кликами: Когда Turnstile запускает проверку на основе кликов, Browserless может автоматически идентифицировать задачу проверки и выполнить ее с помощью операций клика, имитирующих действия человека.
• Поддержка высокой параллельности: Обрабатывает большие объемы запросов одновременно, что идеально подходит для масштабных задач веб-скрапинга.
• Бесшовная интеграция: Полностью совместим с инструментами автоматизации, такими как Puppeteer, упрощая процесс разработки.

4.2 Шаги реализации

Шаг 1: Настройка среды

1. Установка Puppeteer:

   bash Copy

   npm install puppeteer-core

2. Регистрация и вход в Nstbrowser:
   Посетите официальный веб-сайт Nstbrowser и создайте учетную запись.

3. Получение API-ключа:

   • После входа в систему перейдите в меню API.
   • Создайте новый API-ключ на странице «API».
   • Сохраните ключ для использования в своем коде.
   • 

Шаг 2: Скрипт автоматизации

При написании бизнес-логики с помощью Puppeteer вам не нужно беспокоиться о блокировке ваших запросов Cloudflare Turnstile. Облачный сервис Browserless от Nstbrowser автоматически выполнит проверку, что позволит разработчикам сосредоточиться на своей кодовой логике.

Ниже приведен полный пример скрипта:

import puppeteer from 'puppeteer-core';

const API_KEY = "ваш api ключ"; // required
const HOST = 'wss://less.nstbrowser.io';

const config = {
  proxy: 'ваш прокси',
  headless: true,
};
const query = new URLSearchParams({
  "x-api-key": API_KEY, // required
  "config": JSON.stringify(config),
});
const browserWSEndpoint = `${HOST}/connect?${query.toString()}`;

(async () => {
  const browser = await puppeteer.connect({
    browserWSEndpoint: browserWSEndpoint,
    defaultViewport: null,
  });
  try {
    const page = await browser.newPage();
    await page.goto('https://www.scrapingcourse.com/login/cf-turnstile', { waitUntil: 'domcontentloaded' });
    // Wait for turnstile to unlock successfully
    await page.waitForFunction(() => {
      return window.turnstile && window.turnstile.getResponse();
    });
    await page.screenshot({ path: 'turnstile-solved.png' });
  } catch (e) {
    console.error(e);
  } finally {
    await browser.close();
  }
})();

Шаг 3: Тестирование в Nstbrowser Playground

Вы также можете протестировать код непосредственно в функции Playground в меню Browserless в клиенте Nstbrowser.

Просто добавьте следующий код в Playground, и он автоматически установит соединение Browserless:

const page = await browser.newPage();
await page.goto('https://www.scrapingcourse.com/login/cf-turnstile', {
  waitUntil: 'domcontentloaded'
});
const token = await page.waitForFunction(() => {
  return window.turnstile && window.turnstile.getResponse();
});

console.info("Turnstile solved token:", token);

5. Технические преимущества

1. Эффективность: Автоматизирует проверку с помощью Puppeteer и Browserless, избегая ручного вмешательства и значительно повышая эффективность разработки.
2. Облачная поддержка: Исключает необходимость локальной установки и обслуживания браузера, снижая потребление аппаратных ресурсов.
3. Гибкость: Поддерживает множество анти-ботовых механизмов, включая проверки JavaScript и CAPTCHA.
4. Интеграция с Nstbrowser: Предоставляет дополнительную поддержку через API, удовлетворяя сложные требования к проверке.

6. Меры предосторожности

1. Законность: Обеспечьте соответствие условиям использования целевых веб-сайтов и избегайте незаконной деятельности по скрапингу.
2. Оптимизация производительности: Рационально распределяйте частоту запросов, чтобы избежать ограничений обслуживания из-за чрезмерного количества запросов.
3. Обработка ошибок: Добавьте логику обработки ошибок в скрипты, чтобы адаптироваться к изменениям в динамических механизмах проверки.

7. Ресурсы

• Официальный сайт: Веб-сайт Nstbrowser
• Документация: Документация Nstbrowser
• Загрузка: Страница загрузки Nstbrowser
• Поддержка сообщества: Присоединяйтесь к нашему сообществу Discord

Это руководство предоставляет комплексное решение для обхода Cloudflare Turnstile с использованием сервиса Browserless от Nstbrowser и Puppeteer, позволяя разработчикам эффективно преодолевать трудности в современном веб-скрапинге.