Как обойти CAPTCHA и reCAPTCHA во время веб-скрапинга?

Что такое CAPTCHA?

CAPTCHA, известная как "Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей", это тест для определения, является ли посетитель сайта реальным человеком.

Это отвлечение, которое необходимо решить перед загрузкой запрашиваемой страницы и представлено в разных формах. Сайты используют их, чтобы определить, являетесь ли вы реальным пользователем или роботом, проверяя точность пользователя.

Не беспокойтесь! Они не используют сложные биометрические и системы распознавания лиц для аутентификации.

CAPTCHA-верификация обычно происходит в следующих случаях:

1. Необычные всплески трафика от одного и того же пользователя за короткий период времени.
2. Подозрительные взаимодействия. Например, посещение множества страниц без прокрутки.
3. Случайные проверки. Это потому, что некоторые высокозащищенные файерволы проверяют на всякий случай.

Как работает CAPTCHA?

CAPTCHA работает, создавая задачи, которые легко распознаются людьми, но сложно распознаются компьютерами. Эти задачи обычно включают в себя распознавание искаженного текста, выбор изображений, содержащих определенные объекты, или решение простых логических задач.

Основные шаги и механизмы работы CAPTCHA:

1. Создание задачи:

• Текстовая CAPTCHA. Создание изображений с искаженным или размытым текстом, обычно содержащим случайно расположенные буквы и цифры.
• Выбор изображений. Предоставление набора изображений и просьба выбрать изображение, содержащее определенный объект (например, светофоры, автомобили, пешеходы и т.д.).
• Логические задачи. Предложение простых математических или логических вопросов и требование от пользователя ответа.
• Аудио CAPTCHA. Воспроизведение аудио с случайными буквами или цифрами, которые пользователь должен прослушать и ввести.

2. Отображение задач:

Система CAPTCHA создает и отображает задачу, когда пользователь посещает веб-страницу, требующую аутентификации. Пользователь должен ввести ответ или выбрать изображение в указанном поле.

3. Проверка ответа пользователя:

После того, как пользователь отправляет ответ, система сравнивает ввод или выбор пользователя с ожидаемым ответом. Успешная верификация позволяет пользователю продолжить, а неудачная верификация предлагает пользователю попробовать снова.

4. Создание новой задачи:

Если пользователь несколько раз не проходит верификацию, система может создать новую задачу, чтобы убедиться, что верификацию пытается пройти именно человек.

Nstbrowser легко обходит CAPTCHA-аутентификацию, чтобы разблокировать сайты
Попробуйте бесплатно прямо сейчас!
Есть ли у вас хорошие идеи или вопросы о веб-скрейпинге и Browserless?
Посмотрите чем делятся другие разработчики в Discord и Telegram!

6 основных типов CAPTCHA

Текстовая CAPTCHA

Случайное создание строки символов и применение искажений, вращений, изменения цвета и других обработок затрудняет распознавание их алгоритмами OCR (Оптическое распознавание символов).

3D CAPTCHA

Эта новая технология является эволюцией текстовых задач, используя 3D-символы, которые труднее распознаются компьютерами.

reCAPTCHA

Google предлагает продвинутую систему CAPTCHA с компонентами выбора изображений и распознавания текста.

Использует верификацию пользователей, помогая улучшить технологии распознавания изображений и оцифровки текста.

Математические задачи

Пользователи должны решить математические уравнения или задачи для прохождения верификации.

Выбор изображений CAPTCHA

При входе система отображает набор изображений и предлагает пользователю выбрать изображение, содержащее определенный объект. Этот метод использует технологии глубокого обучения для анализа того, насколько хорошо выбор пользователя соответствует ожидаемому ответу.

Аудио CAPTCHA

Этот тип верификации предназначен для пользователей с нарушениями зрения. Система воспроизводит аудиоклип, содержащий буквы или цифры, которые пользователь должен прослушать и ввести.

Как обойти CAPTCHA?

Метод 1. Избегать ловушек Honeypot

Ловушки Honeypot - это стратегия предотвращения сканирования контента ботами, используя скрытые ссылки или формы для обнаружения и пометки автоматических инструментов. Поэтому, если вы нажмете на них, вас отметят как сканера.

• Пропуск скрытых элементов

Убедитесь, что скрипты сканирования игнорируют элементы с такими CSS-свойствами, как display: none или visibility: hidden. Эти элементы можно отфильтровать, используя следующий селектор:

hidden_elements = driver.find_elements_by_css_selector("[style*='display:none'], [style*='visibility:hidden']")

• Обнаружение скрытых форм

Сканер также должен пропускать скрытые формы и поля ввода:

   hidden_forms = driver.find_elements_by_css_selector("input[type='hidden']")

• Избегание нажатия на подозрительные ссылки

Перед нажатием на ссылки проверьте, есть ли у них скрытые атрибуты:

   links = driver.find_elements_by_tag_name("a")
   for link in links:
       if "display:none" in link.get_attribute("style") или "visibility:hidden" в link.get_attribute("style"):
           continue  # Пропуск скрытой ссылки
       link.click()  # Нажатие на видимую ссылку

• Использование robots.txt

Следуйте правилам в файле robots.txt на вашем сайте, чтобы избежать сканирования запрещенных разделов.

• Имитация взаимодействия человека и компьютера

Имитация реального поведения пользователей, например, случайных интервалов нажатия и прокрутки, чтобы избежать обнаружения как сканера.

• Анализ логов

Регулярно анализируйте логи сканера, чтобы увидеть, заблокирован ли он или перенаправлен, для корректировки стратегии.

Метод 2. Использование реальных заголовков

Правильное распознавание заголовков запросов - это распространенный способ обнаружения веб-сканеров, особенно при использовании безголовых браузеров, таких как Selenium и Puppeteer. Чтобы избежать распознавания как сканера, можно изменить заголовок User-Agent, чтобы он имитировал браузер реального пользователя.

Метод 3. Ротация IP или заголовков

Большое количество запросов от одного и того же HTTP-заголовка за короткий период времени должно вызывать подозрения, не так ли?

Большое количество запросов с одного IP-адреса также вызывает подозрения! Потому что реальные пользователи не могут посетить 1000 веб-страниц за пять минут.

Чтобы убедить сайт в том, что вы реальный пользователь, меняйте заголовки или IP-адреса, чтобы вас не так легко распознавали.

Nstbrowser разработан с интеллектуальной ротацией IP, чтобы избежать блокировки сайтов.
Попробуйте бесплатно прямо сейчас!

Метод 4. Использование Nstbrowserless

Nstbrowserless предоставляет эффективный способ выполнения автоматизированных сценариев безголовых браузеров, избегая обнаружения как сканера. Этот облачный сервис безголового браузера имитирует поведение реальных пользователей, чтобы помочь обходить CAPTCHA и другие антисканерные механизмы.

Nstbrowser легко решает распознавание CAPTCHA с помощью Selenium и Puppeteer. Позволяет вам беспрепятственно получать доступ к сайтам и сканировать их.

Метод 5. **Отключение метрик автомат

изации**

Большинство инструментов автоматизации браузеров, таких как Selenium и Puppeteer, имеют некоторые специфические флаги, такие как navigator.webdriver, которые показывают, что они являются инструментами автоматизации.

Здесь вам потребуется использовать такие плагины, как Puppeteer-stealth, чтобы эффективно скрывать эти следы.

Метод 6. Имитация реального поведения пользователей

Наконец, сайты отслеживают навигацию пользователей, наведение на элементы и даже координаты нажатий для анализа поведения пользователей. Поэтому имитация реального поведения при просмотре очень важна для избегания обнаружения.

Некоторые из действий, которые можно настроить:

• Рандомизация действий, таких как прокрутка.
• Нажатие.
• Печать.
• Использование случайных интервалов между действиями.

Важные заметки

Что такое CAPTCHA, почему она возникает и как ее обойти? Вы узнали самое полное знание о CAPTCHA в этой статье. Ротация заголовков и IP-адресов - это самый эффективный и простой способ избегания CAPTCHA.

Чтобы сделать сканирование веб-страниц проще для вас, используйте Nstbrowser, чтобы легко разблокировать сайты, интеллектуально менять IP-адреса и обходить верификацию CAPTCHA.

Попробуйте бесплатно прямо сейчас!