Headless - новый способ разработки веб-приложений

Headless – это режим работы браузера без графического интерфейса, то есть без отображения визуальных элементов, таких как окна, кнопки, поля ввода и т.д. Это позволяет не только ускорить работу браузера, но и автоматизировать процесс тестирования веб-приложений и сбора данных с веб-страниц.

Примеры кода для работы в headless-режиме в разных браузерах:

Chrome:

python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.headless = True
driver = webdriver.Chrome(options=options)
driver.get('https://example.com')

Firefox:

python
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
options = Options()
options.headless = True
driver = webdriver.Firefox(options=options)
driver.get('https://example.com')

PhantomJS:

python
from selenium import webdriver
capabilities = {'phantomjs.page.settings.userAgent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# указываем заголовок User-Agent для PhantomJS, чтобы сервер воспринимал запросы от браузера
# соответствующим образом
service_args = ['--load-images=no', '--disk-cache=yes', '--ignore-ssl-errors=true']
# указываем параметры работы PhantomJS, такие как отключение загрузки изображений,
# включение кэширования и игнорирование проблем с SSL
driver = webdriver.PhantomJS(service_args=service_args, desired_capabilities=capabilities)
driver.get('https://example.com')

Также многие библиотеки для web-скрапинга и автоматизации имеют встроенную поддержку headless-режима, например, библиотека Beautiful Soup для Python:

python
from bs4 import BeautifulSoup
import requests
url = 'https://example.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# указываем заголовок User-Agent для запроса, чтобы сервер воспринимал его от браузера
response = requests.get(url, headers=headers)
html = response.content
soup = BeautifulSoup(html, 'html.parser')

В данном примере BeautifulSoup отправляет запрос на сервер с заголовком User-Agent, указывающим, что он от браузера Chrome. Как и в примерах с браузерами, это необходимо, чтобы сервер воспринимал запросы от скрипта корректно. Получив ответ с сервера, BeautifulSoup парсит его в объект, получая доступ к содержимому страницы.