Python и VPN (1)
VPN помогают при веб-скрейпинге, позволяя менять IP-адреса. Получим список серверов NordVPN и автоматизируем подключения с помощью Python.
Эта статья довольно старая. Упомянутый API давно выведен из эксплуатации, но я сохраняю статью в архиве.
Сегодня многие пользуются VPN как в личных, так и в профессиональных целях.
Одно из преимуществ VPN — их полезность при веб-скрейпинге. Большое количество запросов с одного IP может вызвать подозрения у провайдера и привести к блокировке, что помешает нашему проекту.
Когда-то я завёл аккаунт NordVPN. У этой компании есть серверы по всему миру. Однако есть проблема: если мы хотим подключиться к испанским серверам, приложение автоматически выбирает сервер по местоположению и качеству соединения. Свободно выбирать серверы не получается.
К счастью, клиент NordVPN позволяет выбрать любой сервер, если известно его имя. Создадим список серверов NordVPN, чтобы получить набор VPN-серверов для случайного выбора.
Просто, правда?
Получение списка серверов
Хорошая новость: API самого NordVPN возвращает JSON со всеми серверами. Это заметно облегчит нам жизнь.
Если выполнить запрос curl к https://nordvpn.com/api/server, получим следующее:
...
{
"id": 976484,
"ip_address": "122.155.174.96",
"search_keywords": [
"sha512"
],
"categories": [
{
"name": "Standard VPN servers"
}
],
"name": "Thailand #19",
"domain": "th19.nordvpn.com",
"price": 0,
"flag": "TH",
"country": "Thailand",
"location": {
"lat": 13.753979,
"long": 100.501444
},
"load": 88,
"features": {
"ikev2": true,
"openvpn_udp": true,
"openvpn_tcp": true,
"socks": false,
"proxy": false,
"pptp": false,
"l2tp": false,
"openvpn_xor_udp": false,
"openvpn_xor_tcp": false,
"proxy_cybersec": false,
"proxy_ssl": true,
"proxy_ssl_cybersec": true,
"ikev2_v6": false
}
}
...
Нас интересуют ключи categories.name и domain.
Categories.name
Этот ключ указывает тип VPN. Доступны следующие категории:
- Стандартные VPN-серверы (Standard VPN servers)
- Выделенный IP (Dedicated IP)
- Двойной VPN (Double VPN)
- Обфусцированные серверы (Obfuscated servers)
- P2P
Нас интересуют только стандартные VPN-серверы, поскольку остальные предназначены для особых сценариев использования.
Domain
Помните, мы говорили, что можем сами выбирать сервер для подключения?
Здесь поддомен даёт нам имя сервера. Например, в th19.nordvpn.com имя сервера — th19, поэтому подключиться можно так:
$ nordvpn c th19
Работа с JSON
Сначала скачаем JSON для локальных тестов. Когда закончим проверку, заменим локальный файл данными с сайта:
$ curl https://nordvpn.com/api/server > dump
Теперь проверим количество серверов:
import json
with open('dump', 'r') as c:
servers = json.load(c)
print(len(servers))
Получаем 5469 серверов. Как уже говорилось, нас интересуют только стандартные, поэтому отфильтруем их:
import json
with open("dump", "r") as c:
servers = json.load(c)
servers_def = []
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server)
except:
pass
print(len(servers_def))
Так мы получаем 4840 серверов, готовых к использованию.
Теперь извлечём имена отфильтрованных серверов:
import json
with open("dump", "r") as c:
servers = json.load(c)
def vpn_extract():
servers_def = []
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server["domain"].split(".")[0])
except:
pass
return servers_def
Эта функция возвращает список имён нужных нам серверов. Почти готово: осталось добавить её в скрипт.
Всё просто: создадим функцию, которая выполнит команду программы с сервером, случайно выбранным нашим скриптом. После подключения можно будет выполнить нужную задачу.
Скрипт простой, но такая ротация IP избавит нас от множества проблем. Можно также менять User-Agent (UA), чтобы запросы выглядели естественнее.
import json
from time import sleep
import subprocess
import random
import requests
def vpn_extract():
servers_def = []
web = requests.get("https://nordvpn.com/api/server")
servers = json.loads(web.text)
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server["domain"].split(".")[0])
except:
pass
return servers_def
def vpn_connect():
result = subprocess.run(
["nordvpn", "c", random.choice(vpn_extract())],
capture_output=True
)
while 1:
vpn_connect()
sleep(5) # Hacemos lo que tengamos que hacer.
В следующих частях мы продолжим работать с этим скриптом для ротации VPN и применим его к реальным задачам, например к веб-скрейпингу, чтобы снизить вероятность блокировки.