Python и VPN (1)

VPN помогают при веб-скрейпинге, позволяя менять IP-адреса. Получим список серверов NordVPN и автоматизируем подключения с помощью Python.

Информация

Эта статья довольно старая. Упомянутый API давно выведен из эксплуатации, но я сохраняю статью в архиве.

Сегодня многие пользуются VPN как в личных, так и в профессиональных целях.

Одно из преимуществ VPN — их полезность при веб-скрейпинге. Большое количество запросов с одного IP может вызвать подозрения у провайдера и привести к блокировке, что помешает нашему проекту.

Когда-то я завёл аккаунт NordVPN. У этой компании есть серверы по всему миру. Однако есть проблема: если мы хотим подключиться к испанским серверам, приложение автоматически выбирает сервер по местоположению и качеству соединения. Свободно выбирать серверы не получается.

К счастью, клиент NordVPN позволяет выбрать любой сервер, если известно его имя. Создадим список серверов NordVPN, чтобы получить набор VPN-серверов для случайного выбора.

Просто, правда?

Получение списка серверов

Хорошая новость: API самого NordVPN возвращает JSON со всеми серверами. Это заметно облегчит нам жизнь.

Если выполнить запрос curl к https://nordvpn.com/api/server, получим следующее:

...
{
  "id": 976484,
  "ip_address": "122.155.174.96",
  "search_keywords": [
    "sha512"
  ],
  "categories": [
    {
      "name": "Standard VPN servers"
    }
  ],
  "name": "Thailand #19",
  "domain": "th19.nordvpn.com",
  "price": 0,
  "flag": "TH",
  "country": "Thailand",
  "location": {
    "lat": 13.753979,
    "long": 100.501444
  },
  "load": 88,
  "features": {
    "ikev2": true,
    "openvpn_udp": true,
    "openvpn_tcp": true,
    "socks": false,
    "proxy": false,
    "pptp": false,
    "l2tp": false,
    "openvpn_xor_udp": false,
    "openvpn_xor_tcp": false,
    "proxy_cybersec": false,
    "proxy_ssl": true,
    "proxy_ssl_cybersec": true,
    "ikev2_v6": false
  }
}
...

Нас интересуют ключи categories.name и domain.

Categories.name

Этот ключ указывает тип VPN. Доступны следующие категории:

  • Стандартные VPN-серверы (Standard VPN servers)
  • Выделенный IP (Dedicated IP)
  • Двойной VPN (Double VPN)
  • Обфусцированные серверы (Obfuscated servers)
  • P2P

Нас интересуют только стандартные VPN-серверы, поскольку остальные предназначены для особых сценариев использования.

Domain

Помните, мы говорили, что можем сами выбирать сервер для подключения?

Здесь поддомен даёт нам имя сервера. Например, в th19.nordvpn.com имя сервера — th19, поэтому подключиться можно так:

$ nordvpn c th19

Работа с JSON

Сначала скачаем JSON для локальных тестов. Когда закончим проверку, заменим локальный файл данными с сайта:

$ curl https://nordvpn.com/api/server > dump

Теперь проверим количество серверов:

import json

with open('dump', 'r') as c:
    servers = json.load(c)

print(len(servers))

Получаем 5469 серверов. Как уже говорилось, нас интересуют только стандартные, поэтому отфильтруем их:

import json

with open("dump", "r") as c:
    servers = json.load(c)

servers_def = []

for server in servers:
    try:
        if server["categories"][0]["name"] == "Standard VPN servers":
            servers_def.append(server)
    except:
        pass

print(len(servers_def))

Так мы получаем 4840 серверов, готовых к использованию.

Теперь извлечём имена отфильтрованных серверов:

import json

with open("dump", "r") as c:
    servers = json.load(c)

def vpn_extract():
    servers_def = []
    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass
    return servers_def

Эта функция возвращает список имён нужных нам серверов. Почти готово: осталось добавить её в скрипт.

Всё просто: создадим функцию, которая выполнит команду программы с сервером, случайно выбранным нашим скриптом. После подключения можно будет выполнить нужную задачу.

Скрипт простой, но такая ротация IP избавит нас от множества проблем. Можно также менять User-Agent (UA), чтобы запросы выглядели естественнее.

import json
from time import sleep
import subprocess
import random
import requests

def vpn_extract():
    servers_def = []
    web = requests.get("https://nordvpn.com/api/server")
    servers = json.loads(web.text)

    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass

    return servers_def

def vpn_connect():
    result = subprocess.run(
        ["nordvpn", "c", random.choice(vpn_extract())],
        capture_output=True
    )

while 1:
    vpn_connect()
    sleep(5)  # Hacemos lo que tengamos que hacer.

В следующих частях мы продолжим работать с этим скриптом для ротации VPN и применим его к реальным задачам, например к веб-скрейпингу, чтобы снизить вероятность блокировки.