Python et les VPN (1)

Les VPN peuvent faciliter le scraping en permettant de changer d’adresse IP. Récupérons la liste des serveurs NordVPN et automatisons les connexions avec Python.

Informations

Cet article est assez ancien. L’API mentionnée a été supprimée il y a longtemps, mais je conserve cet article à titre d’archive.

Aujourd’hui, beaucoup de personnes utilisent des VPN, à des fins personnelles ou professionnelles.

Les VPN sont notamment utiles pour le scraping. Un grand nombre de requêtes provenant de la même IP risque d’éveiller les soupçons du fournisseur et de provoquer un blocage, compromettant ainsi notre projet.

À l’époque, j’ai créé un compte NordVPN. Cette entreprise possède des serveurs partout dans le monde. Il y a toutefois un problème : pour nous connecter aux serveurs espagnols, l’application choisit automatiquement un serveur selon notre localisation et la qualité de la connexion. Nous ne pouvons donc pas les choisir librement.

Heureusement, le client NordVPN permet de choisir n’importe quel serveur, à condition de connaître son nom. Créons donc une liste de serveurs NordVPN pour disposer d’un ensemble de serveurs VPN parmi lesquels choisir au hasard.

Facile, non ?

Récupérer la liste des serveurs

Bonne nouvelle : l’API de NordVPN nous renvoie un JSON contenant tous les serveurs. Cela va nous faciliter la vie.

Si nous utilisons curl sur https://nordvpn.com/api/server, nous obtenons ceci :

...
{
  "id": 976484,
  "ip_address": "122.155.174.96",
  "search_keywords": [
    "sha512"
  ],
  "categories": [
    {
      "name": "Standard VPN servers"
    }
  ],
  "name": "Thailand #19",
  "domain": "th19.nordvpn.com",
  "price": 0,
  "flag": "TH",
  "country": "Thailand",
  "location": {
    "lat": 13.753979,
    "long": 100.501444
  },
  "load": 88,
  "features": {
    "ikev2": true,
    "openvpn_udp": true,
    "openvpn_tcp": true,
    "socks": false,
    "proxy": false,
    "pptp": false,
    "l2tp": false,
    "openvpn_xor_udp": false,
    "openvpn_xor_tcp": false,
    "proxy_cybersec": false,
    "proxy_ssl": true,
    "proxy_ssl_cybersec": true,
    "ikev2_v6": false
  }
}
...

Les clés qui nous intéressent sont categories.name et domain.

Categories.name

Cette clé indique le type de VPN. Voici les différentes catégories :

  • Serveurs VPN standard (Standard VPN servers)
  • IP dédiée (Dedicated IP)
  • Double VPN
  • Serveurs obfusqués (Obfuscated servers)
  • P2P

Seuls les serveurs VPN standard nous intéressent, car les autres répondent à des usages spécifiques.

Domain

Vous vous souvenez que nous pouvions choisir le serveur auquel nous connecter ?

Ici, le sous-domaine nous donne le nom du serveur. Par exemple, dans th19.nordvpn.com, le nom du serveur est th19. Nous pouvons donc nous connecter avec :

$ nordvpn c th19

Manipuler le JSON

Téléchargeons d’abord le JSON pour effectuer des tests en local. Une fois les tests terminés, nous pourrons remplacer le fichier local par les données du site :

$ curl https://nordvpn.com/api/server > dump

Vérifions maintenant le nombre de serveurs :

import json

with open('dump', 'r') as c:
    servers = json.load(c)

print(len(servers))

Nous obtenons 5469 serveurs. Comme indiqué précédemment, seuls les serveurs standard nous intéressent. Filtrons-les :

import json

with open("dump", "r") as c:
    servers = json.load(c)

servers_def = []

for server in servers:
    try:
        if server["categories"][0]["name"] == "Standard VPN servers":
            servers_def.append(server)
    except:
        pass

print(len(servers_def))

Nous obtenons ainsi 4840 serveurs prêts à l’emploi.

Extrayons maintenant les noms des serveurs filtrés :

import json

with open("dump", "r") as c:
    servers = json.load(c)

def vpn_extract():
    servers_def = []
    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass
    return servers_def

Cette fonction extrait une liste contenant les noms des serveurs souhaités. Nous y sommes presque : il ne reste qu’à l’intégrer au script.

C’est simple : créons une fonction qui exécute la commande du programme avec le serveur choisi au hasard par notre script. La connexion sera établie, puis nous pourrons effectuer la tâche souhaitée.

Ce script est simple, mais cette rotation des IP nous évitera bien des maux de tête. Nous pouvons aussi modifier l’agent utilisateur (UA) pour que les requêtes paraissent plus naturelles.

import json
from time import sleep
import subprocess
import random
import requests

def vpn_extract():
    servers_def = []
    web = requests.get("https://nordvpn.com/api/server")
    servers = json.loads(web.text)

    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass

    return servers_def

def vpn_connect():
    result = subprocess.run(
        ["nordvpn", "c", random.choice(vpn_extract())],
        capture_output=True
    )

while 1:
    vpn_connect()
    sleep(5)  # Hacemos lo que tengamos que hacer.

Dans les prochains épisodes, nous continuerons à utiliser ce script pour faire tourner les VPN et l’appliquer à des cas concrets, comme le scraping d’un site sans nous faire bloquer trop facilement.