Python y VPN (1)

Las VPN pueden facilitar el scraping al permitirnos rotar las direcciones IP. Vamos a obtener la lista de servidores de NordVPN y automatizar las conexiones con Python.

Información

Este artículo es bastante antiguo. La API mencionada se retiró hace mucho tiempo, pero mantengo el artículo como archivo.

Hoy en día, mucha gente utiliza VPN, tanto para uso personal como profesional.

Una de las ventajas de las VPN es su utilidad para el scraping. Muchas peticiones desde una misma IP pueden despertar las sospechas del proveedor y provocar un bloqueo, lo que puede frustrar el proyecto que tengamos entre manos.

En su día me hice una cuenta en NordVPN. Esta empresa tiene servidores por todo el mundo. Sin embargo, hay un problema: si queremos conectarnos a los servidores españoles, la aplicación elige automáticamente según la ubicación y la calidad de la conexión, así que no podemos elegirlos libremente.

Por suerte, el cliente de NordVPN permite elegir cualquier servidor si conocemos su nombre. Vamos a crear una lista de servidores de NordVPN para disponer de un conjunto de servidores VPN que podamos seleccionar al azar.

Fácil, ¿verdad?

Obtener la lista de servidores

Buenas noticias: la propia API de NordVPN nos devuelve un JSON con todos los servidores. Esto nos facilitará mucho la vida.

Si ejecutamos curl sobre https://nordvpn.com/api/server, obtenemos lo siguiente:

...
{
  "id": 976484,
  "ip_address": "122.155.174.96",
  "search_keywords": [
    "sha512"
  ],
  "categories": [
    {
      "name": "Standard VPN servers"
    }
  ],
  "name": "Thailand #19",
  "domain": "th19.nordvpn.com",
  "price": 0,
  "flag": "TH",
  "country": "Thailand",
  "location": {
    "lat": 13.753979,
    "long": 100.501444
  },
  "load": 88,
  "features": {
    "ikev2": true,
    "openvpn_udp": true,
    "openvpn_tcp": true,
    "socks": false,
    "proxy": false,
    "pptp": false,
    "l2tp": false,
    "openvpn_xor_udp": false,
    "openvpn_xor_tcp": false,
    "proxy_cybersec": false,
    "proxy_ssl": true,
    "proxy_ssl_cybersec": true,
    "ikev2_v6": false
  }
}
...

Las claves que nos interesan son categories.name y domain.

Categories.name

Esta clave indica el tipo de VPN. Encontramos las siguientes categorías:

  • Servidores VPN estándar (Standard VPN servers)
  • IP dedicada (Dedicated IP)
  • VPN doble (Double VPN)
  • Servidores ofuscados (Obfuscated servers)
  • P2P

Solo nos interesan los servidores VPN estándar, porque los demás están pensados para casos de uso específicos.

Domain

¿Recordáis que antes dijimos que podíamos elegir a qué servidor conectarnos?

En este caso, el subdominio nos da el nombre del servidor. Por ejemplo, en th19.nordvpn.com, el nombre del servidor es th19, así que podemos conectarnos con:

$ nordvpn c th19

Trabajar con el JSON

Primero descargamos el JSON para hacer pruebas en local. Cuando terminemos, podremos sustituir el archivo local por los datos de la web:

$ curl https://nordvpn.com/api/server > dump

Ahora comprobamos el número de servidores:

import json

with open('dump', 'r') as c:
    servers = json.load(c)

print(len(servers))

Obtenemos 5469 servidores. Como comentamos, solo nos interesan los estándar, así que vamos a filtrarlos:

import json

with open("dump", "r") as c:
    servers = json.load(c)

servers_def = []

for server in servers:
    try:
        if server["categories"][0]["name"] == "Standard VPN servers":
            servers_def.append(server)
    except:
        pass

print(len(servers_def))

Con esto obtenemos 4840 servidores listos para usar.

Ahora extraemos los nombres de los servidores filtrados:

import json

with open("dump", "r") as c:
    servers = json.load(c)

def vpn_extract():
    servers_def = []
    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass
    return servers_def

Esta función devuelve una lista con los nombres de los servidores que queremos. Ya casi estamos: solo falta incorporarla al script.

Es sencillo: creamos una función que ejecuta el comando del programa con el servidor que nuestro script haya elegido al azar. Se conectará y después podremos realizar la tarea que necesitemos.

Es un script sencillo, pero esta rotación de IP nos ahorrará muchos quebraderos de cabeza. También podemos cambiar el agente de usuario (UA) para que las peticiones parezcan más naturales.

import json
from time import sleep
import subprocess
import random
import requests

def vpn_extract():
    servers_def = []
    web = requests.get("https://nordvpn.com/api/server")
    servers = json.loads(web.text)

    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass

    return servers_def

def vpn_connect():
    result = subprocess.run(
        ["nordvpn", "c", random.choice(vpn_extract())],
        capture_output=True
    )

while 1:
    vpn_connect()
    sleep(5)  # Hacemos lo que tengamos que hacer.

En las próximas entregas seguiremos trabajando con este script para rotar las VPN y aplicarlo a casos reales, como hacer scraping de una web sin que nos bloqueen fácilmente.