Python 与 VPN(1)

VPN 可以通过轮换 IP 地址来帮助我们进行网页抓取。本文将获取 NordVPN 的服务器列表,并使用 Python 自动建立连接。

说明

这篇文章已经有些年头了,文中提到的 API 早已停用,不过我仍将文章保留在这里,作为存档。

如今,很多人都会使用 VPN,无论是出于个人用途还是工作需要。

VPN 的一个优势是有助于网页抓取。如果大量请求来自同一个 IP,就可能引起服务提供方的怀疑,导致封锁,进而妨碍我们正在进行的项目。

以前,我注册了一个 NordVPN 账号。这家公司在世界各地都有服务器,但存在一个问题:如果我们想连接西班牙的服务器,应用会根据位置和连接质量自动选择服务器,无法让我们自由选择。

幸运的是,只要知道服务器名称,NordVPN 客户端就允许我们指定任意服务器。因此,我们来创建一个 NordVPN 服务器列表,准备一组可以随机选择的 VPN 服务器。

很简单,对吧?

获取服务器列表

好消息是,NordVPN 自己的 API 会返回包含所有服务器的 JSON 数据。这会让事情简单得多。

使用 curl 请求 https://nordvpn.com/api/server 后,会得到以下结果:

...
{
  "id": 976484,
  "ip_address": "122.155.174.96",
  "search_keywords": [
    "sha512"
  ],
  "categories": [
    {
      "name": "Standard VPN servers"
    }
  ],
  "name": "Thailand #19",
  "domain": "th19.nordvpn.com",
  "price": 0,
  "flag": "TH",
  "country": "Thailand",
  "location": {
    "lat": 13.753979,
    "long": 100.501444
  },
  "load": 88,
  "features": {
    "ikev2": true,
    "openvpn_udp": true,
    "openvpn_tcp": true,
    "socks": false,
    "proxy": false,
    "pptp": false,
    "l2tp": false,
    "openvpn_xor_udp": false,
    "openvpn_xor_tcp": false,
    "proxy_cybersec": false,
    "proxy_ssl": true,
    "proxy_ssl_cybersec": true,
    "ikev2_v6": false
  }
}
...

我们关心的字段是 categories.name 和 domain。

Categories.name

这个字段表示 VPN 的类型,包含以下类别:

  • 标准 VPN 服务器(Standard VPN servers)
  • 专用 IP(Dedicated IP)
  • 双重 VPN(Double VPN)
  • 混淆服务器(Obfuscated servers)
  • P2P

我们只关心标准 VPN 服务器,因为其他类别面向特定的使用场景。

Domain

还记得前面说过,我们可以自行选择要连接的服务器吗?

这里的子域名就是服务器名称。例如,在 th19.nordvpn.com 中,服务器名是 th19,所以可以用下面的命令连接:

$ nordvpn c th19

处理 JSON

首先下载 JSON,在本地进行测试。测试完成后,就可以用网站上的数据替换本地文件:

$ curl https://nordvpn.com/api/server > dump

现在检查一下服务器数量:

import json

with open('dump', 'r') as c:
    servers = json.load(c)

print(len(servers))

结果是 5469 台服务器。正如前面所说,我们只需要标准服务器,所以接下来进行筛选:

import json

with open("dump", "r") as c:
    servers = json.load(c)

servers_def = []

for server in servers:
    try:
        if server["categories"][0]["name"] == "Standard VPN servers":
            servers_def.append(server)
    except:
        pass

print(len(servers_def))

这样就得到了 4840 台可供使用的服务器。

现在提取筛选后的服务器名称:

import json

with open("dump", "r") as c:
    servers = json.load(c)

def vpn_extract():
    servers_def = []
    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass
    return servers_def

这个函数会返回一个包含所需服务器名称的列表。快完成了,接下来只需把它整合进脚本。

方法很简单:创建一个函数,用脚本随机选出的服务器执行程序的连接命令。连接建立后,就可以进行我们需要的操作。

这个脚本很简单,但这样轮换 IP 就能省去很多麻烦。我们还可以修改用户代理(UA),让请求看起来更自然。

import json
from time import sleep
import subprocess
import random
import requests

def vpn_extract():
    servers_def = []
    web = requests.get("https://nordvpn.com/api/server")
    servers = json.loads(web.text)

    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass

    return servers_def

def vpn_connect():
    result = subprocess.run(
        ["nordvpn", "c", random.choice(vpn_extract())],
        capture_output=True
    )

while 1:
    vpn_connect()
    sleep(5)  # Hacemos lo que tengamos que hacer.

在后续文章中,我们将继续用这个基础脚本轮换 VPN,并将它用于实际场景,例如抓取网页,以降低被封锁的概率。