Python 与 VPN(1)
VPN 可以通过轮换 IP 地址来帮助我们进行网页抓取。本文将获取 NordVPN 的服务器列表,并使用 Python 自动建立连接。
这篇文章已经有些年头了,文中提到的 API 早已停用,不过我仍将文章保留在这里,作为存档。
如今,很多人都会使用 VPN,无论是出于个人用途还是工作需要。
VPN 的一个优势是有助于网页抓取。如果大量请求来自同一个 IP,就可能引起服务提供方的怀疑,导致封锁,进而妨碍我们正在进行的项目。
以前,我注册了一个 NordVPN 账号。这家公司在世界各地都有服务器,但存在一个问题:如果我们想连接西班牙的服务器,应用会根据位置和连接质量自动选择服务器,无法让我们自由选择。
幸运的是,只要知道服务器名称,NordVPN 客户端就允许我们指定任意服务器。因此,我们来创建一个 NordVPN 服务器列表,准备一组可以随机选择的 VPN 服务器。
很简单,对吧?
获取服务器列表
好消息是,NordVPN 自己的 API 会返回包含所有服务器的 JSON 数据。这会让事情简单得多。
使用 curl 请求 https://nordvpn.com/api/server 后,会得到以下结果:
...
{
"id": 976484,
"ip_address": "122.155.174.96",
"search_keywords": [
"sha512"
],
"categories": [
{
"name": "Standard VPN servers"
}
],
"name": "Thailand #19",
"domain": "th19.nordvpn.com",
"price": 0,
"flag": "TH",
"country": "Thailand",
"location": {
"lat": 13.753979,
"long": 100.501444
},
"load": 88,
"features": {
"ikev2": true,
"openvpn_udp": true,
"openvpn_tcp": true,
"socks": false,
"proxy": false,
"pptp": false,
"l2tp": false,
"openvpn_xor_udp": false,
"openvpn_xor_tcp": false,
"proxy_cybersec": false,
"proxy_ssl": true,
"proxy_ssl_cybersec": true,
"ikev2_v6": false
}
}
...
我们关心的字段是 categories.name 和 domain。
Categories.name
这个字段表示 VPN 的类型,包含以下类别:
- 标准 VPN 服务器(Standard VPN servers)
- 专用 IP(Dedicated IP)
- 双重 VPN(Double VPN)
- 混淆服务器(Obfuscated servers)
- P2P
我们只关心标准 VPN 服务器,因为其他类别面向特定的使用场景。
Domain
还记得前面说过,我们可以自行选择要连接的服务器吗?
这里的子域名就是服务器名称。例如,在 th19.nordvpn.com 中,服务器名是 th19,所以可以用下面的命令连接:
$ nordvpn c th19
处理 JSON
首先下载 JSON,在本地进行测试。测试完成后,就可以用网站上的数据替换本地文件:
$ curl https://nordvpn.com/api/server > dump
现在检查一下服务器数量:
import json
with open('dump', 'r') as c:
servers = json.load(c)
print(len(servers))
结果是 5469 台服务器。正如前面所说,我们只需要标准服务器,所以接下来进行筛选:
import json
with open("dump", "r") as c:
servers = json.load(c)
servers_def = []
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server)
except:
pass
print(len(servers_def))
这样就得到了 4840 台可供使用的服务器。
现在提取筛选后的服务器名称:
import json
with open("dump", "r") as c:
servers = json.load(c)
def vpn_extract():
servers_def = []
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server["domain"].split(".")[0])
except:
pass
return servers_def
这个函数会返回一个包含所需服务器名称的列表。快完成了,接下来只需把它整合进脚本。
方法很简单:创建一个函数,用脚本随机选出的服务器执行程序的连接命令。连接建立后,就可以进行我们需要的操作。
这个脚本很简单,但这样轮换 IP 就能省去很多麻烦。我们还可以修改用户代理(UA),让请求看起来更自然。
import json
from time import sleep
import subprocess
import random
import requests
def vpn_extract():
servers_def = []
web = requests.get("https://nordvpn.com/api/server")
servers = json.loads(web.text)
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server["domain"].split(".")[0])
except:
pass
return servers_def
def vpn_connect():
result = subprocess.run(
["nordvpn", "c", random.choice(vpn_extract())],
capture_output=True
)
while 1:
vpn_connect()
sleep(5) # Hacemos lo que tengamos que hacer.
在后续文章中,我们将继续用这个基础脚本轮换 VPN,并将它用于实际场景,例如抓取网页,以降低被封锁的概率。