PythonとVPN(1)
VPNを使ってIPアドレスを切り替えると、ウェブスクレイピングに役立ちます。NordVPNのサーバー一覧を取得し、Pythonで接続を自動化してみましょう。
この記事はかなり古く、紹介しているAPIはずいぶん前に廃止されましたが、記録として残しておきます。
今では、個人でも仕事でも、多くの人がVPNを使っています。
VPNの利点の一つは、ウェブスクレイピングに役立つことです。同じIPから大量のリクエストを送ると、サービス提供者に不審なアクセスと判断され、ブロックされる可能性があります。その結果、進めているプロジェクトに支障が出てしまいます。
以前、NordVPNのアカウントを作りました。この会社には世界中にサーバーがあります。ただし、一つ問題があります。スペインのサーバーに接続したい場合、アプリが位置情報や接続品質に基づいて自動的にサーバーを選ぶため、自由に選択できません。
幸い、NordVPNのクライアントでは、サーバー名さえ分かれば任意のサーバーを選べます。そこで、NordVPNのサーバー一覧を作り、ランダムに選べるVPNサーバーの候補を用意しましょう。
簡単ですよね?
サーバー一覧の取得
うれしいことに、NordVPNのAPIから、すべてのサーバーを含むJSONを取得できます。これで作業がずっと楽になります。
curlで https://nordvpn.com/api/server にリクエストを送ると、次のような結果が得られます。
...
{
"id": 976484,
"ip_address": "122.155.174.96",
"search_keywords": [
"sha512"
],
"categories": [
{
"name": "Standard VPN servers"
}
],
"name": "Thailand #19",
"domain": "th19.nordvpn.com",
"price": 0,
"flag": "TH",
"country": "Thailand",
"location": {
"lat": 13.753979,
"long": 100.501444
},
"load": 88,
"features": {
"ikev2": true,
"openvpn_udp": true,
"openvpn_tcp": true,
"socks": false,
"proxy": false,
"pptp": false,
"l2tp": false,
"openvpn_xor_udp": false,
"openvpn_xor_tcp": false,
"proxy_cybersec": false,
"proxy_ssl": true,
"proxy_ssl_cybersec": true,
"ikev2_v6": false
}
}
...
必要なキーはcategories.nameとdomainです。
Categories.name
このキーはVPNの種類を表します。次のカテゴリーがあります。
- 標準VPNサーバー(Standard VPN servers)
- 専用IP(Dedicated IP)
- 二重VPN(Double VPN)
- 難読化サーバー(Obfuscated servers)
- P2P
今回は標準VPNサーバーだけを使います。ほかのカテゴリーは特定の用途向けだからです。
Domain
接続先のサーバーを自由に選べると説明したのを覚えていますか?
この場合、サブドメインからサーバー名が分かります。例えばth19.nordvpn.comなら、サーバー名はth19なので、次のコマンドで接続できます。
$ nordvpn c th19
JSONの処理
まず、ローカルでテストするためにJSONをダウンロードします。テストが終わったら、ローカルファイルをウェブサイトのデータに置き換えられます。
$ curl https://nordvpn.com/api/server > dump
次に、サーバーの数を確認しましょう。
import json
with open('dump', 'r') as c:
servers = json.load(c)
print(len(servers))
5469台のサーバーが得られます。先ほど説明したとおり、必要なのは標準サーバーだけなので、絞り込みます。
import json
with open("dump", "r") as c:
servers = json.load(c)
servers_def = []
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server)
except:
pass
print(len(servers_def))
これで、利用できるサーバーが4840台になりました。
次に、絞り込んだサーバーの名前を取り出します。
import json
with open("dump", "r") as c:
servers = json.load(c)
def vpn_extract():
servers_def = []
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server["domain"].split(".")[0])
except:
pass
return servers_def
この関数で、必要なサーバー名のリストを取得できます。あと少しです。スクリプトに組み込みましょう。
仕組みは簡単です。スクリプトがランダムに選んだサーバーを指定して、プログラムのコマンドを実行する関数を作ります。接続が完了したら、必要な処理を行えます。
単純なスクリプトですが、このIPの切り替えだけでも多くの面倒を避けられます。ユーザーエージェント(UA)を変更して、リクエストをより自然に見せることもできます。
import json
from time import sleep
import subprocess
import random
import requests
def vpn_extract():
servers_def = []
web = requests.get("https://nordvpn.com/api/server")
servers = json.loads(web.text)
for server in servers:
try:
if server["categories"][0]["name"] == "Standard VPN servers":
servers_def.append(server["domain"].split(".")[0])
except:
pass
return servers_def
def vpn_connect():
result = subprocess.run(
["nordvpn", "c", random.choice(vpn_extract())],
capture_output=True
)
while 1:
vpn_connect()
sleep(5) # Hacemos lo que tengamos que hacer.
次回以降は、この基本スクリプトを使ったVPNの切り替えを続け、ウェブスクレイピングでブロックされにくくするなど、実際の用途に応用していきます。