PythonとVPN(1)

VPNを使ってIPアドレスを切り替えると、ウェブスクレイピングに役立ちます。NordVPNのサーバー一覧を取得し、Pythonで接続を自動化してみましょう。

補足

この記事はかなり古く、紹介しているAPIはずいぶん前に廃止されましたが、記録として残しておきます。

今では、個人でも仕事でも、多くの人がVPNを使っています。

VPNの利点の一つは、ウェブスクレイピングに役立つことです。同じIPから大量のリクエストを送ると、サービス提供者に不審なアクセスと判断され、ブロックされる可能性があります。その結果、進めているプロジェクトに支障が出てしまいます。

以前、NordVPNのアカウントを作りました。この会社には世界中にサーバーがあります。ただし、一つ問題があります。スペインのサーバーに接続したい場合、アプリが位置情報や接続品質に基づいて自動的にサーバーを選ぶため、自由に選択できません。

幸い、NordVPNのクライアントでは、サーバー名さえ分かれば任意のサーバーを選べます。そこで、NordVPNのサーバー一覧を作り、ランダムに選べるVPNサーバーの候補を用意しましょう。

簡単ですよね?

サーバー一覧の取得

うれしいことに、NordVPNのAPIから、すべてのサーバーを含むJSONを取得できます。これで作業がずっと楽になります。

curlで https://nordvpn.com/api/server にリクエストを送ると、次のような結果が得られます。

...
{
  "id": 976484,
  "ip_address": "122.155.174.96",
  "search_keywords": [
    "sha512"
  ],
  "categories": [
    {
      "name": "Standard VPN servers"
    }
  ],
  "name": "Thailand #19",
  "domain": "th19.nordvpn.com",
  "price": 0,
  "flag": "TH",
  "country": "Thailand",
  "location": {
    "lat": 13.753979,
    "long": 100.501444
  },
  "load": 88,
  "features": {
    "ikev2": true,
    "openvpn_udp": true,
    "openvpn_tcp": true,
    "socks": false,
    "proxy": false,
    "pptp": false,
    "l2tp": false,
    "openvpn_xor_udp": false,
    "openvpn_xor_tcp": false,
    "proxy_cybersec": false,
    "proxy_ssl": true,
    "proxy_ssl_cybersec": true,
    "ikev2_v6": false
  }
}
...

必要なキーはcategories.nameとdomainです。

Categories.name

このキーはVPNの種類を表します。次のカテゴリーがあります。

  • 標準VPNサーバー(Standard VPN servers)
  • 専用IP(Dedicated IP)
  • 二重VPN(Double VPN)
  • 難読化サーバー(Obfuscated servers)
  • P2P

今回は標準VPNサーバーだけを使います。ほかのカテゴリーは特定の用途向けだからです。

Domain

接続先のサーバーを自由に選べると説明したのを覚えていますか?

この場合、サブドメインからサーバー名が分かります。例えばth19.nordvpn.comなら、サーバー名はth19なので、次のコマンドで接続できます。

$ nordvpn c th19

JSONの処理

まず、ローカルでテストするためにJSONをダウンロードします。テストが終わったら、ローカルファイルをウェブサイトのデータに置き換えられます。

$ curl https://nordvpn.com/api/server > dump

次に、サーバーの数を確認しましょう。

import json

with open('dump', 'r') as c:
    servers = json.load(c)

print(len(servers))

5469台のサーバーが得られます。先ほど説明したとおり、必要なのは標準サーバーだけなので、絞り込みます。

import json

with open("dump", "r") as c:
    servers = json.load(c)

servers_def = []

for server in servers:
    try:
        if server["categories"][0]["name"] == "Standard VPN servers":
            servers_def.append(server)
    except:
        pass

print(len(servers_def))

これで、利用できるサーバーが4840台になりました。

次に、絞り込んだサーバーの名前を取り出します。

import json

with open("dump", "r") as c:
    servers = json.load(c)

def vpn_extract():
    servers_def = []
    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass
    return servers_def

この関数で、必要なサーバー名のリストを取得できます。あと少しです。スクリプトに組み込みましょう。

仕組みは簡単です。スクリプトがランダムに選んだサーバーを指定して、プログラムのコマンドを実行する関数を作ります。接続が完了したら、必要な処理を行えます。

単純なスクリプトですが、このIPの切り替えだけでも多くの面倒を避けられます。ユーザーエージェント(UA)を変更して、リクエストをより自然に見せることもできます。

import json
from time import sleep
import subprocess
import random
import requests

def vpn_extract():
    servers_def = []
    web = requests.get("https://nordvpn.com/api/server")
    servers = json.loads(web.text)

    for server in servers:
        try:
            if server["categories"][0]["name"] == "Standard VPN servers":
                servers_def.append(server["domain"].split(".")[0])
        except:
            pass

    return servers_def

def vpn_connect():
    result = subprocess.run(
        ["nordvpn", "c", random.choice(vpn_extract())],
        capture_output=True
    )

while 1:
    vpn_connect()
    sleep(5)  # Hacemos lo que tengamos que hacer.

次回以降は、この基本スクリプトを使ったVPNの切り替えを続け、ウェブスクレイピングでブロックされにくくするなど、実際の用途に応用していきます。