首頁什麼是代理IP? 如何在 Python 請求中使用代理IP？

如何在 Python 請求中使用代理IP？

Pandada 文章於 4个月前發佈

尋求幫助提交評論

4.70

在本文中，我們將研究如何在代理服務器後面使用 Python Requests 庫。開發人員使用代理來實現匿名性、安全性，有時甚至會使用多個代理來防止網站禁止其 IP 地址。代理還具有其他一些好處，例如繞過過濾器和審查制度。

先決條件和安裝

本文面向那些想要在 Python 中挖掘代理的人。為了充分利用材料，有利於：

✅ 有 Python 3 經驗?。

✅ Python 3 安裝在您的本地計算機上。

步驟 1: 安裝 Requests 庫

首先，確保你的 Python 環境中安裝了 Requests 庫。如果還沒有安裝，可以通過 pip 安裝：

pip install requests

拓展閱讀: Python通過HTTP代理爬取網頁文章

步驟 2: 設置代理IP

在 Requests 中使用代理非常簡單。你只需要創建一個字典，其中包含你想要通過的代理服務器的協議和地址。例如：

proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

這里，`http` 鍵對應的值是用於 HTTP 請求的代理服務器地址，`https` 鍵對應的是 HTTPS 請求的代理服務器地址。注意，代理服務器的 IP 地址和端口號需要根據你的實際情況替換。

步驟 3: 發送請求

一旦設置好代理，你就可以在發送請求時將其作為參數傳遞給 Requests 的函數了。這里是一個使用代理發送 GET 請求的示例：

import requests

url = 'http://example.com'
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

response = requests.get(url, proxies=proxies)
print(response.text)

步驟 4: 處理異常

使用代理時，可能會遇到網絡連接問題或代理服務器問題。為了使你的應用更健壯，應當捕獲並處理可能出現的異常：

import requests
from requests.exceptions import RequestException

url = 'http://example.com'
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

try {
    response = requests.get(url, proxies=proxies)
    print(response.text)
} catch (RequestException e) {
    print(f"請求失敗: {e}")
}

步驟 5: 使用認證的代理IP

如果你的代理服務器需要認證，你可以在代理地址中包含用戶名和密碼。例如：

proxies = {
    "http": "http://user:[email protected]:3128",
    "https": "https://user:[email protected]:1080",
}

確保替換 `user` 和 `password` 為你的代理認證信息。

通過以上步驟，你可以在 Python 中使用 Requests 庫通過代理發送請求。這對於數據抓取、測試和許多其他場景都非常有用。

在本教程的基礎上，我們將進一步探討如何使用 Python 的 Requests 庫管理多個代理，並實現一個簡單的代理池。這對於需要頻繁更換 IP 地址以避免被目標網站封鎖的情況尤其有用。

創建代理池

代理池的基本思想是維護一個代理列表，從中隨機選擇代理以分散請求的源地址。這里是如何實現一個基本的代理池：

存儲代理列表：可以將代理存儲在列表中，或者使用更高級的存儲系統如數據庫或緩存系統。

選擇代理：從列表中隨機選擇一個代理用於發起請求。

驗證代理有效性：定期檢測代理的有效性，移除無效或響應慢的代理。

import requests
import random

# 代理列表
proxies_list = [
    {"http": "http://10.10.1.10:3128", "https": "https://10.10.1.10:1080"},
    {"http": "http://10.10.2.10:3128", "https": "https://10.10.2.10:1080"},
    {"http": "http://10.10.3.10:3128", "https": "https://10.10.3.10:1080"}
]

def get_random_proxy():
    return random.choice(proxies_list)

# 使用隨機代理發送請求
url = 'http://example.com'
proxy = get_random_proxy()
response = requests.get(url, proxies=proxy)
print(response.text)