云服务器搭建ip代理池教程，云服务器搭建高效IP代理池，实现快速稳定的代理服务

教程介绍如何在云服务器上搭建高效IP代理池，实现快速稳定的代理服务。

随着互联网的快速发展，网络爬虫、数据分析、自动化测试等领域对IP代理的需求日益增长，而IP代理池作为一种高效、稳定的代理服务，已经成为许多企业和开发者必备的工具，本文将详细讲解如何在云服务器上搭建一个高效、稳定的IP代理池，以供大家参考。

准备工作

1、云服务器：选择一台配置较高的云服务器，如2核4G内存，保证代理池的稳定运行。

2、操作系统：推荐使用CentOS 7或Ubuntu 18.04等稳定版本。

3、软件环境：Python 3.6+，pip，shadowsocks，python3-pymysql，python3-pysocks等。

4、IP地址：购买一批稳定、高质量的IP地址，用于构建代理池。

搭建步骤

1、安装Python环境和相关库

安装Python 3.6+
yum install -y python36u python36u-pip
安装pip
pip install --upgrade pip
安装相关库
pip install shadowsocks
pip install python3-pymysql
pip install python3-pysocks

2、创建代理池数据库

（1）创建数据库

mysql -u root -p

（2）创建代理池表

CREATE TABLEproxy_pool (id int(11) NOT NULL AUTO_INCREMENT,ip varchar(20) NOT NULL,port int(5) NOT NULL,country varchar(50) DEFAULT NULL,city varchar(50) DEFAULT NULL,last_check datetime DEFAULT NULL,
  PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

（3）创建代理池用户

CREATE USER 'proxy_user'@'localhost' IDENTIFIED BY 'proxy_password';
GRANT SELECT, INSERT, UPDATE ON proxy_pool.* TO 'proxy_user'@'localhost';
FLUSH PRIVILEGES;

3、编写代理池代码

（1）创建代理池主程序proxy_pool.py

import requests
import time
from multiprocessing import Pool
from concurrent.futures import ThreadPoolExecutor
import pymysql
数据库连接
def get_db_connection():
    connection = pymysql.connect(host='localhost',
                                 user='proxy_user',
                                 password='proxy_password',
                                 db='proxy_pool',
                                 charset='utf8mb4',
                                 cursorclass=pymysql.cursors.DictCursor)
    return connection
检查代理是否可用
def check_proxy(proxy):
    try:
        response = requests.get('http://httpbin.org/ip', proxies={"http": proxy, "https": proxy}, timeout=5)
        if response.status_code == 200:
            return True
    except:
        return False
获取代理IP
def get_proxy_ip():
    url = 'http://your_proxy_ip_provider.com/api'  # 代理IP提供商API
    response = requests.get(url)
    proxy_list = response.json()
    return proxy_list
保存代理IP到数据库
def save_proxy_ip(proxy_list):
    connection = get_db_connection()
    with connection.cursor() as cursor:
        for proxy in proxy_list:
            sql = "INSERT INTO proxy_pool (ip, port, country, city, last_check) VALUES (%s, %s, %s, %s, %s)"
            cursor.execute(sql, (proxy['ip'], proxy['port'], proxy['country'], proxy['city'], time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())))
    connection.commit()
检查并更新代理IP
def check_and_update_proxy():
    connection = get_db_connection()
    with connection.cursor() as cursor:
        cursor.execute("SELECT id, ip, port FROM proxy_pool")
        proxy_list = cursor.fetchall()
        for proxy in proxy_list:
            if not check_proxy(f'http://{proxy["ip"]}:{proxy["port"]'):
                sql = "DELETE FROM proxy_pool WHERE id = %s"
                cursor.execute(sql, (proxy["id"],))
    connection.commit()
主程序
if __name__ == '__main__':
    proxy_list = get_proxy_ip()
    save_proxy_ip(proxy_list)
    check_and_update_proxy()

（2）创建代理池爬虫程序proxy_crawler.py

import requests
from bs4 import BeautifulSoup
import time
from multiprocessing import Pool
获取代理IP
def get_proxy_ip(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    proxy_list = []
    for tr in soup.find_all('tr')[1:]:
        ip, port = tr.find_all('td')[0].text, tr.find_all('td')[1].text
        proxy_list.append(f'http://{ip}:{port}')
    return proxy_list
爬取代理IP
def crawl_proxy():
    url_list = [
        'http://your_proxy_ip_website_1.com',
        'http://your_proxy_ip_website_2.com',
        # ...
    ]
    with Pool(4) as pool:
        proxy_list = pool.map(get_proxy_ip, url_list)
        for proxy in proxy_list:
            print(proxy)
            time.sleep(1)  # 防止请求过快被封
if __name__ == '__main__':
    crawl_proxy()

4、部署代理池程序

（1）将proxy_pool.py和proxy_crawler.py上传到云服务器。

（2）在云服务器上运行proxy_pool.py程序。

python proxy_pool.py

（3）运行proxy_crawler.py程序爬取代理IP。

python proxy_crawler.py

通过以上步骤，您已经成功在云服务器上搭建了一个高效、稳定的IP代理池，在实际使用过程中，您可以根据需求调整代码，实现更丰富的功能，注意保持代理池的稳定性和安全性，确保代理服务的正常运行。