Proxies Python Requests y Scrapy

Extraer datos a gran escala sin protección es pedir un problema. La diferencia entre un proyecto que funciona y una IP baneada para siempre suele estar en los detalles de la conexión, y ahí entra el uso de proxies Python Requests Scrapy. Los sitios web ya no son tontos; sistemas como Cloudflare o Akamai analizan el tráfico en tiempo real y cortan la conexión si detectan el más mínimo patrón sospechoso. Después de años lidiando con infraestructura de red, una cosa está clara: el código puede ser perfecto, pero si la conexión intermedia es basura, el proyecto cae.

Por qué tu bot necesita proxies residenciales o dedicados

Si lanzas tu script desde el servidor de casa o tu VPS habitual, estás desnudo. Tu dirección IP está ahí, expuesta, cantando quién eres y desde dónde conectas. Los anti-bots miran la frecuencia de las peticiones, revisan los headers y, sobre todo, el origen. Ven 100 peticiones por segundo desde la misma dirección y no lo dudan: grifo cerrado. Asumen que es un ataque o un bot mal programado.

Aquí es donde los proxies salvan el día. Actúan como ese intermediario necesario. Tu script pide datos al proxy, y es el proxy quien va al servidor de destino. El sitio ve la IP del proxy, no la tuya. Pero ojo, no sirve cualquiera. Necesitas proxies que no estén en listas negras. Servicios como ProxySEO.es dan acceso a proxies HTTP/s y SOCKSv5 dedicados con IPs españolas. Haces que el tráfico parezca legítimo, como si viniera de un usuario real en una ubicación geográfica concreta.

Configuración de proxies en la librería Requests

No hay muchas dudas: Requests es el estándar en Python para esto. Meter un proxy es fácil, pero si quieres que el proyecto aguante, tienes que ir más allá de lo básico. Hay que gestionar errores, poner tiempos de espera y, sobre todo, no quedarse quieto con una sola IP.

Para empezar, así es como se estructura un proxy en Requests:

import requests

proxies = {
'http': 'http://usuario:contraseña@ip_proxy:puerto',
'https': 'http://usuario:contraseña@ip_proxy:puerto',
}

try:
response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=10)
print(response.json())
except requests.exceptions.RequestException as e:
print(f"Error en la petición: {e}")

Rotación de User-Agents y Headers

Con cambiar la IP no basta. Si tu User-Agent dice claramente python-requests/x.y.z, te cerrarán la puerta en la cara en segundos. Tienes que parecer un navegador de verdad.

import random

user_agents = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.3 Safari/605.1.15',
]

headers = {
'User-Agent': random.choice(user_agents),
'Accept-Language': 'es-ES,es;q=0.9',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
}

response = requests.get('https://objetivo.com', proxies=proxies, headers=headers)

Implementación avanzada en Scrapy Middleware

Scrapy es otra historia. Es un framework potente, pensado para escalar, y su arquitectura de middlewares es perfecta para inyectar proxies sin ensuciar el código de cada Spider. Lo ideal es no configurar el proxy en cada archivo, sino crear un Middleware central que gestione la asignación y rotación de IPs automáticamente para todo el proyecto.

Creación del Middleware de Proxy

Crea un archivo (por ejemplo, middlewares.py) y define una clase que intercepte la petición antes de salir. Este ejemplo asume que ya tienes una lista de proxies dedicados, como los que ofrece ProxySEO.es:

import random

class ProxyRotationMiddleware:
def __init__(self, proxies_list):
self.proxies = proxies_list

@classmethod
def from_crawler(cls, crawler):
# Obtener la lista de proxies desde settings.py
return cls(
proxies_list=crawler.settings.getlist('PROXY_LIST')
)

def process_request(self, request, spider):
# Seleccionar un proxy aleatorio de la lista
proxy = random.choice(self.proxies)
request.meta['proxy'] = proxy
# Opcional: Imprimir para depuración (comentar en producción)
spider.logger.info(f'Usando proxy: {proxy}')

def process_exception(self, request, exception, spider):
# Si falla el proxy (ej: error 407 o timeout), podemos manejarlo aquí
if 'proxy' in request.meta:
spider.logger.error(f'Fallo con el proxy {request.meta["proxy"]}: {exception}')

Activación del Middleware en settings.py

Para que Scrapy sepa que tiene que usar este middleware, toca tocar settings.py. Añade esto:

Lista de proxies (formato http://user:pass@ip:port)
PROXY_LIST = [
'http://mi_usuario:[email protected]:8080',
'http://mi_usuario:[email protected]:8080',
# Añade aquí tus proxies de ProxySEO.es
]

Prioridad del middleware (300 es un buen valor para que sobrescriba otros)
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.ProxyRotationMiddleware': 300,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}

Desactivar el cache para asegurar peticiones frescas durante pruebas
HTTPCACHE_ENABLED = False

Estrategias para evitar bloqueos con éxito

Tener buenos proxies, como los de ProxySEO.es con su tráfico ilimitado y IPs estáticas españolas, es el principio. Pero tu comportamiento también importa. Si lanzas 10.000 peticiones en un minuto, aunque la IP sea limpia, el patrón de tráfico gritará «soy un robot». Hay que ser inteligente.

Limitación de velocidad (Rate Limiting)

Configura DOWNLOAD_DELAY en Scrapy o usa time.sleep() en Requests. Hay que simular respiración humana. En Scrapy queda así:

Espera aleatoria entre 2 y 5 segundos entre peticiones
DOWNLOAD_DELAY = 3
RANDOMIZE_DOWNLOAD_DELAY = True

proxies = {
'http': 'socks5://usuario:pass@ip:puerto',
'https': 'socks5://usuario:pass@ip:puerto',
}