实操教程
提供可直接落地的代理与采集实操方法
Docker 设置代理:容器出站、Docker Compose 与 HTTP_PROXY 配置指南
Docker 设置代理不是一个统一开关:docker pull、docker build 和运行中的容器访问外网,属于三种不同网络场景。本文重点解决第三种——让运行中的 Docker 容器应用通过 H...
Puppeteer代理怎么配置?启动参数、代理认证与出口IP验证
Puppeteer 控制的是 Chrome/Chromium 浏览器请求。整个浏览器统一使用代理时,最常见的入口是 --proxy-server;只想让某个 BrowserContext 使用独立代理...
Axios代理怎么设置?HTTP、SOCKS5与Agent配置指南
在 Node.js 中,Axios 访问 HTTP 或 HTTPS 目标时,可以用 proxy 指定 HTTP/HTTPS 代理;使用 SOCKS5 时,通常把 SocksProxyAgent 交给 ...
Postman代理怎么设置?系统代理、自定义代理与连接测试
Postman 可以通过 System Proxy 或 Custom Proxy 让 API 请求经过代理服务器。如果电脑已经配置好系统代理,可让 Postman 继承;如果只希望 Postman 使...
cURL代理怎么设置?HTTP/HTTPS、SOCKS5配置与认证测试
cURL 设置代理最常用的写法,是用 -x 指定代理地址,用 -U 单独填写代理账号和密码。例如,通过带账密认证的 HTTP 代理访问 HTTPS 网站: curl -x http://proxy.e...
Clash Party 链式代理配置:前置节点、住宅IP与TUN验证
Clash Party 可以通过 YAML 覆写和 Mihomo 的 dialer-proxy 配置链式代理。本文以“前置节点 → 住宅代理”为例,配置完成后连接顺序为“本机 → 前置节点 → 住宅 ...
代理IP并发数怎么计算?线程、连接数、QPS和带宽的区别
代理 IP 并发数指某一时刻仍在发送、等待或接收响应的代理请求数量。它不等于线程数、不等于代理 IP 数量,也不等于每秒完成的请求数。用于初步估算时,可以采用:理论在途并发 ≈ 稳定成功 QPS × ...
固定出口IP怎么配置API白名单?从出口验证到切换上线
配置 API 白名单时,应该提交的不是服务器的 192.168.x.x 内网地址,也不一定是云平台控制台里看到的实例地址,而是请求最终到达合作方 API 时,对方实际看到的固定公网出口 IP。如果应用...
Codex 怎么下载?Windows、macOS、Linux、CLI 和 IDE 官方安装教程
下载 Codex 时,按设备和使用方式选择入口:Windows、macOS、Linux 普通用户使用 ChatGPT 桌面应用中的 Codex;终端开发者安装 Codex CLI;编辑器用户安装或启用...
千万级 Web scraping 任务开跑前:代理流量、并发与容量怎么估算?
你准备跑 1000 万条网页采集任务,供应商通常会接着问:需要多少流量、多少并发、多少带宽,要在多长时间内完成? 这时只回答“1000 万请求”还不够。因为 1000 万可能是业务任务,也可能是页面执...
数据采集团队该自建代理池、接入住宅代理,还是使用网页抓取 API?
架构选型先看团队准备自己维护到哪一层。已有成熟采集器、只缺网络出口,可以先接入住宅代理;目标少而稳定、工程能力成熟,可以继续自管采集链路;动态页面多、接入时间紧或浏览器维护已成为负担,可以测试网页解锁...
抓取成本到底怎么算?CAPTCHA、空页与重试如何推高每条有效数据成本
代理套餐每 GB 很便宜,请求日志里也有不少 HTTP 200,月底核算时却发现毛利仍然很薄。常见原因不是账单算错了,而是分母用错了:团队把“发出了多少次请求”当成“交付了多少条有效数据”,却没有扣掉...