有人把流程整理出来了 - 17c一起草——17c日韩——关于网站镜像的说法，我反复确认了两遍…？有更新我会继续补

导语 我把自己在做网站镜像（site mirror）时的思路和具体流程整理出来，结合在 17c 一起草/17c 日韩相关场景中常遇到的问题，做了两遍核对并修正细节。本文面向希望把一个网站完整或增量镜像到自有环境、用于备份、离线浏览或开发测试的读者。后面如果有新的实践或工具，我会继续补充。

一、先说明一下“镜像”指什么 镜像通常指把目标网站的静态页面、资源（图片、CSS、JS）以及必要的动态接口数据抓取到本地或另一台服务器，形成可访问的副本。镜像不等于拿到完整的后台源码或数据库，复杂的动态交互、用户专属内容、受权限保护的数据通常无法通过单纯抓取得到。

二、核对两遍的重点（我实际操作时确认的项目）

• 是否有抓取/复制权限（法人/版权/服务条款/robots.txt）；在公共许可范围内继续。
• 静态资源是否能直接抓取（图片、CSS、JS、字体）；是否存在 CDN 限制或防盗链。
• 动态渲染与客户端请求：SPA、API 请求、懒加载、WebSocket 等是否能还原。
• 链接与路由：是否采用 History API 的前端路由，需做路由重写。
• 表单、登录、会话相关的不可复现点是否能接受或用替代方案。
• SEO、HTTPS、HSTS、CORS 等在镜像后的表现与用户体验。

三、工具与环境（常用）

• wget（适合简单静态抓取）
• HTTrack（界面友好，适合初学者）
• puppeteer / Playwright（抓取动态渲染页面与 API）
• rsync / lftp（增量同步）
• nginx 或 Caddy（反向代理/静态托管）
• 链接检查工具：linkchecker、sitebulb 等

四、标准流程（步骤化） 1) 权限与边界确认

• 确认是否有权抓取目标内容；检查 robots.txt、服务条款。
  2) 环境准备
• 创建工作目录，准备抓取机（带足够带宽与存储）。
  3) 静态抓取（示例 wget）
• wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com
• 参数说明：--mirror 做镜像，--convert-links 本地化链接，--page-requisites 拉取页面所需资源，--adjust-extension 保持扩展名。
• 需留意 robots 规则，默认 wget 会遵守。若确定允许，可通过 -e robots=off 覆写（请先确认权限）。
  4) 动态内容抓取
• 对于 SSR 无问题；对于 SPA 或依赖 JS 渲染的页面，采用 puppeteer：让页面执行 JS，等待 API 返回后抓取最终 HTML 或把必要 API 返回的数据另存。
• puppeteer 示例思路：打开 URL -> 等待 networkidle0/特定 selector -> 获取 page.content() 或截取 API response。
  5) 资产处理与路径修正
• 将资源引用（绝对 URL）本地化或换成代理路径；对前端路由做 rewrite 规则（例如 nginx try_files 指向 index.html）。
  6) 测试与校验
• 本地启动一个静态服务（nginx/simple http server），逐页检查渲染、脚本、图片是否正常；使用 linkchecker 检查死链。
• 对比文件数量、大小与哈希做变更确认。
  7) 增量更新与自动化
• 对于频繁变化的站点，建立增量抓取流程：用 rsync 或再次执行带时间窗口的抓取脚本；把最终结果纳入版本控制或归档。
• 用 cron 或 CI/CD（GitHub Actions、GitLab CI）调度。
  8) 部署与发布
• 把镜像放到目标服务器，配置 nginx 做静态托管或反向代理；注意 HTTPS、HSTS、Content-Security-Policy。
  9) 备份与回滚
• 定期打包备份，保留快照；发生问题可以回滚到最近有效版本。

五、常见误区

• “镜像就是把后台源码拿过来” — 事实通常不是，镜像重在页面与资源的可访问副本，无法直接拿到服务端逻辑与数据库。
• “镜像后 SEO 会自动生效” — 若镜像用于公开站点，需考虑重复内容、canonical、robots，以及是否会被搜索引擎识别为原创。
• “只用 wget 就万事大吉” — 静态站点可以，复杂的 JS 渲染、异步请求仍需 headless 浏览器或抓取 API 层数据。
• “HTTPS 问题好解决” — HSTS、证书、第三方资源（CDN）可能需要额外配置或替代策略。

六、实战小贴士

• 先对目标做小范围试点（几个页面），验证流程再扩大。
• 对于需登录查看的内容，可考虑在合法前提下用自动化登录并抓取 API 响应，或请求数据导出接口。
• 保存抓取日志与网络请求的 HAR 文件，便于后续排查。
• 资源重命名与缓存策略要清晰，避免镜像后仍引用旧 CDN 链接导致混淆。

本文标签： # 17c # 有人 # 流程