CodeFormer 开源 AI 人脸修复模型完整使用指南
关于本站:第三方整理的中文文档站,非官方页面;内容来自公开资料整理,功能与界面以官方最新版为准。
CodeFormer 是什么
CodeFormer 是 南洋理工大学 S-Lab 团队发表于 NeurIPS 2022 的开源 AI 人脸修复模型,采用 Codebook Lookup Transformer 架构,将盲人脸修复问题转化为离散代码预测任务。它在多个测试集上同时超越了同期的 GFPGAN、RestoreFormer 等主流方法,尤其以 可控的保真度权重 w 为核心卖点——用户可以在「画面更漂亮」和「身份更准确」之间自由滑动。

产品档案速览
| 项目 | 说明 |
|---|---|
| 全称 | Towards Robust Blind Face Restoration with Codebook Lookup Transformer |
| 简称 | CodeFormer |
| 作者 | Shangchen Zhou, Kelvin C.K. Chan, Chongyi Li, Chen Change Loy |
| 所属机构 | S-Lab, Nanyang Technological University |
| 发表会议 | NeurIPS 2022 |
| 开源许可 | NTU S-Lab License 1.0 |
| 主要能力 | 人脸修复 / 黑白上色 / 区域修复 / 视频增强 / AI 生图后处理 |
| 核心参数 | 保真度权重 w ∈ [0, 1]、上倍倍率 s、背景增强、人脸上采样 |
| 硬件门槛 | NVIDIA GPU + CUDA ≥ 10.1,显存 ≥ 6GB(整图处理建议 12GB+) |
| 代码仓库 | GitHub(sczhou/CodeFormer) |
结构导览
本站按「场景 → 入口 → 精调 → 生态 → 选型」的路径组织,按需跳读:
先搞懂它能做什么
最快上手(不想本地装)
- HuggingFace 在线 Demo:浏览器直接上传图片,调参出图
- Replicate / OpenXLab:Replicate 和国内 OpenXLab 的在线入口
- Google Colab 笔记本:Colab 免费跑,适合 GPU 紧张的用户
需要批量处理或离线跑
- 硬件与显存要求:30 系 / 40 系 / T4 / A10 各档适配
- Conda 环境搭建:PyTorch + CUDA + BasicSR 全套依赖
- 预训练模型下载:CodeFormer + face detection + Real-ESRGAN
命令行推理(主力工作流)
- 对齐人脸修复:512×512 裁切对齐后跑纯修复
- 整图自动检测修复:一键检测人脸并融合回原图
- 视频逐帧增强:mp4 / mov 逐帧处理 + ffmpeg 合成
- 黑白照片上色:独立推理脚本 colorization
- 人脸区域修复:inpainting,修复划痕和遮挡
w 权重精调(CodeFormer 的灵魂)
- w 值工作原理:为什么小 w 更漂亮、大 w 更像本人
- 老照片推荐 w 值
- AI 生图推荐 w 值
AI 绘画生态集成
- SD WebUI 集成:AUTOMATIC1111 一键调用
- ComfyUI 节点:ComfyUI 工作流里做人脸修复
- ChaiNNer 集成:ChaiNNer 可视化节点
效果对比与选型
- vs GFPGAN 模糊人脸:两者擅长什么退化类型
- vs Real-ESRGAN 背景增强:背景区域到底该交给谁
- JPEG 压缩 artifact:重压缩照片的修复
- 重名人人脸修复:身份保真度测试
踩坑急救
一句话选型
GFPGAN 是"一键修好",CodeFormer 是"修完还能调"。如果原图还能看出是谁但画质差,用 CodeFormer 调 w=0.7 保住身份;如果原图已经崩到认不出,GFPGAN 的 GAN 判别器恢复更激进。两者在 SD WebUI 里通常搭配使用。