Midjourney与Stable Diffusion实战：从提示词到工作流的AI绘图进阶指南

做设计这行十几年Midjourney和Stable Diffusion是我近几年见过最颠覆工作流的工具。上个月帮几个新入行的朋友梳理AI绘图学习路径发现大家卡住的点其实高度相似不是不会点按钮而是缺少一条从零到精通的清晰主线。后来我把这套思路整理成了25节实战课今天就把其中最核心的经验直接摊开讲讲覆盖工具选型、环境搭建、提示词工程、进阶工作流和问题排查。无论你是完全零基础还是已经会用某个工具但一直出图不稳定这篇内容都值得你从头到尾看一遍。1. 工具选型为什么Midjourney和Stable Diffusion都要学1.1 定位差异云端出图与本地出图的本质区别Midjourney和Stable Diffusion看起来都在做AI绘图但底层逻辑完全不同。Midjourney从诞生起就是云端服务你把一段描述词发过去它在自己的服务器上完成推理再把图片传回来。这个模式的直接好处是上手门槛极低不需要高配显卡、不需要安装环境、不用下载几个GB的模型包注册完就能出图。我第一次用Midjourney时最强烈的感受是它不像一个工具更像一个审美不错的助手——你只需要学会描述画面它就能把画面画出来。Stable Diffusion走的是另一条路线。它本身是一个开源模型但真正让SD变得强大的是围绕它长起来的整套生态Checkpoint大模型、LoRA微调模型、ControlNet控制网络、各种脚本插件。这套生态赋予了用户“像素级”的干预能力比如锁定人物姿势、保持同一角色的一致性、把线稿精确转成上色稿这些都是Midjourney目前很难稳定做到的。做商业项目时这种控制力就是生产力。1.2 能力边界什么场景用MJ什么场景必须上SD用一句话总结我的经验Midjourney负责“想”Stable Diffusion负责“定”。做概念稿、风格探索、氛围草图的时候Midjourney的效率极高。它的默认审美在线很多时候一张图就能定下整体方向。我帮客户做地产项目的前期概念方案通常会用MJ先出二十张意向图然后挑两三张深化。但MJ的短板也很明显它对细节的精确控制偏弱经常出现“大体好看细节翻车”的情况比如手指多一根、眼镜腿穿模、背景文字变成乱码而且没办法只改某个局部而不动整体。Stable Diffusion的强项正好补在这块短板上。你可以用ControlNet锁定人物的动作用局部重绘改掉某个穿帮区域通过训练LoRA让模型稳定输出特定角色。代价是学习曲线陡峭得多既要懂模型原理又要会部署环境还要能看懂各种报错日志。做过完整项目的人都会明白两把武器都备着跟客户沟通时心里才有底。1.3 选型建议按需组合别搞“工具崇拜”我给学员的选型建议一直很朴素预算充足、重视效率就以Midjourney为主SD作为补充追求深度定制、要做系列化内容就主攻SD时间多的两者都学。最容易踩的坑是“工具崇拜”——以为装了SD就等于会AI绘图结果下载了好几个模型包出了几张图就搁置了。这里插一句关于成本的提醒。Midjourney是订阅制很多人会搜“Midjourney促销码怎么获得”其实官方偶尔有活动但更要紧的是先确认自己是否真能常驻使用否则订阅一个月又荒废就完全没必要花这个钱。SD本地部署虽然是免费的但你需要一台能跑的电脑这个隐形成本也要算进去。对比维度MidjourneyStable Diffusion部署方式云端服务不占本地算力本地部署也可用在线版本上手难度低注册即用高需配置环境和模型出图控制力中等适合风格探索强可精细控制构图内容生态模型封闭不支持自定义模型开放海量模型插件硬件要求无NVIDIA显卡8GB起适合场景概念设计、灵感探索落地生产、定制输出2. 环境准备从注册账号到本地部署的第一道坎2.1 Midjourney注册与第一次出图Midjourney是通过Discord来操作的这一步劝退了很多人。其实流程很简单注册Discord账号加入MJ官方服务器在任一新手频道输入/imagine后面跟上你的英文描述回车就是第一次生成。不少人在这里有个误区以为写完描述等着就行其实MJ默认会一次生成四张图图片下方有 U1-U4 和 V1-V4 两组按钮。U是放大其中一张V是让MJ照着某一张的风格继续变体。这两个按钮的组合用法是效率提升的第一课。提示词语法方面新手先记住三个参数就够用--ar控制宽高比比如--ar 16:9--v指定模型版本现在主用v6--no排除某些元素比如--no text可以让画面里不出现文字。刚开始不建议堆太多参数先把图片和描述词对应起来感受什么词能带来什么视觉变化这个基础打牢了后面学SD会轻松很多。2.2 Stable Diffusion本地部署显卡与整合包SD本地部署最大的拦路虎是硬件。以现在主流的SD WebUI为例最低建议NVIDIA显卡8GB显存20系及以上体验比较好。如果只有4GB显存也能跑但出图分辨率会被限制在512x512左右再大就容易报显存不足。Mac用户用M系列芯片也能玩速度慢一些但基本可用。纯CPU推理我不推荐一张512的图能等半小时只适合验证环境是否装好。部署方式上强烈建议新手用整合包起步比如经常听到的“秋叶整合包”解压即用Python环境和基础依赖都提前配好了。手动部署适合有一定基础的人装Python 3.10.6、装Git、拉取官方WebUI仓库、运行启动脚本依赖会自动补齐。我给新手的建议是不要一上来追求“从源码编译”的成就感先用整合包把流程跑通能稳定出图了再回头研究底层细节不迟。2.3 模型下载与目录配置SD出图效果好不好九成取决于你加载了什么模型。模型主要分三类Checkpoint大模型决定整体画风像写实类的Realistic Vision、二次元类的Anything V5都是很经典的起点LoRA模型是微调小模型体积通常几十到一两百MB用来锁定某个角色、某种风格或者某个特定物件VAE负责色彩校正和细节修复很多大模型内置了没有内置的需要单独下载配套版本。模型放的位置是有讲究的。Checkpoint放在models/Stable-diffusion目录LoRA放在models/Lora目录VAE放在models/VAE目录。在WebUI左上角选好大模型点生成就会自动加载。下载模型时要注意看作者主页标注的推荐采样器和负面提示词这些信息通常是作者测试过的最佳组合照抄都能提升不少出图质量。我见过太多人下载一堆模型包却不知道选哪个真正该做的是先固定两三个模型精用摸透它们的脾气再说。3. 提示词工程决定出图质量的核心能力3.1 提示词的基本结构与权重表达不管MJ还是SD提示词都需要遵循“主体描述 环境氛围 风格设定 画质增强”的四段式结构。举个例子我想生成一张商业产品图a perfume bottle, glass material, golden hour lighting, studio background, commercial photography, 8k, hdr——后半段的8k、hdr其实不产生具体内容但能明显提升画面的清晰度和质感这类词属于画质增强词。SD里还有一套权重语法用小括号(keyword)增加权重中括号[keyword]削弱权重精确控制可以写成(keyword:1.2)。很多人有个误区以为权重越高越好实际上权重超过1.5画面很容易出现过饱和和细节崩坏。我自己的习惯是把最重要的主体权重控制在1.1到1.3之间环境词保持默认画质词固定一组这样出图稳定性高很多。3.2 负面提示词值得单独讲的“另一半”负面提示词是SD最有价值、也最容易被新手忽略的功能。它的逻辑很简单告诉模型不要画什么。我常用的通用负面词是lowres, bad anatomy, bad hands, extra fingers, missing fingers, deformed, blurry, watermark, signature这一串能解决大部分画面质量问题和出图带水印的尴尬。特别是人物半身图“bad hands”和“extra fingers”几乎必加AI画手翻车是所有工具的通病。Midjourney 6.0版本也有类似功能通过--no hands、--no text这种写法排除某些元素但精细度远不如SD。做人物特写时负面提示词我建议整理成固定模板存成SD的样式预设每次生成时一键调用。这样做的好处是稳定不会每次漏掉某个关键词导致画面翻车。3.3 采样器、步数与CFG参数背后的视觉逻辑这三个参数决定了AI绘图里“去噪”的过程。SD出图本质是从一张纯噪声图逐步还原成清晰图像采样器是走完这个过程的算法步数是走的步数CFG是每一步对提示词的遵循程度。采样器选择上新版本我比较推荐DPM 2M Karras和Euler a前者细节丰富适合插画和写实后者速度快适合快速迭代测试。步数建议20到30之间25步是一个比较平衡的点步数太高不仅慢画面还可能变糊。CFG建议从7左右开始调太低画面会发散太高画面对比度过强、显得僵硬。这三个参数没有标准答案最快的方式是同一张图用不同组合跑一遍直接感受差异感受几次就建立了属于自己的参数手感。4. 进阶工作流图生图、局部重绘与ControlNet4.1 图生图从“凭空想象”到“有迹可循”图生图是SD里最实用的功能之一。它的原理是把一张已有图片作为基础再结合你的提示词重新演化所以出图会保留原图的构图和整体轮廓。最典型的应用是风格迁移同一张线稿换成不同提示词可以快速生成水彩、油画、3D渲染等多种风格的成品。图生图最关键的参数是重绘幅度Denoising strength范围从0到1。数值越低结果越接近原图数值越高变化越大。我的经验是做风格迁移时设在0.5到0.7之间既能看出风格变化又不会把原图的面目全部改掉。如果只是想微调色调和光影设在0.3以下更合适。理解这个参数的原理你要知道它本质是“往原图里倒多少噪声”所以重绘幅度越大改的就是越基础的画面结构。4.2 局部重绘修复瑕疵的标准操作局部重绘解决的是“整体满意但有局部瑕疵”的场景。在WebUI里进入局部重绘用画笔把需要修改的区域涂黑再输入新的描述词模型只会重新生成这块区域。这个功能我几乎每天都会用因为AI出图总会在意想不到的地方出错比如人物脸上多了一缕头发、背景里穿帮了个栏杆、桌面上冒出一只杯子用画笔涂一下局部重绘比重做整张图省太多时间。局部重绘有个参数叫“蒙版模糊”Mask blur很多人会忽略。需要重绘区域形状和原来差不多时蒙版模糊设为0边界更锐利希望新内容和周围融合更自然可以开到5到10。另外记得把“重绘区域”选为“仅蒙版”这样模型只处理蒙版内部不影响图片其他部分。实际操作中AI绘画出图后极少一遍通过局部修复这一课真的绕不开。4.3 ControlNet用骨架控制人物和结构ControlNet是SD生态里最颠覆性的插件没有之一。它通过姿势骨架、深度图、边缘线这些辅助信息把模型生成过程“约束”在一个可控框架里。最常见的用法是动作迁移用OpenPose提取一张参考图的骨骼姿态然后上传姿态图提示词写人物描述AI就会按照这个姿态生成新的人物动作分毫不差。做系列角色设定图的时候这个功能能省掉大量反复抽卡的时间。ControlNet有十几种预处理器新手先掌握三种就够用OpenPose管人体骨骼Canny管边缘结构Depth管空间深度。每次用的时候要注意预处理器和对应的模型必须配套选择比如选了OpenPose预处理器模型也要选带control_openpose后缀的否则会报错或者出图混乱。应用场景上做产品渲染可以先Canny提取产品轮廓再配合提示词重渲产品轮廓就不会跑偏做室内效果图用Depth能保证空间结构基本正确。学ControlNet的过程有些门槛但一旦掌握出图的确定性和可控性会提升一大截。5. 常见问题与排查技巧实录5.1 报错、显存不足与画质问题的速查表下面这张表涵盖了我带学生过程中最高频的几类问题每条都是实际踩过的坑问题现象可能原因解决建议启动时报No module named xxx依赖缺失或Python版本不对重新安装依赖确认使用Python 3.10.6生成时报CUDA out of memory显存不足分辨率降到512开启低显存模式出图全黑或纯色VAE缺失或采样器异常检查VAE加载更换采样器人物手指畸形、身体扭曲模型对细节理解有限加入负面词bad hands, extra fingers画面像蒙了一层雾CFG过高或负面词误伤CFG降到7到8检查负面词是否过强出图带明显水印或签名训练集原因负面词加入watermark, signature显存不足是最常见的问题。如果只有6GB显存宽度高度统一控制在512以内后续想提升分辨率用高清修复不要在生成阶段一次拉满。另外采样器卡死或者生成时间异常长看看是不是后台有多任务占用了显存关掉其他程序再跑一次。5.2 模型下载与页面卡顿的处理经验SD本地部署后模型下载经常成为体验瓶颈。大模型文件动辄两三个GB国内直连一些境外站点确实慢。我的建议是优先找国内网盘分享的资源或者用支持断点续传的下载工具别让一个文件下载一半断了又重新开始。很多整合包作者会在说明里附上配套模型下载链接打包好的模型包直接拉下来放对应目录就行比自己挨个找省事。WebUI页面卡顿通常不是电脑性能问题多数是后台正在生成图片时的前端延迟。生成过程中不要频繁切换模型等待当前任务结束再说。还有一个容易忽视的问题WebUI默认把每张生成历史存到本地磁盘图片多了以后打开页面会越来越慢建议定期清理输出目录或者调整设置里“不保存生成的预览图”保持目录清爽。5.3 审美与风格工具之外的进阶瓶颈学会工具不等于会设计。当你能稳定出图之后很快就会陷入新困惑大家都在用同一套模型为什么别人的作品更有辨识度我的答案很直接模型决定了你的下限而提示词体系、后期二次处理、选图逻辑决定了上限。同一张底图A直接发出去B会用局部重绘修掉瑕疵、用PS补一层胶片颗粒、再调一下色阶最终成品的气质完全不同。这也是为什么课程结构越到后期我越强调审美训练。一个很实用的方法是建立审美库收集100张你认为好看的作品分析它们的构图、光影和色彩关系把这些观察转化成提示词语言。另一个方法是固定自己的风格模板库重复使用后形成稳定的视觉标签。工具只是放大器你的判断力才是源头。6. 25节实战课的学习路线拆解6.1 前10节解决“能出图”前10节课的内容是打基础工具认知、环境搭建、第一次出图、Midjourney基础参数、SD主界面认知、模型下载与选择、基础提示词写作。这个阶段的验收标准很简单你能够分别用MJ和SD输入一段描述词稳定生成一张质量合格的图片。不要在这个阶段追求复杂插件和高阶玩法先把“手不抖、图能出”的流程跑顺。很多人的问题就是基础没打牢就想着玩花活结果遇到报错根本不知道从哪排查回头还得补基础。6.2 中8节解决“能控制”中间8节课进入提示词工程、参数调优、图生图、局部重绘、ControlNet核心功能、LoRA的使用与训练入门。这个阶段的验收标准是你能够通过参数和工具把出图从“随机生成”变成“可控生产”比如锁定姿态、统一系列风格、修复局部缺陷、保持角色一致性。到了这个阶段你才算真正驾驭了工具而不是被工具带着走。实际授课时我会让学员做一个完整的人物系列设定同一角色四张不同姿势、不同表情、不同背景。这个任务会逼着你用掉控制人物一致性、背景替换、姿势控制的所有核心技能做完这个项目SD的实战能力基本就过关了。6.3 后7节解决“能落地”最后7节课侧重真实落地场景包括商业海报、电商产品图、人像写真定制、科研绘图、自媒体配图等案例实战以及如何把AI绘图流程嵌入现有的设计工作流。比如科研绘图的痛点是你需要一张既精确又美观的示意图传统做图工具学习成本高AI绘图能大幅缩短时间但需要你用提示词把结构逻辑描述清楚这部分有专门的方法和话术。再比如素描画风迁移提取线稿后再上色就是一套非常适合自媒体内容创作的流程。我自己在实操里最深的一点体会是学AI绘图最大的障碍不是学不会而是没方向。今天看一个教程学一点明天又看另一个教程学一点知识点全是散的。真正让我从“会操作”跨到“会干活”的是逼着自己按一条完整路线走完两遍第一遍纯模仿第二遍带着具体项目做。如果你也正在学AI绘图接下来一个月可以试试这个目标用Midjourney完成30张灵感图用Stable Diffusion完成3个完整小项目每个项目都走完“提示词—参数调优—局部重绘—后期处理”全链路。跑完之后你会回来感谢今天这个决定。