Stable Diffusion进阶教程：精通提示词与插件

一、提示词：绘制精美画卷的魔法咒语

1. 基础使用说明：提升图片质量的关键咒语
   • 当我们踏入 Stable Diffusion 的创作之旅，输入提示词就像是踏上一场神秘的魔法绘画征程。一开始，别急着描绘具体的事物，而是要像精心挑选魔法材料一样，先通过定义特定的提示词来为图片质量奠定坚实基础。想象一下，这些基础提示词就如同搭建一座宏伟城堡的基石，不可或缺。比如，当我们输入 “best quality, ultra - detailed, masterpiece, finely detail, highres, 8k wallpaper” 时，就仿佛是在向 AI 绘画精灵传达我们对高品质画面的热切期望。“best quality”（最佳质量）如同给整个画面施加了一层精致的滤镜，使其在细节呈现和整体效果上都达到上乘水准；“ultra - detailed”（超详细）和 “finely detail”（精细细节）则像是赋予了精灵一双锐利的眼睛，不放过任何细微之处，让画面的每一个角落都充满丰富的元素；“highres”（高分辨率）和 “8k wallpaper”（8K 壁纸）则如同为画面展开了一幅巨大而清晰的画布，确保生成的图像拥有足够的清晰度和细腻度，无论是远处的风景还是人物的发丝，都能清晰可辨。如此一来，在这些关键咒语的加持下，生成的图片质量会如同被施了魔法一般，实现显著提升。
2. 人物吟唱魔法：让人物栩栩如生的秘诀
   • 当我们的创作焦点转向人物绘画时，就需要一些更为精妙的 “魔法咒语” 来赋予人物鲜活的生命力。添加 “beautiful detailed eyes”（美丽而细致的眼睛），就像是为人物点亮了心灵的窗户，让他们的眼神能够传达出各种情感，或灵动、或深邃、或温柔；“highly detailed skin”（高度细节化的皮肤）仿佛是为人物披上了一层逼真的外衣，细腻的纹理和质感使人物看起来更加真实可信，仿佛能感受到肌肤的温度；“extremely delicate and beautiful girls”（极其精致美丽的女孩）则像是为人物注入了迷人的气质，从整体形象到举手投足间都散发着独特的魅力。这些提示词协同作用，如同多位魔法助手齐心协力，大幅提升人物细节的精细度，让画中的人物不再是生硬的图像，而是仿佛拥有了自己的灵魂，随时准备从画面中轻盈走出，与我们展开一场奇妙的互动。
3. 特定元素的质量改进魔法：雕琢元素质感
   • 正如一位巧匠精心雕琢每一个部件，当我们渴望升级画面中某些特定元素，如背景、眼睛或衣服的质感时，Stable Diffusion 也为我们准备了专属的魔法咒语。使用 “extremely detailed / 某些单词 /” 和 “beautiful detailed / 某种单词 *”，就像是挥动魔法画笔，为这些元素添上细腻的笔触和独特的光泽。例如，若我们想要强调画面中的古老城堡背景，使用 “extremely detailed castle”（极其详细的城堡），城堡的墙壁上便会浮现出岁月的痕迹、砖石的纹理以及精美的雕刻；对于人物的眼睛，“beautiful detailed eyes with bright pupils”（有着明亮瞳孔的美丽细致眼睛）能让眼睛更加炯炯有神，闪烁着灵动的光芒；而描述衣服时，“beautiful detailed silk dress with intricate patterns”（有着复杂图案的美丽细致丝绸连衣裙）则会使衣服的材质显得柔软光滑，图案精美绝伦。这些咒语如同魔法裁缝手中的针线，将元素精心缝合，使其在画面中脱颖而出，吸引观众的目光。
4. 使用负面提示词：排除不需要的元素
   • 在魔法绘画的世界里，负面提示词就像是一道坚固的魔法屏障，帮助我们抵御那些不想要的元素入侵画面。比如，我们常常会遇到 AI 绘画在处理手部时出现的小瑕疵，这时候使用 “((poorly drawn hands)), more than 1 left hand, more than 1 right hand, short arm, (((missing a” 这样的负面提示词组合，就像是给 AI 精灵戴上了一副精准的眼镜，让它能够避开这些问题区域。同样，若我们想要营造一个纯净的自然风景画面，不希望出现文字、变形的物体或丑陋的元素，“mutated hands and fingers, text, title, deformed, bad anatomy, disfigured, poorly drawn face, mu” 这些负面提示词就能像魔法扫帚一样，将这些杂质清扫干净。它们如同画面的守护者，确保我们的创作意图得以准确实现，让最终的画面呈现出我们理想中的纯净与美好。
5. 视角与主体远近：掌控画面构图
   • 我们手中的提示词还如同神奇的相机镜头，能够自由切换视角，调整主体的远近，从而构建出千变万化的画面构图。“dynamic angle”（动态角度）就像是赋予了相机灵动的身姿，让画面充满动感与活力，仿佛捕捉到了某个瞬间的精彩；“from above”（从上方）和 “from below”（从下方）视角则如同鸟儿飞翔或小虫爬行的视角，为画面带来独特的视觉冲击，展现出平日里难以察觉的景象；“wide shot”（广角镜头）像一双广阔的眼睛，能够容纳更多的元素，营造出宏大的场景氛围；“Aerial View”（鸟瞰视角）更像是上帝之眼，将整个世界尽收眼底，让画面呈现出壮观的全景效果。而在刻画人物或物体时，“full body shot”（全身照）、“cowboy shot”（半身照）和 “close - up shot”（特写）则像是摄影师灵活移动的脚步，让我们可以根据需要突出主体的全貌、局部特征或细腻情感，展现出不同层次的细节和表现力。
6. 光线魔法：营造氛围的关键
   • 光线，无疑是画面氛围的魔法大师，在 Stable Diffusion 中，不同的光线提示词能编织出截然不同的光影画卷。“cinematic lighting”（电影光）宛如将好莱坞电影中的灯光效果引入画面，赋予其戏剧性的明暗对比和层次感，使画面充满故事感，仿佛每一个角落都隐藏着一段精彩的剧情；“volumetric lighting”（体积光）如同阳光穿透茂密森林时形成的光束，为画面增添了立体感和深度，让物体仿佛置身于真实的三维空间中，被光芒所环绕；“mood lighting”（气氛光）则像是一位情绪魔法师，根据我们的需求营造出浪漫、神秘、惊悚等各种氛围，使观众沉浸其中，感受画面所传达的情感温度。“bright”（明亮）让画面充满阳光和希望，“Soft illumination”（柔光照明）和 “soft lights”（柔光灯）则如同一层轻柔的薄纱，温柔地包裹着画面中的一切，营造出温馨而柔和的氛围；“rays of shimmering light”（闪烁的光线）像是夜空中闪烁的繁星，为画面注入灵动的元素；“Crepuscular Ray”（耶稣光）则如同上帝洒下的神圣光辉，赋予画面一种超凡脱俗的美感；“bioluminescence”（生物发光）能让画面中的生物或物体散发出奇幻的光芒，仿佛来自另一个神秘世界；“bisexual lighting”（红蓝双色光）则营造出一种充满科技感和未来感的氛围，引领我们进入一个未知的科幻领域；“Rembrandt Lighting”（人物的 45 度角侧向光）如同大师的画笔，勾勒出人物面部的立体感和层次感，凸显人物的性格特征；“Split Lighting”（高对比的面光）和 “front lighting”（正面光）、“Back lighting”（逆光）、“slanting backlight”（斜逆光）、“edge light”（边缘光）、“global illuminations”（全局光）、“Warming lighting”（暖光灯）、“Natural lighting”（自然光）等，每一种光线都像是一把独特的钥匙，打开一扇通往不同氛围世界的大门，让我们能够根据创意需求随心打造理想的画面光影效果。
7. 画风与其他元素：丰富画面风格
   • 我们还可以运用提示词来指定独特的画风，就像为画面选择一件别具风格的外衣。“sketch, one - hour drawing challenge”（手绘风）能让画面呈现出仿佛出自画家之手的随性与艺术感，每一笔都蕴含着创作的激情与灵动；在描绘人物表情时，“blush”（脸红）能让人物瞬间变得羞涩可爱，“wet sweat”（大汗）和 “flying sweatdrops”（飞汗）则生动地展现出人物的紧张或运动后的状态。对于人物的着装，无论是 “制服” 的干练、“china dress” 的古典优雅、“sailor dress” 的清新活泼、“school uniform” 的青春活力，还是 “sailor senshi uniform” 的神秘魅力，都能通过相应的提示词精准呈现。而风景指定方面，“underwater”（水下）能将我们带入一个神秘的海底世界，光影摇曳、生物穿梭；“shinto shrine”（神社）则营造出宁静祥和、充满文化底蕴的氛围。姿势指定更是为人物赋予了生动的姿态，“hands on own face, hands on feet, hands on breast”（手放在脸上、脚上、胸前）展现出人物的各种情绪和思考状态，“kneeling”（跪着）传递出谦卑或虔诚，“hand between legs”（手放在腿间）增添了一份俏皮或羞涩，“hair flip”（甩头发）和 “skirt flip”（裙摆飞扬）则让人物充满动感与活力。这些丰富多样的提示词如同创意的调色板，让我们能够尽情挥洒色彩，打造出风格各异、充满个性的画面。
8. 其他技巧：强化或调整提示词效果
   • 这里还有一些巧妙的小技巧，能让我们像熟练的魔法师一样，更加精准地掌控提示词的魔力。使用括号就是其中一个神奇的方法，当我们用 “()” 括起单词时，就像是给这个单词施加了一个增强魔法，使其影响力增大 1.05 倍，让画面中对应的元素更加突出；而用 “[]” 括起单词，则如同给它施加了一个削弱魔法，效果减弱到原来的 1/1.05，使该元素在画面中的表现更加柔和或低调。另外，固定的 Seed 号就像是一把记忆钥匙，使用它再添加提示词，就好比在原有魔法画作的基础上进行二次创作，我们可以在原图上进行上色、改变视角等操作，就像给一幅已经完成的画作添加新的色彩和创意元素，让它焕发出全新的魅力。而且，我们还能上传 AI 生成图查看相应的 prompt 信息，这就像是从魔法画作中找到隐藏的创作线索，帮助我们理解 AI 的创作逻辑，从而更好地调整提示词，创作出更符合心意的作品。

二、插件：拓展创意边界的魔法工具

1. ControlNet：改变游戏规则的强大插件
   • ControlNet 宛如一位拥有神奇魔力的绘画导师，它的出现彻底改变了 Stable Diffusion 的创作格局。简单来说，它能够在 AI 开始绘制图像的最初阶段，就像在空白画布上印下一个精准的轮廓或模板，然后引导 AI 依据这个基础去补充剩余的细节，将创意的种子培育成完整的艺术之花，真可谓是一个改变游戏规则的强大存在！
   • 安装 ControlNet 并不复杂，我们只需像找到隐藏的宝藏一样，将其 GIT 下载下来，然后放置到 extensions 资料夹中即可。当然，如果你的 Stable Diffusion WebUI 已经进行了更新，那么在 Extensions 页签中大概率就能轻松找到它，直接在这儿进行安装会更加便捷。但这仅仅是第一步，ControlNet 还需要搭配相应的计算 Model 才能发挥出全部实力。我们需要前往指定的网址，挑选并下载所需的 ControlNet Model（注意，无需全部下载，根据自己的创作需求选择即可），然后将它们妥善安置在 extensions|sd - WebUI - controlnet - main|models 文件夹里，就像为魔法导师准备好各种魔法工具，等待它施展神奇的魔法。
   • 它的模组各具独特魔力，就像一群拥有不同超能力的小精灵。Canny 模组如同一位目光敏锐的探险家，擅长用复杂的算法精准地捕捉图片的边缘线，将这些线条转化为 AI 绘画的重要参考，使生成的图像在轮廓和结构上更加清晰明确；mlsd 模组则像一位直线感知大师，能够敏锐地察觉到图片中那些明显的直线元素，并将其作为构建画面的重要线索，为画面增添规整和秩序感；hed 模组仿佛是一位特征洞察者，专注于挖掘图片中的各种特征，无论是物体的形状、纹理还是人物的表情特征，都逃不过它的 “眼睛”，并将这些特征融入到最终的绘画作品中；Scribbles 模组就像是一位创意线条大师，它以我们提供的线条为基础框架，如同搭建积木一般，引导 AI 在这个基础上填充色彩和细节，让画面充满手绘的随性与创意；openpose 模组宛如一位人体骨架解读专家，能够从图片中的人物形象中精准地提取出骨架结构，然后以这个骨架为基础，指导 AI 绘制出自然流畅、姿态各异的人物形象，使人物的动作和姿势更加生动逼真；seg 模组好似一位色彩分割魔法师，它会将图片转化为大略的色块，通过对这些色块的分析和处理，为画面营造出独特的色彩分区和层次感；depth 模组和 normal 模组则像是深度感知精灵，它们能够敏锐地捕捉图片中的深浅远近关系，将这种空间信息传递给 AI，使生成的图像具有更加真实的立体感和空间感。在众多模组中，个人比较推荐尝试 Scribbles、openpose、normal 这三个模组，它们就像三把神奇的钥匙，能开启不同风格和需求的创意大门，文中也会以这三个模组为范例，为大家详细展示它们的神奇之处。当然，其他 model 的展示也能在相关地方找到，就像一座装满宝藏的魔法宝库，等待着大家去探索发现。
   • 当我们成功安装好插件后，无论是在 txt2img 还是 img2img 模式下，都能惊喜地发现多了一个名为 Controlnet 的神秘选项。点击它，便会进入一个充满魔法设置的世界。勾选 enable，就像是唤醒沉睡的魔法力量，启动 Controlnet 开始发挥作用。Scribbles mode 是专为 Scribbles 模组打造的特殊模式，如同为创意线条大师开辟的专属创作空间，其他模式可千万不要勾选它哦，否则可能会导致魔法失控。RGB to BGR 这个选项，说实话，我也不太确定它具体有什么神奇功效，就好像是一个隐藏在角落里的神秘魔法符文，等待着勇敢的探索者去揭开它的面纱。low VRAM 选项则像是为那些显卡内存不太充裕的小伙伴准备的魔法优化器，如果你的显卡 RAM 不够用，勾选它，就像是给魔法施展过程减轻了负担，让它能够更加流畅地运行。Guess Mode 这个模式十分有趣，它就像是让 Controlnet 蒙上眼睛，凭借直觉去猜测你丢进去的图片适合哪种魔法模式，有时候会带来意想不到的惊喜，但也可能会有些小偏差哦。Preprocessor 与 Model 的选择就像是挑选魔法咒语和对应的魔法法杖，它们紧密相关。Preprocessor 的作用是在图片进入 AI 绘画流程之前，对其进行一种预处理，就像是在魔法食材下锅之前先进行一番精心处理。比如选择 Scribbles 时，它就会像一位细心的厨师，精准地抓取图片中的线条；选择 Openpose 时，它则会专注于提取人物的肢体结构等。不过，如果我们使用的是已经经过其他方式处理过的图片，比如在别处找到的完美的 Openpose 图，那么 Preprocessor 这一项就可以选择 None，让 AI 直接根据图片本身进行创作。Model 则是根据我们选择的 Preprocessor 模式，告诉 AI 应该如何运用魔法力量去绘画。原则上，Preprocessor 选择什么，Model 就对应选择什么，就像魔法咒语和魔法法杖必须相互匹配才能发挥出最大威力。但如果你对图片和模型之间的关系有更深入的了解，知道某些特殊情况下可以进行不同的搭配，也可以大胆尝试哦。Weight 这个参数就像是控制魔法力量强弱的调节器，不过要小心哦，如果把它调得太强，就像释放了过于强大的魔法能量，很容易导致画面崩溃，就像一座魔法城堡因为承受不住强大的魔力而崩塌。Resize mode 用于设定 Create blank canvas 产生的画布大小，这就像是为我们的魔法绘画选择合适的画布尺寸。如果不设定，一般也不会影响最终的产图效果，但有时候根据创意需求调整画布大小，可以让画面呈现出更好的比例和视觉效果。最下面的 Create blank canvas 则像是为 Scribbles 模组准备的一块空白魔法画布，当我们启用 Scribbles 模式时，它就会出现在我们面前，等待我们用创意线条去填充，开启一场充满惊喜的绘画之旅。Preview annotator result 这个功能就像是一面魔法镜子，能够让我们提前预览在当前设定和输入图片的情况下，Controlnet 会产生什么样的参考图、骨架图或者深浅图。这对于我们调整设置和判断最终画面效果非常有帮助。如果预览结果是一片黑色，那就像是魔法镜子蒙上了一层黑纱，代表 Controlnet 在抓取图片信息时失败了，这时候我们就需要考虑更换图片或者调整模式，重新施展魔法。Hide annotator result 则是将这面魔法镜子收起来，当我们不需要预览时，可以让界面更加简洁。选择使用 Model 后，会出现一些 bar 条，这些 bar 条就像是魔法仪表盘，用于设定 ControlNet 判断图片读取的各种参数。每个 Model 对应的 bar 条设置都不太一样，但有一个共同点，那就是第一个 bar 条通常是用于设定取样精细度的，这就像是调整魔法画笔的细腻程度。其他的参数则根据不同的 Model 而有所不同，我们需要通过不断地使用 Preview 功能，观察产出的骨架图、深浅图等是否符合我们的期望，来找到最适合的参数设置。
2. 其他插件：各显神通的创意助手
   • locon 插件（https://github.com/KohakuBlueleaf/a1111 - sd - WebUI - locon）如同一位神秘的使者，它的到来让 WebUI 能够与 LyCORIS 模型（包含 LoCon 和 LoHa）携手合作。使用方法和 LoRA 相似，就像学习了一种新的魔法技能，只要到 Extensions > 下载 Extensions> locon 开启（预设开启），就能轻松驾驭它的魔力，为我们的创作增添新的可能性。
   • localization_zh_TW 插件（https://github.com/benlisquare/stable - diffusion - WebUI - localization - zh_TW）宛如一位贴心的翻译精灵，它为我们带来了繁体中文翻译界面。就像在充满魔法符文的世界里找到了一本熟悉的语言字典，让我们能够更加轻松地理解和操作。只需到 Extensions > 下载 Extensions > localization_h_TW 开启（预设开启），然后在 Settings > User Interface> Localization (requires restart)>zh_TW 中点击 Apply Settings 后重启 WebUI，整个界面就会变成我们熟悉的中文，让创作过程更加顺畅无阻。
   • bilingual_localization 插件（https://github.com/journey - ad/sd - WebUI - bilingual - localization）则像是一位双语魔法师，它提供的双语界面让我们可以在两种语言之间自由切换，就像在两个不同的魔法世界中穿梭，既能体验中文的亲切，又能感受英文的原汁原味，为不同语言习惯的创作者提供了极大的便利。
   • Civitai_Helper 插件（https://github.com/butaixianran/Stable - Diffusion - WebUI - Civitai - Helper）无疑是一位出色的模型管家，它为我们提供了强大的 Civitai 模型管理工具。到 Extensions > 下载 Extensions > 勾选 Civitai_Helper 开启（预设开启）后，我们就可以利用它进行各种模型管理操作。比如抓取模型资讯，就像派遣一位小助手去收集魔法材料的详细信息；获取模型信息，让我们对模型的特点和用途了如指掌；检查模型新版本，确保我们始终使用最新最强大的魔法模型，让创作与时俱进。
   • tunnels 插件（https://github.com/camenduru/sd - WebUI - tunnels）犹如一座魔法桥梁，它提供了多种 tunneling 方法，为我们在不同的创作环境和需求之间搭建起了便捷的通道。到 Extensions > 下载 Extensions > 选 tunnels 开启（预设开启），就能利用这些魔法通道拓展我们的创作边界，让我们的创意能够在不同的场景中自由流淌。
   • cutoff 插件（https://github.com/opparco/stable - diffusion - WebUI - composable - lora）好似一位精准的魔法裁缝，它可以用来限制 token 作用范围，就像用细密的针线将魔法元素精准地缝合在一起。到 Extensions > 下载 Extensions > 勾选 cutoff 开启，勾选 Enabled 并输入想要限制的 token（通常是颜色等元素），就能对画面元素进行更细致的控制，让画面的色彩和细节更加符合我们的创意构思。例如在调整姿势的 openpose 场景中，我们需要先提供一张参考图（真人图往往更容易被捕捉到关键信息），然后勾选 enable，选择合适的 Preprocessor 和对应 Model 后，就能像魔法裁缝一样，精心调整画面的姿势元素，生成理想的图片。Preprocessor 和 Model 之间有对应的对照表，就像魔法配方一样，我们可以根据需要选择合适的组合，让魔法效果达到最佳。
   • openpose_editor 插件（https://github.com/fkunn1326/openpose - editor）仿佛是一位神奇的骨骼调整大师，如果对 Openpose Preprocessor 产出的骨架图不满意，它就能派上用场。到 Extensions > 下载 Extensions > 选 openpose_editor 开启，然后参考相关说明调整 keypoints，就像在魔法骨架上精心雕琢，让骨架的姿态更加完美，从而使最终生成的人物形象更加生动自然。
   • posex 插件（https://github.com/hnmr293/posex）则是另一位出色的姿势编辑魔法师，它为我们提供了另一种编辑 openpose 骨架的方式。到 Extensions > 下载 Extensions > 选 posex 开启，勾選 Send this image to ControlNet 以显示界面，通过鼠标的简单操作，我们可以像操控魔法木偶一样，轻松控制 3D 旋转、人物大小和平移，让人物的姿势调整变得更加直观和便捷，满足我们对各种姿势的创意需求。
   • depth_lib 插件（https://github.com/jexom/sd - WebUI - depth - lib）如同一位专注于手部魔法的艺术家，它可以使用 Depth Library 编辑手势，并且能够与 openpose 完美搭配，就像两位魔法师携手合作。当我们想要让人物的手势更加自然逼真时，它就能发挥出独特的魔力，为画面增添生动的细节。
   • latent_couple 和 composable_lora 插件（https://github.com/ashen - sensored/stable - diffusion - WebUI - two - shot，https://github.com/opparco/stable - diffusion - WebUI - composable - lora）宛如一对创意组合魔法师。latent_couple 提供了分割绘制多个主题或人物的奇妙方法，就像将一个大舞台分割成多个小舞台，让每个角色都能在自己的空间里尽情表演；composable_lora 则使用 AND 分割 LORA 作用范围，如同用魔法屏障将不同的魔法力量区分开来，让它们各自发挥作用又相互配合。到 Extensions > 下载 Extensions > 勾选开启，我们可以先用小画家初步构图并填上色块，就像在魔法画布上勾勒出大致的轮廓，然后在它们的帮助下，开始创作独特的多人物或多主题画面，让画面充满丰富的故事性和层次感。如果有使用 LoRA，记得 Enable Composable Lora 哦，这样才能让魔法力量得到最优化的组合。
   • lora_block_weight 插件（https://github.com/hako - mikan/sd - WebUI - lora - block - weight）仿若一位权重魔法大师，它可以调整 LORA 区块权重，就像调整魔法天平上不同元素的重量。有两种使用方式：<lora:"lora name:1:1,0,0,0,0,0,0,0” 和 < lora:"lora name:1:OUTD>，数字代表各区块权重。我们还可以使用 xyzplot 来评估各种权重组合的效果，就像在魔法实验室里测试不同魔法配方的效果，帮助我们找到最适合画面的权重设置，让画面的风格和元素达到最完美的平衡。