基于提示工程与RAG的AI时尚穿搭生成系统实战

1. 项目概述与核心思路

最近在折腾一个挺有意思的项目：如何让AI更懂“时尚”，并生成真正符合特定场景、风格和穿着者身份的个性化服装图像。这听起来像是时尚设计师和AI工程师的跨界合作，但实际操作起来，你会发现它更像是在搭建一个精密的“创意翻译机”。核心目标很明确：用户输入一个简单的需求三元组，比如“风格：波西米亚，场合：音乐节，穿着者：高挑女性”，系统就能自动生成一套从文字描述到视觉图像的完整穿搭方案。

这个想法的起点，源于当前AI生成内容的一个普遍痛点：可控性与创意性的平衡。像Stable Diffusion这类文生图模型能力很强，但如果你只给它一句“画一个参加音乐节的波西米亚风格女性”，结果可能天马行空，裙子可能是荧光绿的，材质可能是金属的，完全脱离了“波西米亚”和“音乐节”的实用语境。问题出在哪？出在“提示词”上。大语言模型（LLM）负责将抽象需求转化为具体的、富含细节的文本描述，而文生图模型则根据这些描述进行绘制。如果LLM给出的描述本身就不准确、不专业或者缺乏时尚感，那么后续的图像生成就是“垃圾进，垃圾出”。

因此，我们的核心思路不再是去费力地微调一个庞大的文生图模型（那需要海量的标注数据和算力），而是转向“提示工程”和“检索增强生成”这两个更灵活、更高效的技术杠杆。简单来说，就是用聪明的提问方式（提示工程），结合外部的专业知识库（RAG），来“教”LLM如何像一个真正的时尚专家那样去思考和描述。我们不再要求模型从零开始创造知识，而是引导它如何更好地组织和运用其已有的、以及我们额外提供的知识。这种“预训练、提示、预测”的范式，相比传统的“预训练、微调”，在资源效率和迭代速度上有着巨大优势，特别适合时尚这种趋势快速更迭的领域。

整个流程可以拆解为两个核心阶段：第一阶段是“从需求到描述”，我们使用Mistral或Falcon这类开源LLM，结合精心设计的提示模板和外部时尚知识，生成专业、细腻的服装文字描述。第二阶段是“从描述到图像”，将上一步得到的优质描述输入Stable Diffusion模型，生成最终的时尚图像。整个项目的挑战和乐趣，几乎都浓缩在了第一阶段。

2. 核心方法论：提示工程与RAG的深度解析

2.1 提示工程：引导LLM的“对话艺术”

提示工程的核心在于设计输入文本（提示），以激发LLM产生符合特定任务要求的输出。在我们的时尚生成场景中，这不仅仅是写一句“请描述一套衣服”，而是构建一个能让LLM进入“时尚设计师”角色的上下文。我们主要实践并比较了三种主流策略：

2.1.1 零样本学习：基础的直接提问零样本学习是最直接的提示方式。我们给模型一个任务指令，但不提供任何示例。例如，我们的基础模板是：“想象你是一位时尚设计专家。请为一位[类型]的穿着者，在[场合]场合，设计一套[风格]风格的时尚穿搭描述。请务必描述颜色和材质。”

这种方式完全依赖模型自身的预训练知识。它的优点是简单、快速，无需准备示例数据。但缺点也很明显：输出质量不稳定，严重依赖于模型本身对“波西米亚”、“商务会议”等概念的理解是否准确和前沿。如果模型的训练数据中相关概念是陈旧或片面的，那么生成的描述就可能偏离当下的时尚潮流。

2.1.2 少样本学习：用例子来“教学”少样本学习则在提示中提供了少量“输入-输出”示例，以此演示任务该怎么做。例如，在提示中，我们会先插入两到三个类似这样的示例对：

问题：想象你是一位时尚设计专家。请为一位身材娇小的女性，在商务会议场合，设计一套经典风格的时尚穿搭描述。请务必描述颜色和材质。 答案：一套剪裁精良的深海军蓝羊毛混纺西装外套，内搭一件纯白色真丝衬衫。下身配以一条及膝的灰色精纺羊毛直筒裙。颜色以中性色为主，强调专业与稳重；材质选用羊毛混纺和真丝，体现质感与垂坠感。配饰建议选择简约的珍珠耳钉和黑色皮质手提包。

然后，再附上用户的实际查询问题。这种方式相当于给了模型几个“样板”，让它通过类比来学习我们期望的输出格式、详细程度和风格。为了提升效果，我们并非随机选择示例，而是构建了一个包含20个高质量示例的数据库，并通过计算查询与示例的语义相似度（使用余弦相似度），动态选择最相关的2个示例插入提示中。这确保了提供的“教学案例”与当前需求高度相关，显著提升了生成描述的针对性和质量。

2.1.3 思维链：分步思考，细化创意思维链提示旨在引导模型进行多步推理，将复杂任务分解。在我们的应用中，我们将其设计为一个两阶段过程：

1. 第一步：生成颜色与材质。我们先让LLM专注于思考：“对于[风格]风格，在[场合]场合，适合[类型]穿着者的颜色和材质有哪些？” 这一步同样可以采用少样本学习来引导。
2. 第二步：生成完整描述。将第一步得到的颜色和材质列表，作为新的约束条件，填入一个专门的CoT模板：“想象你是一位时尚设计专家。请为一位[类型]的穿着者，在[场合]场合，设计一套[风格]风格的时尚穿搭描述。请务必使用这些颜色：[颜色列表]和这些材质：[材质列表]。”

这种方法强制模型进行结构化思考，先确定核心的设计元素（色彩与面料），再在此基础上构建完整描述。它尤其有助于解决“创意发散过度”的问题，确保最终描述的关键要素符合逻辑和场景限制。

2.2 检索增强生成：为模型注入“时尚智库”

无论提示工程做得多好，如果LLM自身的知识截止于2023年初，那么它可能永远无法理解2024年流行的“静奢风”或某种新兴面料。这就是RAG要解决的问题。

RAG的核心思想是“不懂就问”。在生成回答前，系统会先根据用户查询，从一个外部知识库（如时尚杂志文章、博客、专业文献的PDF）中检索出最相关的信息片段，然后将这些片段作为“上下文”和原始问题一起交给LLM。我们的模板如下：

[INST] <> 想象你是一位时尚专家。始终保持创造性和创新性。如果答案不在上下文中，请自行构思一个。 <> 上下文：[检索到的相关文本] <> 请求：[用户的问题] [/INST]

2.2.1 RAG的实现流程

1. 知识库构建：我们收集了《服装与时尚百科全书》、不同场合着装指南、女性体型与服装研究等专业资料，将它们转换为纯文本。
2. 文档切分与向量化：将长文档切分成语义上连贯的片段（如段落）。使用文本嵌入模型（如text-embedding-ada-002或开源模型）将这些文本片段转换为高维向量（ embeddings），并存入向量数据库（如Chroma、Weaviate或LangChain支持的VectorStore）。
3. 检索：当用户查询到来时，同样将其转换为向量。在向量数据库中执行相似度搜索（如余弦相似度），找出与查询向量最接近的若干个文本片段。
4. 增强生成：将检索到的文本片段作为“上下文”，与原始查询一起组装成最终提示，发送给LLM。LLM会基于自身知识+提供的专业上下文，生成更准确、更前沿的回答。

例如，当查询“热带度假的波西米亚风格穿搭”时，RAG可能会检索到关于“棉麻材质在炎热气候的透气性”、“度假风长裙的印花元素”等段落，从而让生成的描述更具专业性和实用性。

3. 系统搭建与实操全流程

3.1 环境准备与工具选型

要复现这个项目，你需要一个能运行Python和深度学习框架的环境。以下是核心工具栈：

• 大语言模型：我们选择了Mistral-7B和Falcon-7B这两个优秀的开源模型。它们体积相对较小（7B参数），可以在消费级GPU（如RTX 3090/4090）或云端T4/V100 GPU上运行，且性能接近更大的商用模型。使用Hugging Face的transformers库可以方便地加载。
• 文生图模型：Stable Diffusion是事实上的标准。我们使用了其变体epiCRealism，它在生成人物图像的真实感和细节上表现更佳。通过diffusers库调用。
• RAG框架：LangChain极大地简化了RAG流程。它提供了文档加载、文本分割、向量化、检索以及提示模板链式调用的完整工具链。向量数据库可以使用内存型的Chroma（适合实验）或生产级的Weaviate、Pinecone。
• 嵌入模型：为了将文本转换为向量，我们使用了all-MiniLM-L6-v2，这是一个轻量级且效果不错的句子嵌入模型，同样来自Hugging Face。
• 硬件：一块至少16GB显存的GPU是必要的（如T4, V100, RTX 3090）。我们的实验在单块T4 GPU上完成，证明了该方案的可行性。

注意：模型下载可能需要科学上网或使用国内镜像源。部署开源LLM时，务必关注其内存和显存占用，7B模型在16位精度下约需14GB显存，使用8位或4位量化可以大幅降低需求。

3.2 数据处理与提示模板设计

数据集准备：我们使用了Hugging Face上的fashion-style-instruct数据集作为基础。它包含了由GPT-3.5生成的、基于体型、风格和场合的穿搭建议。我们需要对其进行处理，提取出结构化的（风格， 场合， 类型）三元组。例如，从“为梨形身材的女性在商务会议中推荐经典风格”中，提取出(“经典”, “商务会议”, “梨形身材女性”)。我们最终构建了200个这样的三元组用于测试。

提示模板工程化：这是项目的灵魂。我们不能每次都在代码里拼接字符串。我们将表2中的模板转化为可配置的Python字典或YAML文件。

prompt_templates = { "zero_shot": """ Imagine you are an expert in fashion design. Write a description for a fashion outfit in {style} style appropriate for a {wearer_type} at a {occasion}. Be sure to address the colors and the textures. """, "few_shot": """ {examples} Question: Imagine you are an expert in fashion design. Write a description for a fashion outfit in {style} style appropriate for a {wearer_type} at a {occasion}. Be sure to address the colors and the textures. Answer: """, "chain_of_thought": { "step1": """Based on the following requirements, suggest ONLY a list of suitable colors and textures (comma-separated). Requirements: Style: {style}, Occasion: {occasion}, Wearer: {wearer_type}.""", "step2": """Imagine you are an expert in fashion design. Write a description for a fashion outfit in {style} style appropriate for a {wearer_type} at a {occasion}. Be sure to use these colors: {colors} and these textures: {textures}.""" }, "rag": """[INST] <> Imagine you are a fashion expert. Always be creative and innovative. If the answer is not present in the context, make up one by yourself. <> CONTEXT: {context} <> REQUEST: {question} [/INST]""" }

3.3 核心代码流程实现

下面是一个简化的、集成了所有技术的核心流程代码框架：

import torch from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline from langchain.vectorstores import Chroma from langchain.embeddings import HuggingFaceEmbeddings from langchain.document_loaders import PyPDFLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from diffusers import StableDiffusionPipeline # 1. 初始化组件 # LLM model_name = "mistralai/Mistral-7B-Instruct-v0.2" tokenizer = AutoTokenizer.from_pretrained(model_name) llm = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto") llm_pipeline = pipeline("text-generation", model=llm, tokenizer=tokenizer) # 嵌入模型与向量库 embedding_model = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2") # 假设已构建好知识库并持久化 vectorstore = Chroma(persist_directory="./fashion_db", embedding_function=embedding_model) # Stable Diffusion sd_pipe = StableDiffusionPipeline.from_pretrained("emilianJR/epiCRealism", torch_dtype=torch.float16).to("cuda") def generate_outfit_description(style, occasion, wearer_type, method="rag", few_shot_examples_db=None): """根据指定方法生成穿搭描述""" description = "" if method == "zero_shot": prompt = prompt_templates["zero_shot"].format(style=style, wearer_type=wearer_type, occasion=occasion) description = llm_pipeline(prompt, max_new_tokens=200)[0]['generated_text'].replace(prompt, "").strip() elif method == "few_shot": # 从示例库中检索最相似的2个示例 query = f"{style} {occasion} {wearer_type}" similar_examples = retrieve_similar_examples(query, few_shot_examples_db, k=2) examples_text = "\n\n".join([f"Question: {e['q']}\nAnswer: {e['a']}" for e in similar_examples]) prompt = prompt_templates["few_shot"].format(examples=examples_text, style=style, wearer_type=wearer_type, occasion=occasion) description = llm_pipeline(prompt, max_new_tokens=250)[0]['generated_text'].split("Answer:")[-1].strip() elif method == "chain_of_thought": # 第一步：生成颜色和材质 cot_prompt1 = prompt_templates["chain_of_thought"]["step1"].format(style=style, occasion=occasion, wearer_type=wearer_type) colors_textures = llm_pipeline(cot_prompt1, max_new_tokens=100)[0]['generated_text'].replace(cot_prompt1, "").strip() # 简单解析出颜色和材质列表（实际应用需更健壮的解析） colors = extract_colors(colors_textures) textures = extract_textures(colors_textures) # 第二步：生成完整描述 cot_prompt2 = prompt_templates["chain_of_thought"]["step2"].format(style=style, wearer_type=wearer_type, occasion=occasion, colors=", ".join(colors), textures=", ".join(textures)) description = llm_pipeline(cot_prompt2, max_new_tokens=200)[0]['generated_text'].replace(cot_prompt2, "").strip() elif method == "rag": # 从向量库检索相关上下文 query = f"Fashion outfit for {wearer_type}, {style} style, {occasion} occasion." docs = vectorstore.similarity_search(query, k=3) context = "\n".join([doc.page_content for doc in docs]) # 构建RAG提示 question = f"Write a detailed fashion outfit description in {style} style for a {wearer_type} attending a {occasion}. Address colors and textures." prompt = prompt_templates["rag"].format(context=context, question=question) description = llm_pipeline(prompt, max_new_tokens=250)[0]['generated_text'].split("[/INST]")[-1].strip() return description def generate_image(description): """使用Stable Diffusion根据描述生成图像""" image = sd_pipe(description, num_inference_steps=30, guidance_scale=7.5).images[0] return image # 主流程 if __name__ == "__main__": style = "bohemian" occasion = "music festival" wearer_type = "tall female" # 选择生成方法 method = "rag" # 可替换为 "zero_shot", "few_shot", "chain_of_thought" outfit_description = generate_outfit_description(style, occasion, wearer_type, method=method) print(f"生成的描述：\n{outfit_description}\n") # 生成图像 fashion_image = generate_image(outfit_description) fashion_image.save(f"fashion_{style}_{occasion}_{method}.png")

3.4 评估体系：量化与质化的双重验证

如何判断生成的结果是好是坏？我们建立了双重评估体系。

3.4.1 量化评估：CLIPscore我们使用CLIPscore来衡量生成的图像与输入的文字描述之间的对齐程度。CLIP模型能够将图像和文本映射到同一个向量空间。计算生成图像的特征向量与原始描述文本的特征向量之间的余弦相似度，得分越高，说明图文一致性越好。这是一个客观的、可量化的指标。在我们的实验中，所有方法生成的CLIPscore都在0.29-0.31之间，属于中等对齐水平，表明所有方法在“听懂话”方面基本达标，但区分度不大，这就需要人的判断来进一步甄别优劣。

3.4.2 质性评估：人工评分与偏好测试这才是评估的“金标准”。我们设计了详细的用户调研问卷，分为三个实验：

1. 图像评价：参与者直接对生成的时尚图像打分，维度包括风格契合度、场合适合度、穿着者匹配度、创意性、审美吸引力和整体协调性。
2. 描述评价：参与者阅读LLM生成的纯文本描述，并从清晰度、连贯性、以及针对场合、类型、风格的适合度等多个维度进行评分。
3. 偏好测试（A/B Test）：将同一条目下，由五种不同方法（ZS, FS, CoT, RAG-PDF, RAG-Blog）生成的五张图像并排展示，让参与者选出最喜欢的一张并进行排名。

实操心得：人工评估的组织是关键。我们通过匿名在线问卷进行，参与者覆盖了不同年龄、性别和职业背景（虽然时尚相关从业者较少）。为了确保评价质量，我们要求参与者具备一定的英语熟练度，因为描述是英文的。每个参与者需要评价多组数据，我们通过随机化展示顺序来避免偏差。最终收集到的79份有效问卷，为我们提供了宝贵的洞见。

4. 结果分析与实战经验总结

4.1 不同提示策略的效果对比

根据我们的人工评估数据，可以得出一些非常明确且对实践有指导意义的结论：

1. 少样本学习是“全能稳健型”选手：FS方法在大多数图像评价指标上表现最佳，尤其是在“服装与场合的匹配度”上排名第一。这说明给模型看几个好例子，是最直接有效的“教学”方式。它在“服装与风格一致性”和“审美吸引力”上也显著优于零样本学习。对于大多数希望快速获得稳定、可靠结果的场景，FS是首选。

2. RAG是“专业前沿型”专家：结合了PDF文献或时尚博客知识的RAG方法，在“创意性”上表现突出。这是因为外部知识库为模型注入了更专业、更具体的细节和前沿趋势。例如，RAG更可能生成“采用可持续的有机棉材质”或“本季流行的淡漠色系”这类专业描述。当你的应用对时尚的专业性、时效性有较高要求时，RAG优势明显。

3. 思维链是“逻辑严谨型”思考者：CoT在描述的“连贯性”上得分很高。分步思考让生成的描述逻辑更清晰，例如先确定“大地色系和棉麻材质”，再描述“一件大地色系的棉麻长裙”，前后呼应感强。适合需要强逻辑和结构化的描述生成任务。

4. 零样本学习是“基础但需谨慎”：ZS方法虽然简单，但在多项指标上垫底，特别是在颜色与场合的匹配、服装与穿着者类型的匹配上表现不佳。它证明了，在没有明确引导的情况下，LLM的“自由发挥”在专业领域容易跑偏。仅适用于对质量要求不高或进行初步头脑风暴的场景。

4.2 大语言模型的选择：Falcon vs. Mistral

在我们的对比中，Falcon-7B在大多数与“情境相关性”和“个性化”相关的指标上超越了Mistral-7B。例如，在“服装-场合匹配度”、“服装-穿着者匹配度”以及颜色、材质与风格的一致性上，Falcon的得分都更高。这表明Falcon可能更好地理解了我们的提示模板中蕴含的复杂约束条件。

而Mistral-7B则在描述的“连贯性”上略有优势，生成的文本在语言流畅度和内在逻辑上可能更胜一筹。选择哪个模型，取决于你的优先级：如果追求最终生成图像能更精准地满足用户设定的条件（风格、场合、体型），Falcon可能是更好的选择；如果更看重中间描述文本的可读性和流畅性，Mistral值得考虑。

踩坑记录：模型生成具有随机性。即使使用相同的提示和种子，每次输出也可能不同。在生产环境中，需要对同一输入进行多次采样，然后通过某种规则（如选择CLIPscore最高的，或通过另一个分类器筛选）选择最优结果，以确保输出稳定性。

4.3 图像生成阶段的调优技巧

得到优质的文本描述后，Stable Diffusion的表现就至关重要了。这里有几个提升出图质量的实操技巧：

1. 负面提示词：务必使用负面提示词来抑制常见瑕疵。一个通用的负面提示词组合可以包括：“ugly, deformed, disfigured, poor details, bad anatomy, extra limbs, blurry, low resolution”。对于时尚图像，还可以加入“poorly fitted clothes, mismatched colors, unrealistic fabric”等。
2. 采样器与步数：DPM++ 2M Karras或Euler a是速度和质量平衡得较好的采样器。步数建议在20-30之间，太少细节不足，太多可能引入噪声且耗时。
3. 提示词权重与强调：在描述中，对核心元素使用(word:1.2)语法加强权重，例如(elegant silk dress:1.3)。确保颜色、材质等关键词在描述中靠前且清晰。
4. 分辨率与高清修复：Stable Diffusion在512x512或768x768的基础分辨率上训练得最好。生成后，可以使用诸如RealESRGAN或SD自带的高清修复功能进行放大，能显著提升面料纹理等细节。

4.4 常见问题与排查指南

在实际部署和测试中，我们遇到了以下典型问题及解决方案：

5. 项目扩展与未来方向思考

这个项目为我们打开了一扇门，展示了提示工程和RAG在垂直领域AIGC应用中的巨大潜力。基于目前的成果，有几个方向值得深入探索：

知识源的扩展与动态更新：目前的知识库是静态的。未来可以接入时尚资讯网站的RSS、社交媒体（如Instagram、Pinterest）的流行标签，甚至时尚秀场的实时报道，通过定期爬取和更新向量数据库，让系统真正“与时俱进”，捕捉瞬息万变的潮流趋势。

从文本描述到可编辑的设计稿：当前输出是像素图像。一个更进阶的方向是探索能否生成服装的矢量草图、面料图案，甚至是可以导入到CLO 3D等服装设计软件中的简易版型数据。这需要结合扩散模型与图形学、参数化建模的知识。

个性化与用户反馈闭环：系统目前是“一次性”生成。可以引入用户反馈机制，例如让用户对生成的图像进行“喜欢/不喜欢”或具体属性的评分（“颜色太暗”、“裙子太长”），利用这些反馈微调提示策略或作为RAG检索的偏好信号，实现越用越懂用户的个性化系统。

多模态RAG的引入：目前RAG只处理文本。时尚本质上是视觉的。未来可以构建一个多模态知识库，包含服装图片、面料纹理图、秀场视频帧等。检索时，可以同时检索相关的文本和图像片段，将这些视觉信息也作为上下文提供给模型，或许能激发更精准、更具视觉表现力的描述。

这个项目的核心启示在于，在AI时代，创造力的产生不再是完全的黑箱。通过提示工程，我们是在为AI设定思考的框架和路径；通过RAG，我们是在为AI配备一个随时可查阅的专业图书馆。作为开发者或设计师，我们的角色从“内容的直接创作者”逐渐转变为“创意过程的架构师和策展人”。如何设计更聪明的提示，如何构建更高质量、更相关的知识库，如何将人类的美学判断与AI的生成能力更流畅地结合，这些才是未来更具挑战性和价值的工作。