Research Question
【免费下载链接】Agent-Skills-for-Context-EngineeringA comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems. Use when building, optimizing, or debugging agent systems that require effective context management.项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-Skills-for-Context-Engineering
Gathered Findings
{{#each findings}}
Source {{@index}}: {{source}}
Date: {{date}}Type: {{type}}
{{content}}{{/each}}
[prompts/index.md](https://link.gitcode.com/i/3af6d90f2677abdd1a615951a6a99a2d) 说明了该类模板的变量语法约定: ```markdown {{variable}} # 简单替换 {{#if condition}}...{{/if}} # 条件区块 {{#each array}}...{{/each}} # 迭代这里{{research_question}}是简单替换;{{#each findings}}...{{/each}}是对 findings 数组的迭代,其中{{@index}}输出从 0 开始的序号,{{source}}、{{date}}、{{type}}、{{content}}为数组元素的字段。将每条来源包裹在<content>标签内,是为了让模型清晰区分"外部素材"与"待生成内容",降低把来源文本误当成自己输出的风险。
2.4 变量契约
模板的输入变量契约如下(原文档变量表):
| 变量 | 描述 | 必填 |
|---|---|---|
research_question | 被研究的问题 | 是 |
findings | 调研发现数组 | 是 |
findings.source | 来源名称/URL | 是 |
findings.date | 发布日期 | 是 |
findings.type | 来源类型(article、paper 等) | 是 |
findings.content | 抽取的内容 | 是 |
这组字段与上游工具的输出结构天然匹配:webSearch返回title/url/snippet/source/publishedDate/relevanceScore(见 web-search.md),readUrl返回含metadata.author/publishedDate/lastModified与content.sections的结构化文本(见 read-url.md)。因此findings.source可直接取webSearch结果的source(域名)或url,findings.date取publishedDate,findings.type对应contentType(article/documentation/paper/code)。从代码结构可以推断,synthesize工具正是负责把上游结果组装成符合该变量契约的输入对象。
三、七段式输出结构:从摘要到可操作洞见
模板要求模型产出的综合报告包含七个固定小节,每一节都有明确的写作指令:
3.1 Executive Summary(执行摘要)
2~3 句话概述核心发现,供决策者快速获取结论。
3.2 Key Themes(关键主题)
归纳跨来源浮现的主要主题。最佳实践第 1 条要求"模式识别需基于 3 个以上来源"(Look for patterns across 3+ sources),避免单来源偶发信息被放大为主题。
3.3 Findings by Topic(按主题组织的发现)
根据研究问题将发现组织为逻辑章节,而不是简单按来源罗列——这是"综合(synthesis)"区别于"汇总(summary)"的关键:内容按主题重组,而非按来源堆叠。
3.4 Areas of Consensus(共识领域)
回答"多个来源在哪些点上达成一致"。共识通常意味着更高的置信度,可作为结论性陈述的基础。
3.5 Areas of Disagreement(分歧领域)
记录来源之间冲突或差异之处。这是体现研究诚实度的部分,与综合指南中"be explicit about uncertainty"呼应。
3.6 Gaps and Limitations(空白与局限)
指出尚未回答的问题与现有信息的局限。模板明确要求"不要夸大来源所支持的内容"(见 Best Practices 第 4 条)。
3.7 Actionable Insights(可操作洞见)
给出可实际采用的结论。Best Practices 第 5 条要求"以实用要点收尾"(End with practical takeaways),确保研究不只停留在描述层面。
3.8 Source Quality Assessment(来源质量评估)
对来源可靠性与相关性做简要评估。该小节与ResearchConfig.includeSourceQuality配置项对应——在 research-agent.md 中该配置默认值为true,意味着默认输出包含来源质量评估。
四、引用样式:三种可配置的标注方式
模板提供三种引用样式,由ResearchConfig.citationStyle配置项控制(默认inline):
4.1 Inline(行内,默认)
"Finding or claim" [Author/Source, Date]直接嵌在引用内容之后,阅读与核验成本最低。
4.2 Footnote(脚注)
"Finding or claim"[1] --- [1] Author/Source, Date, URL适合需要干净正文、详细出处放在文末的正式报告。
4.3 Endnote(尾注)
"Finding or claim" (see Sources: Source Name) ## Sources - Source Name: Full citation以来源名称为键组织文末引用表,便于按来源追溯。
模板同时要求输出以参考文献区(references section)收尾,保证每个论断都可回溯到具体来源。这与 read-url.md 输出的metadata字段(author、publishedDate、source)形成数据闭环:引用所需的作者与日期信息在读取阶段即被结构化捕获。
五、输入输出示例:一次完整的综合调用
5.1 输入示例
原文档给出了可直接套用的 JSON 输入:
{ "research_question": "What are the best practices for implementing LLM-as-a-Judge evaluation?", "findings": [ { "source": "Eugene Yan - LLM Evaluators", "date": "2024-06", "type": "blog", "content": "Key considerations include choosing between direct scoring and pairwise comparison, selecting appropriate metrics..." }, { "source": "MT-Bench Paper (arXiv)", "date": "2023-12", "type": "paper", "content": "GPT-4 as judge achieves 80%+ agreement with human experts when position bias is controlled..." } ] }注意findings.type同时标记了blog与paper,这正是"按质量加权"(Best Practices 第 2 条:学术来源优先于博客支撑事实性论断)的前提——模型需要依据类型判断证据权重。
5.2 预期输出结构
## Executive Summary LLM-as-a-Judge evaluation has emerged as a scalable alternative to human annotation... ## Key Themes 1. **Scoring Methodology Selection** - Direct scoring for objective criteria - Pairwise comparison for subjective preferences 2. **Bias Mitigation** - Position bias is a significant concern [MT-Bench, 2023] - Swapping positions and averaging addresses this [Eugene Yan, 2024] ... ## References 1. Eugene Yan. "Evaluating the Effectiveness of LLM-Evaluators." June 2024. https://eugeneyan.com/... 2. Zheng et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena." arXiv, December 2023.【免费下载链接】Agent-Skills-for-Context-EngineeringA comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems. Use when building, optimizing, or debugging agent systems that require effective context management.项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-Skills-for-Context-Engineering
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考