Dendron 发布 noindex 指南：用 Frontmatter 精确控制页面的搜索引擎索引-开发者社区

知识管理
知识库

【免费下载链接】dendron

The personal knowledge management (PKM) tool that grows as you do!

项目地址：https://gitcode.com/gh_mirrors/de/dendron

本指南基于 Dendron 仓库test-workspace工作区中的发布测试笔记 dendron.ref.noindex.md，完整讲解 Dendron 发布站点中noindex功能的配置方式、底层实现链路与验证方法。读完本文，你将掌握如何通过单页 Frontmatter 标记或站点级默认配置，让搜索引擎（如 Google）不索引指定页面，并能结合源码理解该标记从笔记到 HTML<meta>标签的完整流转过程。

一、功能背景：为什么需要 noindex

Dendron 是"随你成长"的个人知识管理（PKM）工具，发布（Publish）功能可将 Vault 中的笔记静态导出为独立站点（详见 dendron.ref.publishSite.md 中展示的发布笔记写法）。但并非所有发布出去的页面都希望被搜索引擎收录：

草稿、待编辑内容不适合进入搜索结果；
内部笔记、测试页、临时页面需要"存在但不可见"；
需要避免重复内容被搜索引擎判定为作弊或分散权重。

Dendron 为此提供noindex机制。仓库 plugin-core/CHANGELOG.md 明确记录了该能力的发布说明：

要告诉 Google 不索引某个页面，可以在 frontmatter 中设置noindex: true。也可以在站点配置中通过noIndexByDefault: true为给定层级设置默认值。设置noindex: true会向站点添加如下 meta 标签：<meta name="robots" content="noindex, nofollow">

二、单页禁用索引：Frontmatter 中的 noindex 字段

仓库中的测试笔记 dendron.ref.noindex.md 是这一功能的最小可复现样例，其完整内容如下：

--- id: id-ref-noindex title: Simple Note Ref desc: "" updated: 1608147857388 created: 1608147795766 noindex: true --- This page shouldn't be indexed

关键点：

noindex: true是每页（per-page）粒度的字段，放在笔记的 YAML Frontmatter 中；
与title、desc等通用字段不同，noindex属于发布（publishing）专用元数据，由DendronSiteFM类型定义；
笔记正文本身照常存在（This page shouldn't be indexed），发布后页面仍可访问，只是搜索引擎不收录。

字段类型定义

DendronSiteFM定义在 packages/common-all/src/types/index.ts，noindex声明如下：

export type DendronSiteFM = { published?: boolean; noindex?: boolean; /** * Specify canonical url for content */ canonicalUrl?: string; nav_order?: number; nav_exclude?: boolean; // ... 其他发布元数据 };

该类型与canonicalUrl、nav_order、permalink、has_collection等发布字段并列，均通过笔记的custom属性承载，因此写进 Frontmatter 后会被 Dendron 引擎解析进笔记的custom元数据中。

三、底层流转：从 Frontmatter 到 robots meta 标签

理解noindex的完整链路，对排查"为什么页面仍被索引"或"meta 标签没生效"很有帮助。结合源码，其流转分三步：

1. 提取：PublishUtils.getSEOPropsFromNote

packages/common-all/src/utils/publishUtils.ts 中的getSEOPropsFromNote负责从笔记对象中提取 SEO 属性：

static getSEOPropsFromNote(note: NoteProps): SEOProps { const { title, created, updated, image, desc } = note; const { excerpt, canonicalUrl, noindex, canonicalBaseUrl, twitter } = note.custom ? note.custom : ({} as any); return { title, excerpt, description: excerpt || desc || undefined, updated, created, canonicalBaseUrl, canonicalUrl, noindex, image, twitter, }; }

注意noindex直接取自note.custom，这正是 Frontmatter 中noindex: true解析后的存放位置。若笔记没有自定义 Frontmatter，note.custom为空，noindex为undefined，即"不强制屏蔽索引"。

2. 类型承载：SEOProps

SEOProps类型定义在 packages/common-all/src/types/foundation.ts：

export type SEOProps = { title: string; updated: number; created: number; excerpt?: string; description?: string; image?: DNodeImage; canonicalBaseUrl?: string; canonicalUrl?: string; noindex?: boolean; twitter?: string; };

该类型还包含canonicalUrl、canonicalBaseUrl、twitter等与noindex同级的 SEO 控制字段，共同构成发布页面的搜索引擎元数据集合。

3. 渲染：DendronSEO 组件输出 noindex

发布站点前端使用 Next.js，SEO 元数据由 packages/nextjs-template/components/DendronSEO.tsx 渲染。组件通过PublishUtils.getSEOPropsFromNote(note)拿到笔记级属性，再用_.defaults(noteSeoProps, siteSeoProps)让笔记级配置覆盖站点级配置，最终在核心位置（第 102 行）将noindex传给NextSeo：

<NextSeo title={title} description={description} canonical={canonical} noindex={cleanSeoProps.noindex} twitter={maybeTwitter} openGraph={{ ... }} />

NextSeo的noindex属性会渲染为<meta name="robots" content="noindex, nofollow">，这正是 CHANGELOG 中记录的最终输出。也就是说，发布页面对应 HTML 的<head>中一旦出现该 meta 标签，搜索引擎爬虫就不会收录此页。

四、站点级默认：noIndexByDefault 与层级配置

除了单页标记，Dendron 还支持按层级（hierarchy）设置默认不索引。CHANGELOG 说明这是通过站点配置中的noIndexByDefault: true实现的。该字段属于LegacyHierarchyConfig，在配置校验文件中可见其完整定义：packages/common-all/data/dendron-yml.validator.json：

"LegacyHierarchyConfig": { "type": "object", "properties": { "publishByDefault": { "anyOf": [ { "type": "boolean" }, { "type": "object", "additionalProperties": { "type": "boolean" } } ] }, "noindexByDefault": { "type": "boolean" }, "customFrontmatter": { ... } }, "additionalProperties": false }

可见noindexByDefault与publishByDefault一样，是层级（hierarchy）配置的一部分，取值类型为布尔值。典型用法：在dendron.yml的发布配置中为某个层级设置默认不索引，再对需要被收录的个别页面用 Frontmatternoindex: false显式覆盖。

关于配置迁移的说明

从源码看，noindexByDefault属于旧版（legacy）层级配置体系。仓库中的迁移逻辑 packages/engine-server/src/migrations/utils.ts 在处理层级配置时会执行：

_.set(tmp, key, _.omit(_.get(hconfig, key), "noindexByDefault"));

即迁移过程中会将noindexByDefault键从层级配置中移除。这意味着在新版配置体系中，建议优先使用单页 Frontmatter 的noindex字段；若依赖旧版noindexByDefault，需确认你的 Dendron 版本在迁移后仍支持该行为。

五、发布目录中的相关实践与验证

验证方法

发布站点后，可通过以下方式验证noindex是否生效：

检查 HTML 源码：在浏览器中打开对应发布页面，查看<head>是否包含<meta name="robots" content="noindex, nofollow">；
对比未被标记的页面：未设置noindex的页面不应出现该 meta 标签；
搜索引擎验证：通过 Google Search Console 的 URL 检查工具提交页面 URL，确认抓取结果中的 robots 元数据。

六、小结与使用建议

控制粒度	配置位置	字段	说明
单页	笔记 Frontmatter	`noindex: true`	精确控制某一页不索引，优先级高于站点默认
层级默认	站点配置（legacy）	`noindexByDefault: true`	为某个 hierarchy 批量设置默认不索引

结合 dendron.ref.noindex.md 与源码证据，可以得出以下使用建议：

优先使用单页noindex：该字段从DendronSiteFM类型到SEOProps、再到DendronSEO组件的链路完整且被持续维护，是当前推荐的粒度控制方式；
草稿/内部页尽早标记：在创建笔记时即写入noindex: true，避免发布后内容被搜索引擎提前收录；
注意大小写一致性：源码（DendronSiteFM、SEOProps、PublishUtils）与 CHANGELOG 中均使用小写noindex；旧文档中的noIndexByDefault（大写的 I）仅在层级配置的旧体系中存在，且迁移逻辑会移除该键，混用时需格外小心；
配套使用 canonicalUrl：若同一内容有多个入口 URL，可结合canonicalUrl声明权威链接，与noindex协同控制搜索引擎行为。