news 2026/10/22 6:55:06

从Nguyễn到10.7万个唯一姓名:Nemotron-Personas-Vietnam六百万越南Persona背后的文化设计逻辑

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
从Nguyễn到10.7万个唯一姓名:Nemotron-Personas-Vietnam六百万越南Persona背后的文化设计逻辑
  • 数据集
  • 人工智能
  • 大模型

【免费下载链接】Nemotron-Personas-Vietnam

项目地址:https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-Vietnam
点击查看免费下载

Nemotron-Personas-Vietnam是首个大规模越南语 Persona(人物画像)数据集:100 万条记录、600 万个越南语 Persona、约 20 亿 tokens,全部基于越南总统计司(GSO)2024 年人口普查等真实统计分布合成,覆盖 34 个省市与 54 个民族,可免费用于商业与非商业场景(CC BY 4.0)。

这篇文章带你拆解开:这套数据是如何把"越南味"——从最常见的姓氏 Nguyễn 到婚姻、学历、职业结构——系统地编码进每一条合成记录的。

一、它是什么:一套"对齐真实分布"的合成越南 Persona

Nemotron-Personas-Vietnam 由 NVIDIA 联合 FPT Smart Cloud 与 FPT 量子 AI 与网络安全研究院开发,使用 NeMo Data Designer(企业级复合 AI 合成数据系统)+ 专有概率图模型(PGM)+SaoLa-Small-32B模型生成,并内置了验证与评估流程。

它的定位很明确:帮助越南及关注东南亚语种的模型开发者构建"主权 AI(Sovereign AI)",用真实的人口学分布替代粗放的通用 Persona,从而:

  • 减少训练数据与模型中的地域/人群偏差;
  • 提升越南语模型回答的多样性与真实感;
  • 补上"人口老龄化、城乡差异、民族多样性"等常被忽略的维度。

原始数据以 parquet 分片存放,例如 data/train-00000-of-00011.parquet(共 11 个分片,总计约 2.25 GB)。

二、姓名设计:10.7 万个唯一姓名里的世代与地域密码

这是整套数据最"文化"的部分。姓名不是随机拼接,而是基于越南真实命名数据构建:

姓氏占比
Nguyễn(阮)约 33%
Trần(陈)约 10%
Lê(黎)约 8%
Phạm(范)约 6%
Phan(潘)约 4%
Hoàng(黄)约 3%

100 万条记录中只生成了106,572 个唯一全名——刻意控制重复率,模拟"同名者不少、但绝大多数人名字唯一"的真实社会面貌。

更有意思的是世代信号:

  • 年长 Persona 更多出现 Văn、Thị、Minh、Hùng 这类承载传统美德与价值观的名字;
  • 年轻 Persona 则更多使用现代风格的名字。

也就是说,光看名字就能大致猜出这个 Persona 的年龄段——这正是越南命名文化的真实写照,也被完整保留了下来。

三、年龄与婚姻:把越南人口转型写进金字塔

每条记录都包含sex(Nam/Nữ)、age(18 岁以上)、marital_status(独身、已婚、离异、丧偶 4 类)等字段,其分布锚定《2024 年越南统计年鉴》。

从图中可以看出几个刻意为之的设计:

  • 最厚的一层对应后革新(Đổi mới)后期出生的人群(1980s 末—1990s 初出生高峰),体现越南正从年轻人口向中年占比上升转型;
  • 年轻层逐渐收窄,反映 2000 年代以来的生育率下降;
  • 婚姻状态随年龄变化:18–24 岁未婚占比高,大城市(河内、胡志明市)晚婚趋势明显,大龄组丧偶比例上升(女性更高,对应更长预期寿命)。

这些都不是"平均脸",而是有城乡区分的人口学结构。

四、学历与职业:34 个省市、144 个职业的真实落差

学历(education_level,7 档)与职业(occupation,144 个细分职业,映射到 ISCO-08 的 10 个大组)是数据里的两个"空间维度":

  • 大学及以上学历占比:胡志明市 31.2%、顺化 26.1%、河内 25.7%;而莱州仅 3.7%、宣光 4.8%、老街 5.0%(全国平均 17.0%);
  • 城乡落差:城市 31.5% vs 农村 7.9%;
  • 职业结构体现经济转型:专业与服务类占比高, Đồng Nai、海防等工业中心制造业突出,电商带动零售/商业类占比上升;
  • 官方也坦承局限:由于职业词表不含家政、搬运、废品回收等岗位,基础劳动组仅占 5.1%(真实为 24.6%),差额主要由服务与销售类吸收。

五、数据集结构:21 个字段如何组成一个"人"

每条记录由 4 类字段拼成一个完整 Persona,所有叙述字段均为标准越南语:

类别字段说明
6 类 Personaprofessional / sports / arts / travel / culinary / persona职业、体育、艺术、旅行、美食五段场景化人设 + 1 段综合摘要(每条记录约 200 tokens)
6 类属性cultural_background、skills_and_expertise(+_list)、hobbies_and_interests(+_list)、career_goals_and_ambitions文化背景、技能专长、兴趣爱好、职业目标,自然语言描述
8 类上下文sex、age、marital_status、education_level、occupation、zone、region、country人口与地理锚点,保证分布对齐 GSO 统计
1 个标识uuid全局唯一 ID

规模速览:

  • 1,000,000 条记录,6,000,000 个 Persona 描述
  • 2B tokens(其中 persona tokens 1.14B;用对越南语更省 token 的 Qwen3.5 tokenizer 约 563M)
  • 34 省市、6 大经济社会区、54 个民族、仅含 18 岁以上成年人

完整字段与 token 统计见 README.md。

加载方式只有一行(Hugging Facedatasets库):

from datasets import load_dataset nemotron_personas = load_dataset("nvidia/Nemotron-Personas-Vietnam", split="train")

六、边界与注意事项:什么"不在"数据里

  • 不含真实个人:数据完全由合成方法生成,与任何真实人物相似纯属巧合;
  • 不含姓名以外的人格特征:如完整姓氏字段、personality traits 等被刻意排除(企业级扩展版可通过 NVIDIA 单独获取);
  • 不含未成年人与金融、医疗等企业专属 Persona;
  • 存在建模假设:PGM 对部分变量采用独立性假设(如分配细分职业时,性别/学历/年龄被假定为独立影响因子),使用时需知晓这一近似。

七、为什么值得关注:主权 AI 时代的越南语数据底座

对东南亚 AI 开发者而言,这份数据集的价值在于三点:

  1. 分布真实性——用 2024 年人口普查、VHLSS 2024、统计年鉴做锚点,而不是"拍脑袋"生成;
  2. 文化颗粒度——姓名世代信号、54 个民族、2025 年合并后的 34 个行政单位,是通用 Persona 库给不了的;
  3. 开源可用——CC BY 4.0,商业与非商业用途均免费。

版本节奏:v1.0 于 2026-06-04 发布,v2.0(扩展版)于 2026-10-15 发布,扩展版可直接在 NeMo Data Designer 中使用。

引用建议:若用于论文,请按 README.md 中的@software格式引用(作者、标题、2026 年 10 月)。

总结:Nemotron-Personas-Vietnam 用 10.7 万个唯一姓名、20 亿越南语 tokens,把越南的人口学现实"翻译"成了可训练的合成数据。如果你正在做越南语 LLM 微调、评测或角色化应用,它是目前最完整的开源起点。

  • 数据集
  • 人工智能
  • 大模型

【免费下载链接】Nemotron-Personas-Vietnam

项目地址:https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-Vietnam
点击查看免费下载
上一篇:重磅升级!SeleniumBase新功能highlight_if_visible让元素调试效率提升300%
下一篇:5个技巧让DBeaver数据验证提速10倍:从卡顿到飞一般的体验

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/22 6:52:59

C语言:野指针

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/22 6:52:53

【OS】进程、线程、协程

长期补充,建议关注收藏! 目录总结进程与线程Windows系统Mac系统协程总结 特性进程线程协程内存空间独立的内存空间共享进程内存空间共享同一个线程内存空间资源拥有独立的资源共享进程资源共享线程资源开销创建、销毁和上下文切换开销较大较小&#xff…

作者头像 李华
网站建设 2026/10/22 6:49:16

迅为iTOP4412精英版之Android镜像的烧写

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/22 6:47:01

PJ85718DM+ATmega3250双模温控架构:抗干扰采样与确定性通信实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/22 6:47:01

STM32+模拟温度传感器PJ85718DM实现本地与远程测温上报

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/22 6:46:46

PJ85718DM与TM4C1299KCZAD在HVAC温控系统中的工业级协同设计

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华