- 数据集
- 人工智能
- 大模型
【免费下载链接】Nemotron-Personas-Vietnam
Nemotron-Personas-Vietnam是首个大规模越南语 Persona(人物画像)数据集:100 万条记录、600 万个越南语 Persona、约 20 亿 tokens,全部基于越南总统计司(GSO)2024 年人口普查等真实统计分布合成,覆盖 34 个省市与 54 个民族,可免费用于商业与非商业场景(CC BY 4.0)。
这篇文章带你拆解开:这套数据是如何把"越南味"——从最常见的姓氏 Nguyễn 到婚姻、学历、职业结构——系统地编码进每一条合成记录的。
一、它是什么:一套"对齐真实分布"的合成越南 Persona
Nemotron-Personas-Vietnam 由 NVIDIA 联合 FPT Smart Cloud 与 FPT 量子 AI 与网络安全研究院开发,使用 NeMo Data Designer(企业级复合 AI 合成数据系统)+ 专有概率图模型(PGM)+SaoLa-Small-32B模型生成,并内置了验证与评估流程。
它的定位很明确:帮助越南及关注东南亚语种的模型开发者构建"主权 AI(Sovereign AI)",用真实的人口学分布替代粗放的通用 Persona,从而:
- 减少训练数据与模型中的地域/人群偏差;
- 提升越南语模型回答的多样性与真实感;
- 补上"人口老龄化、城乡差异、民族多样性"等常被忽略的维度。
原始数据以 parquet 分片存放,例如 data/train-00000-of-00011.parquet(共 11 个分片,总计约 2.25 GB)。
二、姓名设计:10.7 万个唯一姓名里的世代与地域密码
这是整套数据最"文化"的部分。姓名不是随机拼接,而是基于越南真实命名数据构建:
| 姓氏 | 占比 |
|---|---|
| Nguyễn(阮) | 约 33% |
| Trần(陈) | 约 10% |
| Lê(黎) | 约 8% |
| Phạm(范) | 约 6% |
| Phan(潘) | 约 4% |
| Hoàng(黄) | 约 3% |
100 万条记录中只生成了106,572 个唯一全名——刻意控制重复率,模拟"同名者不少、但绝大多数人名字唯一"的真实社会面貌。
更有意思的是世代信号:
- 年长 Persona 更多出现 Văn、Thị、Minh、Hùng 这类承载传统美德与价值观的名字;
- 年轻 Persona 则更多使用现代风格的名字。
也就是说,光看名字就能大致猜出这个 Persona 的年龄段——这正是越南命名文化的真实写照,也被完整保留了下来。
三、年龄与婚姻:把越南人口转型写进金字塔
每条记录都包含sex(Nam/Nữ)、age(18 岁以上)、marital_status(独身、已婚、离异、丧偶 4 类)等字段,其分布锚定《2024 年越南统计年鉴》。
从图中可以看出几个刻意为之的设计:
- 最厚的一层对应后革新(Đổi mới)后期出生的人群(1980s 末—1990s 初出生高峰),体现越南正从年轻人口向中年占比上升转型;
- 年轻层逐渐收窄,反映 2000 年代以来的生育率下降;
- 婚姻状态随年龄变化:18–24 岁未婚占比高,大城市(河内、胡志明市)晚婚趋势明显,大龄组丧偶比例上升(女性更高,对应更长预期寿命)。
这些都不是"平均脸",而是有城乡区分的人口学结构。
四、学历与职业:34 个省市、144 个职业的真实落差
学历(education_level,7 档)与职业(occupation,144 个细分职业,映射到 ISCO-08 的 10 个大组)是数据里的两个"空间维度":
- 大学及以上学历占比:胡志明市 31.2%、顺化 26.1%、河内 25.7%;而莱州仅 3.7%、宣光 4.8%、老街 5.0%(全国平均 17.0%);
- 城乡落差:城市 31.5% vs 农村 7.9%;
- 职业结构体现经济转型:专业与服务类占比高, Đồng Nai、海防等工业中心制造业突出,电商带动零售/商业类占比上升;
- 官方也坦承局限:由于职业词表不含家政、搬运、废品回收等岗位,基础劳动组仅占 5.1%(真实为 24.6%),差额主要由服务与销售类吸收。
五、数据集结构:21 个字段如何组成一个"人"
每条记录由 4 类字段拼成一个完整 Persona,所有叙述字段均为标准越南语:
| 类别 | 字段 | 说明 |
|---|---|---|
| 6 类 Persona | professional / sports / arts / travel / culinary / persona | 职业、体育、艺术、旅行、美食五段场景化人设 + 1 段综合摘要(每条记录约 200 tokens) |
| 6 类属性 | cultural_background、skills_and_expertise(+_list)、hobbies_and_interests(+_list)、career_goals_and_ambitions | 文化背景、技能专长、兴趣爱好、职业目标,自然语言描述 |
| 8 类上下文 | sex、age、marital_status、education_level、occupation、zone、region、country | 人口与地理锚点,保证分布对齐 GSO 统计 |
| 1 个标识 | uuid | 全局唯一 ID |
规模速览:
- 1,000,000 条记录,6,000,000 个 Persona 描述
- 2B tokens(其中 persona tokens 1.14B;用对越南语更省 token 的 Qwen3.5 tokenizer 约 563M)
- 34 省市、6 大经济社会区、54 个民族、仅含 18 岁以上成年人
完整字段与 token 统计见 README.md。
加载方式只有一行(Hugging Facedatasets库):
from datasets import load_dataset nemotron_personas = load_dataset("nvidia/Nemotron-Personas-Vietnam", split="train")六、边界与注意事项:什么"不在"数据里
- 不含真实个人:数据完全由合成方法生成,与任何真实人物相似纯属巧合;
- 不含姓名以外的人格特征:如完整姓氏字段、personality traits 等被刻意排除(企业级扩展版可通过 NVIDIA 单独获取);
- 不含未成年人与金融、医疗等企业专属 Persona;
- 存在建模假设:PGM 对部分变量采用独立性假设(如分配细分职业时,性别/学历/年龄被假定为独立影响因子),使用时需知晓这一近似。
七、为什么值得关注:主权 AI 时代的越南语数据底座
对东南亚 AI 开发者而言,这份数据集的价值在于三点:
- 分布真实性——用 2024 年人口普查、VHLSS 2024、统计年鉴做锚点,而不是"拍脑袋"生成;
- 文化颗粒度——姓名世代信号、54 个民族、2025 年合并后的 34 个行政单位,是通用 Persona 库给不了的;
- 开源可用——CC BY 4.0,商业与非商业用途均免费。
版本节奏:v1.0 于 2026-06-04 发布,v2.0(扩展版)于 2026-10-15 发布,扩展版可直接在 NeMo Data Designer 中使用。
引用建议:若用于论文,请按 README.md 中的
@software格式引用(作者、标题、2026 年 10 月)。
总结:Nemotron-Personas-Vietnam 用 10.7 万个唯一姓名、20 亿越南语 tokens,把越南的人口学现实"翻译"成了可训练的合成数据。如果你正在做越南语 LLM 微调、评测或角色化应用,它是目前最完整的开源起点。
- 数据集
- 人工智能
- 大模型
【免费下载链接】Nemotron-Personas-Vietnam
相关推荐
快速看懂Nemotron-Personas-Korea:韩国首个大规模合成人物画像数据集完整指南(100万记录/700万Persona)
快速看懂Nemotron Personas Korea:韩国首个大规模合成人物画像数据集完整指南(100万记录/700万Persona) Nemotron Pe
从Filter到Funnel:Lucide图标库命名演进背后的设计逻辑
从Filter到Funnel:Lucide图标库命名演进背后的设计逻辑 你是否在使用Lucide图标库时遇到过图标命名混乱的问题?特别是Filter与Funne
前端UI组件设计系统Nemotron-Personas-Korea的26个字段全解析:从7类Persona到人口统计属性的数据Schema深度指南
Nemotron Personas Korea的26个字段全解析:从7类Persona到人口统计属性的数据Schema深度指南 Nemotron Persona
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考