文章主要内容总结
本文研究了大型语言模型（LLMs）从真实世界对话中推断人格特质的能力。研究团队引入了一个新的基准数据集（包含555个半结构化访谈，内容为受访者对近期情感和社交经历的自传式反思，并配对了同期收集的验证过的BFI-10自我报告分数），评估了GPT-4.1 Mini、Meta-LLaMA和DeepSeek三个模型的表现。
评估围绕BFI-10条目级预测（采用零样本提示）和大五人格维度推断（采用零样本和思维链提示）展开，结果显示：
- 所有模型重测信度高，但结构效度有限——与真实分数的皮尔逊相关系数最高仅为0.27，评分者间一致性（Cohen’s κ）低于0.10，且预测存在偏向中高特质水平的“果断性偏差”；
- 思维链提示和更长的输入上下文仅略微改善了分布一致性，未提升特质级准确性；
- 研究强调当前LLMs从自然语言中推断验证过的人格结构存在局限，在心理和临床应用中需谨慎发展。
文章创新点
- 提出新基准数据集：首次基于真实世界访谈数据（而非合成或众包标注数据）构建基准，结合验证过的自我报告量表，解决了此前研究缺乏生态效度和心理测量效度的问题；
- 系统评估提示策略与输入长度的影响：对比零样本提示和思维链提示的效果，并通过消融实验分析输入文本长度（100词、1000词、完整转录）对预测准确性的影响，为LLMs人格推断的方法优化提供了实证依据；
- 严格的心理测量学评估：采用皮尔逊相关系数、重测信度（ICC）、Co
