文章主要内容和创新点
主要内容
本文介绍了Absher，一个专为评估大型语言模型（LLMs）对沙特方言理解能力而设计的综合基准。该基准包含18,564个多选题，覆盖沙特5个主要地区（中部、西部、南部、东部、北部）的方言及通用沙特术语，涉及六个任务类别：意义识别、真假判断、填空、语境使用、文化解释和位置识别。这些问题基于从沙特各地区收集的方言词汇、短语和谚语构建，并经过人工验证确保质量。
作者使用该基准评估了6个主流LLMs（包括多语言模型和阿拉伯语专用模型），发现模型在处理文化推理和语境理解任务时表现较差，且多语言模型（如Qwen）整体性能优于阿拉伯语专用模型，但后者在谚语等文化嵌入表达上有特定优势。研究强调，现有LLMs在沙特方言的细粒度理解上存在显著不足，需加强方言感知训练和文化对齐的评估方法。
创新点
- 针对性设计：首个专门针对沙特方言的细粒度评估基准，填补了现有阿拉伯语基准多关注现代标准阿拉伯语（MSA）或其他泛阿拉伯方言的空白。
- 多维度评估：涵盖语言理解（如词汇意义）和文化感知（如谚语的文化解释），结合位置识别等区域特异性任务，全面评估模型的方言和文化适配能力。
- 系统构建流程：通过数据收集（来自方言数据库）、预处理、自动化问题生成（基于GPT-4o）和人工验证（4名沙特母语者参与），确保基准的可靠性和文化适宜性。
