A comprehensive study of LLM-based argument classification: from LLAMA through GPT-4o to Deepseek-R1

文章主要内容总结

本文是一项关于基于大型语言模型（LLMs）的论点分类（Argument Classification）的综合性研究，核心内容包括：

1. 研究背景与目标：论点挖掘（Argument Mining, AM）是跨学科领域，旨在自动识别论点组件（如前提、主张）及组件间关系（支持、反对、中立）。随着LLMs的发展，其在论点语义分析中的效率显著提升，但现有研究缺乏对LLMs在公开论点分类数据集上表现的系统分析。本文旨在填补这一空白。
2. 研究对象与方法：测试了多种LLMs（包括GPT系列、Llama系列、DeepSeek系列，以及结合思维链（Chain-of-Thoughts）算法的推理增强模型），使用Args.me和UKP两个公开论点数据集，通过不同提示词策略（如零样本、少样本、Rephrase and Respond（RaR）、思维链（CoT））评估模型表现。
3. 主要结果：
   • GPT-4o在论点分类基准测试中表现最优；
   • 具备推理能力的DeepSeek-R1在推理增强模型中表现突出；
   • 所有模型仍存在错误，常见错误包括将中性语句误判为论点、对否定句和复杂逻辑的误解等；
   • 提出一种结合改写提示词和确定性评估的模型，可提升论点识别准确率，但仍不完美。
4. 数据集分析：深入分析了Args.me和UKP数据集的缺陷，包括标注不一致、部分样本脱离上下文导致歧义等。