UIE-PyTorch:PaddleNLP通用信息抽取模型的终极PyTorch实现指南
【免费下载链接】uie_pytorchPaddleNLP UIE模型的PyTorch版实现项目地址: https://gitcode.com/gh_mirrors/ui/uie_pytorch
UIE-PyTorch是PaddleNLP UIE模型的PyTorch版实现,为开发者提供了强大的通用信息抽取能力。该框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模,并使得不同任务间具备良好的迁移和泛化能力。
🌟 UIE模型简介
UIE(Universal Information Extraction)是Yaojie Lu等人在ACL-2022中提出的通用信息抽取统一框架。PaddleNLP借鉴该论文的方法,基于ERNIE 3.0知识增强预训练模型,训练并开源了首个中文通用信息抽取模型UIE。
该模型可以支持不限定行业领域和抽取目标的关键信息抽取,实现零样本快速冷启动,并具备优秀的小样本微调能力,快速适配特定的抽取目标。
🚀 核心功能特性
uie_predictor提供通用信息抽取、评价观点抽取等能力,可抽取多种类型的信息,包括但不限于:
- 命名实体识别(如人名、地名、机构名等)
- 关系(如电影的导演、歌曲的发行时间等)
- 事件(如某路口发生车祸、某地发生地震等)
- 评价维度、观点词、情感倾向等信息
用户可以使用自然语言自定义抽取目标,无需训练即可统一抽取输入文本中的对应信息。实现开箱即用,并满足各类信息抽取需求
⚙️ 环境配置与安装
系统要求
- Python环境
- PyTorch 1.10至2.0版本(CPU版)
依赖安装
项目的核心依赖在requirements.txt中定义,主要包括:
- numpy >=1.22
- torch >=1.10,<2.0
- transformers >=4.18,<5.0
- sentencepiece
- onnxruntime
快速安装步骤
- 克隆仓库:
git clone https://gitcode.com/gh_mirrors/ui/uie_pytorch cd uie_pytorch- 安装依赖:
pip install -r requirements.txt📖 使用指南
零样本抽取
UIE模型支持零样本抽取,无需训练即可直接使用自然语言描述抽取目标。
小样本微调
对于特定领域或抽取目标,可使用少量标注数据进行微调,进一步提升抽取效果。相关代码可参考finetune.py。
模型导出
训练好的模型可以导出为ONNX格式,方便在生产环境中部署。导出功能可通过export_model.py实现。
📊 评价与评估
项目提供了评估脚本evaluate.py,可用于评估模型在不同任务上的性能表现。
📝 数据标注工具
项目包含与数据标注相关的工具:
- doccano.py:与doccano标注工具集成
- labelstudio2doccano.py:Label Studio标注数据转doccano格式
🤝 贡献与交流
欢迎通过提交issue或PR的方式参与项目贡献,一起完善这个强大的通用信息抽取工具。
📄 许可证
本项目基于LICENSE开源。
【免费下载链接】uie_pytorchPaddleNLP UIE模型的PyTorch版实现项目地址: https://gitcode.com/gh_mirrors/ui/uie_pytorch
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考