智谱AI发布GLM-4-9B-Chat开源模型：性能超越Llama-3-8B，支持128K超长上下文与多模态交互

模型概述

【免费下载链接】glm-4-9b-chat-hf项目地址: https://ai.gitcode.com/zai-org/glm-4-9b-chat-hf

GLM-4-9B是智谱AI推出的GLM-4系列最新一代预训练模型的开源版本。在语义理解、数学推理、代码生成及知识问答等多维度数据集评测中，基础模型GLM-4-9B及其经过人类偏好对齐的对话版本GLM-4-9B-Chat均展现出超越Llama-3-8B的卓越性能。除了支持多轮对话外，GLM-4-9B-Chat还集成了网页浏览、代码执行、自定义工具调用（Function Call）和超长上下文推理（最长支持128K上下文窗口）等高级特性。本代模型新增多语言支持能力，可流畅处理日语、韩语、德语等26种语言。同步发布的还有支持1M上下文长度（约200万汉字）的GLM-4-9B-Chat-1M模型，以及基于GLM-4-9B开发的多模态模型GLM-4V-9B。其中GLM-4V-9B具备1120*1120高分辨率下的中英文对话能力，在多模态评测中，包括中英文综合能力、感知推理、文本识别和图表理解等任务上，性能均超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max及Claude 3 Opus。

性能评测

我们在多项经典任务中对GLM-4-9B-Chat模型进行了全面评估，具体结果如下表所示：

超长上下文能力

在1M上下文长度下进行的needle实验结果如下：

如上图所示，该实验直观展示了GLM-4-9B-Chat在百万级上下文长度中精准定位关键信息的能力。这一特性充分体现了模型在处理超长文本时的信息保持能力，为法律文档分析、学术论文理解等长文本应用场景提供了核心技术支撑。

我们进一步在LongBench数据集上评估了模型的长文本处理能力，结果如下：

该图表清晰呈现了GLM-4-9B-Chat与其他主流模型在长文本任务上的性能对比。从数据可以看出，GLM-4-9B-Chat在多类长文本理解任务中均处于领先地位，这为需要处理书籍、报告等超长文档的应用场景提供了可靠的技术保障。

多语言支持能力

我们在六个多语言数据集上对GLM-4-9B-Chat和Llama-3-8B-Instruct进行了对比测试，各数据集的测试结果及涵盖语言如下表所示：

工具调用能力

在Berkeley Function Calling Leaderboard上的测试结果如下：

本仓库为GLM-4-9B-Chat的模型仓库，支持128K上下文长度。

快速开始

更多推理代码和环境要求，请访问我们的GitHub页面。

请严格按照依赖说明进行安装，否则可能导致运行异常。

使用Transformers库(4.46.0及以上版本)进行推理：

from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('THUDM/glm-4-9b-chat-hf') model = AutoModelForCausalLM.from_pretrained('THUDM/glm-4-9b-chat-hf', device_map="auto") message = [ { "role": "system", "content": "Answer the following question." }, { "role": "user", "content": "How many legs does a cat have?" } ] inputs = tokenizer.apply_chat_template( message, return_tensors='pt', add_generation_prompt=True, return_dict=True, ).to(model.device) input_len = inputs['input_ids'].shape[1] generate_kwargs = { "input_ids": inputs['input_ids'], "attention_mask": inputs['attention_mask'], "max_new_tokens": 128, "do_sample": False, } out = model.generate(**generate_kwargs) print(tokenizer.decode(out[0][input_len:], skip_special_tokens=True))

使用vLLM库(0.6.4及以上版本)进行推理：

from transformers import AutoTokenizer from vllm import LLM, SamplingParams # GLM-4-9B-Chat-1M # max_model_len, tp_size = 1048576, 4 # 如遇内存溢出问题，建议减小max_model_len或增加tp_size max_model_len, tp_size = 131072, 1 model_name = "THUDM/glm-4-9b-chat-hf" prompt = [{"role": "user", "content": "what is your name?"}] tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) llm = LLM( model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True, # GLM-4-9B-Chat-1M-HF 如遇内存溢出问题，建议启用以下参数 # enable_chunked_prefill=True, # max_num_batched_tokens=8192 ) stop_token_ids = [151329, 151336, 151338] sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids) inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True) outputs = llm.generate(prompts=inputs, sampling_params=sampling_params) print(outputs[0].outputs[0].text)

许可证说明

GLM-4模型权重的使用遵循LICENSE中的条款。

引用说明

如果您发现我们的工作对您的研究有用，请考虑引用以下论文：

@misc{glm2024chatglm, title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools}, author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang}, year={2024}, eprint={2406.12793}, archivePrefix={arXiv}, primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'} }

重要提示：如果您使用本仓库的权重，请确保将transformers库更新至transformers>=4.46.0版本，旧版本的transformers库与此权重不兼容。

【免费下载链接】glm-4-9b-chat-hf项目地址: https://ai.gitcode.com/zai-org/glm-4-9b-chat-hf