实验5 体验大语言模型
目的和要求
(1)了解大语言模型的工作原理。
(2)了解海内外主流大语言模型的基本情况。
(3)练习体验海内外主流大语言模型。
实验准备
(1)了解大语言模型指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。
(2)了解现阶段,所有的大语言模型都基于Transformer架构。
(3)了解GPT模型的诞生可以说是NLP技术的发展历史中一个重要的里程碑,这是NLP技术的重大突破。GPT系列大语言模型包含GPT-1、GPT-2、GPT-3、GPT-3.5和GPT-4等5个版本。
(4)了解文心一言是百度全新一代知识增强大语言模型,是文心大模型家族的新成员,能够与用户进行对话互动、回答用户的问题,并实现协助创作,高效便捷地帮助人们获取信息、知识和灵感等功能。文心一言是基于海量数据和知识进行融合学习的预训练大模型,也是国内参数数量比较多的大语言模型。
(5)了解通义千问是阿里云推出的大语言模型,其功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。并能够和人类进行多轮的交互,也融入了多模态的知识理解、有文案创作能力、能够续写小说,编写邮件等。
实验内容
推荐的大语言模型有智谱清言、豆包、文心一言、通义千问、chatgpt等。选择2种大语言模型体验纯文本任务和多模态任务两种类型,完成下列表格的填写。
我选择豆包和大模型
序号 | 考察能力 | 题目 | 回复 | 评价 |
1 | 逻辑推理 | 一个人带一只黄狗、一只白兔和一颗白菜过河,河边只有一条小船,此人每次只能带一样东西过河,如果此人不在,黄狗要咬白兔,白兔要啃白菜。请想一想:既不让黄狗咬白兔,又不让白兔啃白菜,该怎么设计过河方案 | xxx1大模型: xxx2大模型: | 你认为使用的大语言模型的本项能力是: xxx1大模型:优秀 xxx2大模型: 优秀 |
2 | 总结归纳 | 我家的猫叫花咪咪,我家的狗叫黄旺旺,请问我家的羊叫什么 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型:优秀 |
3 | 计算能力 | 753×951=? | xxx1大模型: xxx2大模型: | xxx1大模型:一般 xxx2大模型:优秀 |
4 | 历史知识 | “五代十国”包括哪些朝代 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀优秀 xxx2大模型:优秀 |
5 | 历史知识+逻辑推理 | 刘备怎样才能统一天下 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型:优秀 |
6 | 创作能力 | 我是一个科技公司的老板,请帮我设计一份简短的公司年会发言稿,100字以内 | xxx1大模型: xxx2大模型: | xxx1大模型:合格 xxx2大模型:优秀 |
7 | 角色扮演+创作能力 | 我是一名女学生,身高160cm,体重60kg,平时学习比较紧张,假如你是我的健身教练,请帮忙设计一个每天30min的健身计划 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型: 优秀 |
8 | 续写 | 如果由你来续写《红楼梦》的后40回,你会如何设计其中的情节?请用100字以内的篇幅概括 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型: 优秀 |
9 | 伦理问题 | 一列火车正常行驶,前方轨道上有5个小孩在玩耍,而另一条废弃轨道上有一个小孩。如果你是火车司机,突然发现制动失灵,你会变更轨道吗 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型: 优秀 |
10 | 记忆能力 | 最近24h内,我提了几个问题?其中有几个关于历史的问题 | xxx1大模型: xxx2大模型: | xxx1大模型: xxx2大模型: 优秀 |
11 | 简单比大小 | 数字9.11和9.9哪个大 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型: 优秀 |
序号1-11是纯文本任务 | ||||
序号 | 考察能力 | 题目 | 评价 | |
12 | 平面设计 | 请设计一个科技公司的Logo,要求扁平化风格,构图简洁明了 | xxx1大模型: xxx2大模型: | 你认为使用的大语言模型的本项能力是:优秀不合格 xxx1大模型: xxx2大模型: |
13 | 文生图 | 请生成一张名为“花丛中的女孩”的图像:明媚的阳光下,一个身穿白裙子的女孩站在花丛中 | xxx1大模型: xxx2大模型: | xxx1大模型:优秀 xxx2大模型: 优秀 |
14 | 图像识别 | 请识别图像中的景点 | xxx1大模型: xxx2大模型: 识别不到 | xxx1大模型: xxx2大模型:不合格 |
15 | 图像识别 | 上传一张迈克尔·乔丹的图像,请大语言模型识别其中是谁 | xxx1大模型: xxx2大模型: | xxx1大模型: xxx2大模型: 不合格 |
16 | 图像识别 | 请识别图像中有几个人,他们在干什么 | xxx1大模型: xxx2大模型:识别不了 | xxx1大模型:不合格 xxx2大模型: 不合格 |
17 | 图像识别 | 请识别图像中人物的表情,分析其此刻的心情 | xxx1大模型: xxx2大模型:识别不了 | xxx1大模型: xxx2大模型: |
18 | 图像识别 | 请识别图像中人物的大概年龄 | xxx1大模型: xxx2大模型: | xxx1大模型: xxx2大模型: |
19 | 图像识别+数学能力 | 准备一张包含初中数学题的图像,请大语言模型求解,并给出求解的过程 | xxx1大模型: xxx2大模型: | xxx1大模型: xxx2大模型: |
序号12-19是图像处理任务 | ||||
总结:比较两个模型?优缺点?
有些无法识别出来豆包能识别图片,另一个不行,但是文字比都包好