这篇文章是一位大模型领域求职者的面试经验分享，详细记录了在淘天、字节、商汤等公司的面试过程和技术问题，包括OCR、多模态大模型等核心知识点。作者获得了8个offer，分享了选择考量因素，并提供了面试准备建议和AI大模型学习资源，为求职者提供宝贵参考。
面试情况
投过的公司：淘天，字节，蚂蚁，商汤，美团，夸克，腾讯，minimax，零一万物，阿里控股，潞晨科技，阿里巴巴国际，网易实验室，Momenta。
Offer：淘天，字节AML，商汤，蚂蚁，美团，夸克，腾讯混元，天翼云。
以下是面经分享
淘天【offer】
部门：未来生活实验室
介绍:淘天集团的大模型研究将主要围绕两个场景展开：一是搜广推，二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。
面经
一面：
- • 如何训练ocr任务
- • 实验的setting
- • ocr任务影响如何
- • 高分辨率训练，再在小分辨率上，会不会崩掉
- • 输出bbox有没有好的方式
HR面：
- • 基本信息确认
- • 考研进入电子科技大，为什么
- • 为什么进入了诺亚
- • 代表性的工作
- • 如何解决问题的，国内在做语言大模型的多一些。
- • 国内在做多模态大模型的
- • 如何评测，评估这些大模型的。如何看待刷榜的问题。
- • 你们的衡量指标
面试体验
面试体验很好。HR也没有那么咄咄逼人。阿里味不是特别明显。最终权衡也选择来了淘天，有兴趣来我们这边的欢迎投递简历，有卡（****张）。
字节AML【offer】
部门：AML火山方舟大模型
介绍：淘天集团的大模型研究将主要围绕两个场景展开：一是搜广推，二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。介绍链接。
预备面经
猎头也提供了一些其他候选人的面经， 整理如下：
- • 设计一个Hash表
- • 蓄水池问题
- • 从超大文本文件中随机行采样
- • 二叉搜索树-去掉超出[m, n]范围内的节点
- • 计算交叉熵
- • 计算IOU
一面：
- • 多模态你们的流程
- • 你们的OCR的结构
- • layernorm的区别
二面：
- • 什么时间开始做多模态模型
- • 目前在文档
- • Token长度太大。高分辨率如何解决。
- • patch能不能变得
- • VQGAN
- • GPT4V的结构形式。
- • LLM decoder
- • MagViT
- • LLM的基础知识需要尽快补上
三面：
- • 自我介绍
- • 多模态大模型用哪个模型
- • Transformer比较熟悉
- • python实现self attention和Transformer
面试体验
字节一如既往的注重coding，基本每一面两道题，自己能拿到offer也算是运气吧。一面的面试体验很差，可以说是毫无面试经验的面试官。
商汤【offer】：
一面：
- • 简单的自我介绍
- • 关于高分辨率的解决办法
- • OCR是如何去做的，有没有grounding，Referring
- • GPT4V 位置，检测明显的问题
- • 你们是如何解决位置信息的
- • 新的模态进来，如何去拼接过来
- • 新来一批数据，如何训练
- • tree1是否是tree2的子树
二面：
- • AGI缺不了视觉
- • 工业场景，人的检测，奇怪的零件，机器的检测。检测的结果，需要理解人的行为。理解和context的关系。人和环境的关系。借助多模态来解决
- • 自驾，感知端，到决策端，感知不需要全面的感知，着重额感知需要
- • 假新闻，图是真的。caption场景
- • OCR，街景的OCR，文档，网页截图等是不同的，这些场景混在一起。会有影响吗？
- • OCR的方案，一般是先出检测框，再出文本。不规则的文本，如何解决
- • 多模态大模型的OCR
- • Qwen-VL的文本检测形似，是否合理
- • 模型本身的三种能力
- • 自己的能力，认识什么
- • LISA：借助decoder来做，用新的prompt来实现分割。】
- • 外挂RAG等。
- • 判断左右括号（），等组成的字符串是否是合法的
二面结束，问题不大。
三面：
- • Leader面，聊了一些有的没的
面试体验
面试过程很专业，毕竟是商汤，算法技术是国内领先的，奈何没产品，而且薪资包也没有诚意。
蚂蚁风控大模型【offer】
一面：
- • 自我介绍
- • 介绍Focus-DETR，有没有在业务中应用。
二面：
- • 介绍
- • 目前在做的事情
- • 下游的任务，文档场景，再做一个什么任务
- • ocr数据是如何生成的
- • 效果如何
- • 如何解决幻觉的问题
HR面：
- • 具体的工作内容，印象
- • 安全内容，tob的内容审核。竞对。
- • 个人介绍。
- • 上海海思，为什么跳槽
- • 算法支撑
MiniMax：【挂】
一面：
- • 空间感知能力是如何解决的
- • 不同token长度是否有做balance的方式
- • 很多有价值的问题。
- • python实现标题 MLP Regressor 题目描述 题目描述与要求:实现一个MLP regressor 的完整训练过程，包括:forward , backward , SGD更新参数;验证backward梯度正确性;构建数据，验证端到端正确性 (收敛&泛化);(optional) 参考你过往的实验经验，尽可能让功能更完善;不使用第三方库中已实现好的自动求导方法;P.S. 实现方法不限，但由于在线IDE运行环境不稳定，推荐使用numpy。
PS：面试官对算法底层了解比较深入，比较考验代码能力，不是字节那种。
零一万物【挂】
一面：
- • 多模态的情况。
- • document的难度。
- • 手写 self attention
二面：
- • 自我介绍
- • 传统的OCR模型和多模态大模型的区别
- • 带不带OCR，多模态文档智能差多少。
- • 未来OCR模型是否会被大模型吃掉。OCR大模型有什么是做不了的。
- • 在哪些模型上做过一些预训练。
- • 多模态未来怎么做。
- • EVA的有趣的现象。没有出现涌现的现象。
- • 后面的工作主要集中在哪里。
- • 怎么训练比较好，gemini那种形式，llm那种形式。
**PS：**问了很多开放性的问题，给的回复是业务积累不够，hhhh。
美团【offer】
一面：
- • 文档大模型是一个独立的模型，会整合到一个大模型还是分离式的。
- • 不考虑通用场景的。
- • 目前用的多大的模型。
- • 是一个什么结构。对结构的一些了解。
- • flamingo或者blip2的结构上的对比。
- • 足够资源的情况下，哪个结构是最优的。
- • 分辨率是如何解决的。文档的分辨率比较高。
- • QA对匮乏如何解决的。
- • ocr的性能目前是低于多模态大模型。
- • 如何解决bbox感知能力差的问题。
- • 充足的算力。数据如何获取。如何有效的清洗。
- • fuyu这种结构有什么优化的空间。
二面：
- • OCR文档大模型
- • Instruction tuning的决定性因素，哪些Instruction tuning策略效果更好。如何评估复杂度的性能。
- • 如何保证数据集的多样性和复杂度。
- • 分层的Instruction tuning。
- • 数量的影响。数量和质量。
- • 不同类型数据的影响。对下游任务的影响。自动化的数据配比。自动化的指标去做类似的事情。
- • 专门优化的指标不再是一个好的指标。
- • 使用其他的指标来引导模型的优化，而不是使用下游的指标。LLM使用的loss，作为指标。而不是benchmark的分数。
- • 合理的评估指标是什么。openAI的压缩理论，trainnig loss代表优化目标。
- • AGI的几个阶段，deepmind发表。
三面：
- • 各种问题
四面：
- • 介绍自己。
- • 有一个多模态大模型，具备一些很多baseline的效果，基础的CV能力。可能效果都不是特别好。不如专精的大模型。OCR为例。目标得到一个类似GPT4V的模型，整理提高模型的效果。第二个，全流程，强化ocr能力。已有的多模态大模型。
- • 文档场景。
阿里控股【PASS】
一面：
这里没什么面经，整体面试体验很差。不考虑继续往下面。
- • 人非常高傲，傲慢，问问题，满脸的嫌弃
- • 感觉别人都不行
- • 觉得自己很强
- • 文生图
- • 文生图的畸形，检测的方式。
潞晨科技【PASS】
一面：
- • 手写self-attention
emmm，但凡面试官是NLP的，面试体验都不太好。如果NLP背景的面试官，面试会比较困难。
夸克【offer】
一面：
- • 项目
- • 做题
二面：
- • 高分辨率的解决方案
- • 重叠文本框。采用什么方案来解决。
- • 端到端的OCR是怎么做的。
三面：
- • 介绍Focus-DETR。
- • 介绍端到端的OCR。
- • 介绍多模态大模型。
- • 小语种数据集采购是为什么。检测数据多了，识别数据少了。
介绍业务规划，偏传统业务，不是大模型方向。
四面：
大佬面，出了一个概率题。
HR面：
- • 为什么跳槽。
- • 职业规划。
- • 为什么有这个绩效和各种奖项。
腾讯-混元大模型【offer】
一面：
- • 简单描述简历，在做的东西
- • 图像细节提取有什么办法
- • 目前的进展是什么样的，项目进展到什么情况
- • 表格这种数据如何解决，如何对表格这种做有效的信息抽取。
- • 目前有多少的数据量
二面：
- • OCR算法
- • 项目
- • 介绍文本检测的一些问题如何解决
- • MAE如何优化，什么鬼问题
三面：
纯聊天，没有太多技术问题。
- • 多模态大模型，TEG，数据平台事业部。混元大模型。机器学习平台。
阿里巴巴国际部【中止】：
一面：
- • 题目，旋转图像 Alpha度，
- • 介绍项目
- • 介绍Focus-Detr。
二面：
- • 简单询问项目，很快结束。
PS：不靠谱，很久没消息。没有后续的任何回复。这种最恶心了，建议大家不要再投。
网易实验室【PASS】
一面：
- • 自我介绍
- • 剪枝的工作，Focos-DETR是如何剪枝的。
- • Transformer相比CNN，相比RNN的优势。
- • 训练推理，增加吞吐量。
- • 推理加速。预训练模型的部署推理，优化。
做推理加速的不合适。
Momenta【PASS】
一面：
- • 手写NMS
- • 介绍DETR
- • 介绍Focus-DETR
- • 介绍position Embedding
- • 介绍DETR里面query的含义
PS：Momenta属于给钱多，但是比较累的。以后不太想做自动驾驶了，所以pass。不再考虑。
蚂蚁【大模型-codefuse】【HR面挂】
一面：简单聊项目
二面：
- • 业务题，如何解决多页文档的问题
- • 业务题，现在 ui 多模态大模型，ocr 如何引入，目前 ocr 存在很多问题
- • leetcode 题目，字符串转数字
- • leetcode 题目，最大子数组和
- • 多模态大模型的基础知识
三面：
- • 个人介绍
- • 部门规模
- • 论文的情况
- • 换过部门
- • 海思做的内容
- • OCR成熟度很高
面试体验：
面试官都很专业，问了很多问题，感觉很强。在HR面上吃了亏，很多问题没有回答好，吸取了经验，很多问题调整了回答的方式。也反思了自己在过往工作中存在的问题，面对大公司建议HR面认真准备，看看网上的一些经验，阿里的HR有一票否决权。
HR面注意点：
1、跳槽动机：如果是因为晋升不上去看机会，建议这么说：内部机会少，太稳定，想看更有发展的机会，别直接说晋升不上去才看机会，⚠切勿说和leader处不来或者说目前leader坏话。
2、关于薪资：可以回答看企业安排，或者回答一个区间，保底多少，期望多少，加一句薪资可谈，留足谈判空间，如果企业给的薪资不太满意，⚠别直接拒绝，就说考虑一下，我这边去谈，最后面试结束时，记得感谢下面试官的时间。
3，关于加班：大厂都大差不差，HR问就是试探⚠切勿说接受不了。
一些参考
社招关于大模型的知识点问到的也是一些常识知识，没有特别难得，更多的还是项目为主。面试其他公司的时候基本没有刷题，因为工作期间面试的，没有太多时间刷题， 只能周末时间。为了准备字节还是刷了一些题，大概60多道，如果是字节的话，还是好好准备刷题， 我有朋友甚至遇到了好几道hard。关于刷题，推荐labuladong的刷题笔记。应该算是最精良了，看这个不用看其他的了。
选择offer过程中也是各种权衡，考虑很多因素，也咨询了很多朋友，面临offer选择困难的朋友也可以咨询作者本人。
最后
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包：
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型？
人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。
资料包有什么？
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**
