news 2026/6/10 17:42:00

Mysql大数据深分页速度慢优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Mysql大数据深分页速度慢优化

Mysql: 8.0.29

数据量:628W条

主键字段:id

一、Mysql分页原理

示例语句: SELECT * FROM test_logistics_contract_info LIMIT 5000000,10;

PS1:理论上生产环境不禁止SELECT * ,哪怕会用到所有的字段,这里只是示例语句。

执行原理 :

先执行 SELECT * FROM test_logistics_contract_info LIMIT 5000010;放入Mysql内存中

再取最后的10条返回

效率:

分页越深,效率越低,如果取全表的最后10条,相当于全表扫描。

二、俩种SQL语句级别优化和效率对比

原版语句: 执行时间 7.338秒

优化语句一: 查询时间 0.143秒 比原版的零头还低

SELECT a.* FROM test_logistics_contract_info a INNER JOIN (SELECT id FROM test_logistics_contract_info LIMIT 500000,10) as b
on a.id = b.id

原理:利用 InnoDB 的回表机制,先拿所需要数据的主键,再用主键拿数据。

优化二:查询时间 0.0秒(纳秒级别了) 比原版的零头的零头还低

SELECT * FROM test_logistics_contract_info WHERE id >= 5066186 LIMIT 10;

原理:先拿到上次分页的最后一条数据id,然后用id精准定位数据的位置。

缺点:禁止跳页,每次都必须拿到上一页的最后一条数据的id

PS2:Mysql自增主键具有不连续性,用页数*每页条数得到的数字作为id是不准确的(比如物理删除的数据,或者批量添加数据)

PS3:Mysql还有唯一索引不唯一的特性( ^_^!!)

三、其他优化方式

1、禁止深分页(使用多)

某东、某宝的分页都限定了100页

2、用适合大数据分页的DB 存数据 (省心)

比如es(GB~TB级别) Hbase(PB级别)

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 9:50:25

如何高效实现Reddit视频批量自动化生成:从手动操作到智能生产

如何高效实现Reddit视频批量自动化生成:从手动操作到智能生产 【免费下载链接】RedditVideoMakerBot Create Reddit Videos with just✨ one command ✨ 项目地址: https://gitcode.com/GitHub_Trending/re/RedditVideoMakerBot 面对内容创作领域日益增长的需…

作者头像 李华
网站建设 2026/6/10 19:13:33

告别臃肿:crypto-js模块化引入的精准瘦身指南

在追求极致性能的前端开发领域,crypto-js的完整引入已成为项目体积的隐形负担。本文将为你揭示如何通过模块化策略实现精准瘦身,让加密功能不再成为性能瓶颈。 【免费下载链接】crypto-js 项目地址: https://gitcode.com/gh_mirrors/cry/crypto-js …

作者头像 李华
网站建设 2026/6/8 17:32:12

电力配网硬件研发:5大核心技能实战解析

目录 一、电力配网设备研发岗位全景 1.1 岗位分类与核心职责 二、核心技能模块 1:电力系统基础与电气原理(入行门槛) 2.1 必备知识点 2.2 实战案例:10kV 配电网典型设备选型与保护配置 三、核心技能模块 2:硬件电…

作者头像 李华
网站建设 2026/6/10 12:15:25

Wan2.2-T2V-A14B模型更新日志与功能演进路线图

Wan2.2-T2V-A14B:当AI开始“拍电影”,我们离元宇宙还有多远?🎬 你有没有想过,有一天只需要一句话:“一个穿汉服的女孩在樱花雨中转身,古风音乐缓缓响起”,就能自动生成一段唯美高清的…

作者头像 李华
网站建设 2026/6/10 0:34:58

Wan2.2-T2V-A14B模型对二十四孝故事的现代诠释

Wan2.2-T2V-A14B:当AI用国风水墨重述“二十四孝”,我们离智能创作还有多远? 你有没有想过,一句古文——“孟宗哭竹,冬月无笋,抱竹而泣,地裂出笋”——能变成一段三秒的动画?雪落竹林…

作者头像 李华
网站建设 2026/6/11 6:52:49

DeepSeek-R1-Distill-Llama-8B本地部署指南:3步实现高性能AI推理

DeepSeek-R1-Distill-Llama-8B本地部署指南:3步实现高性能AI推理 【免费下载链接】DeepSeek-R1-Distill-Llama-8B 开源项目DeepSeek-RAI展示前沿推理模型DeepSeek-R1系列,经大规模强化学习训练,实现自主推理与验证,显著提升数学、…

作者头像 李华