1. 为什么需要MySQL主从集群?
作为开发者,我们经常会遇到数据库性能瓶颈的问题。想象一下,当你的应用用户量突然激增,所有查询请求都压在一台数据库服务器上,那场景就像节假日的高速公路收费站——所有车辆挤在唯一开放的通道,排队等待的时间越来越长。这时候,MySQL主从集群就像是同时开放了多个收费通道,能够有效分流压力。
我在实际项目中遇到过多次类似情况。有一次,一个电商平台的促销活动导致数据库查询响应时间从200ms飙升到5秒以上,用户体验直线下降。后来通过部署主从集群,将读操作分散到多个从库,问题立刻得到缓解。主从集群的核心价值在于:
- 读写分离:主库(Master)负责处理写操作(INSERT/UPDATE/DELETE),从库(Slave)处理读操作(SELECT)。根据统计,大多数业务场景中读操作占比高达70%-80%
- 数据备份:从库实时同步主库数据,相当于多了一份热备份。去年我们有个主库硬盘突然损坏,就是靠从库快速恢复业务
- 负载均衡:通过轮询或权重方式将查询请求分发到不同从库
- 高可用性:主库宕机时可以快速提升某个从库为主库(需要配合额外工具如MHA)
传统部署主从集群需要分别在多台服务器安装配置MySQL,过程繁琐。而使用Docker-compose,我们可以用一份配置文件在单台机器上快速搭建完整的主从环境,特别适合开发测试和中小型项目。
2. 环境准备与Docker网络配置
2.1 基础环境检查
在开始之前,确保你的系统已经安装以下组件:
# 检查Docker版本(建议18.06+) docker --version # 检查docker-compose版本(建议1.25+) docker-compose --version如果尚未安装,可以参考官方文档进行安装。我推荐使用Linux系统(如Ubuntu 20.04)作为宿主机,Windows和Mac虽然也能运行但性能会有损耗。
2.2 创建专用Docker网络
Docker网络是容器间通信的关键。在我们的方案中,所有数据库容器都需要加入同一个自定义网络。这样做的好处是:
- 容器间可以通过容器名直接访问(不需要记IP地址)
- 与宿主机和其他容器网络隔离,更安全
- 可以自定义子网范围,避免IP冲突
创建网络的命令很简单:
docker network create --subnet=172.16.0.0/24 basenetwork这里我特意选择了172.16.0.0/24这个不常用的私有网段,避免与公司内网冲突。你可以根据实际情况调整。创建后可以用以下命令验证:
docker network inspect basenetwork在我的实践中,建议将所有基础服务(MySQL、Redis等)都放在这个网络里,方便互相调用。曾经有个项目因为网络配置不当,导致应用容器连不上数据库,排查了半天才发现是网络隔离问题。
3. Docker-compose文件深度解析
3.1 项目目录结构设计
清晰的目录结构能让后期维护轻松很多。这是我推荐的结构:
mysql-cluster/ ├── docker-compose.yml ├── init_db/ # 初始化SQL脚本 ├── master/ │ ├── data/ # 主库数据持久化目录 │ └── my.cnf # 主库配置文件 └── slave/ ├── data/ # 从库数据持久化目录 └── my.cnf # 从库配置文件这种结构的好处是:
- 配置文件与数据分离,方便备份
- 每个实例有独立目录,避免混淆
- 符合Docker最佳实践
3.2 完整的docker-compose.yml
下面是我优化过的docker-compose文件,增加了注释说明关键参数:
version: "3.7" services: mysql-master: container_name: mysql-master image: mysql:5.7 environment: MYSQL_ROOT_PASSWORD: master_root_password MYSQL_REPLICATION_USER: repl_user MYSQL_REPLICATION_PASSWORD: repl_password volumes: - ./master/data:/var/lib/mysql - ./master/my.cnf:/etc/mysql/my.cnf - ./init_db:/docker-entrypoint-initdb.d ports: - "3306:3306" networks: basenetwork: ipv4_address: 172.16.0.101 mysql-slave-1: container_name: mysql-slave-1 image: mysql:5.7 environment: MYSQL_ROOT_PASSWORD: slave_root_password volumes: - ./slave-1/data:/var/lib/mysql - ./slave-1/my.cnf:/etc/mysql/my.cnf networks: basenetwork: ipv4_address: 172.16.0.102 depends_on: - mysql-master networks: basenetwork: external: true几个关键点说明:
- 使用MySQL 5.7镜像是因为它稳定且兼容性好,新项目可以考虑8.0
- 通过volumes实现数据持久化,即使容器重启数据也不会丢失
- 为每个容器分配固定IP,方便后续连接
- depends_on确保从库在主库启动后再启动
3.3 配置文件详解
主库的my.cnf需要特别配置以下参数:
[mysqld] server-id = 1 log-bin = mysql-bin binlog_format = ROW expire_logs_days = 7 binlog_do_db = your_database_name从库配置有所不同:
[mysqld] server-id = 2 # 必须与主库不同 relay-log = mysql-relay-bin read_only = 1 # 从库只读这些配置确保了:
- 主库生成二进制日志(binlog)供从库同步
- 每个实例有唯一server-id
- 从库设置为只读模式,防止误操作
4. 主从同步配置实战
4.1 启动集群
在项目目录下执行:
docker-compose up -d这个命令会启动所有定义的服务。建议先用docker-compose config检查配置是否正确。启动后可以用以下命令查看状态:
docker-compose ps如果看到所有容器状态都是"Up",说明启动成功。我第一次尝试时因为目录权限问题导致MySQL启动失败,后来发现需要确保data目录对Docker进程可写。
4.2 配置主从关系
在主库容器中执行:
docker exec -it mysql-master mysql -uroot -p登录后创建复制账号并授权:
CREATE USER 'repl_user'@'%' IDENTIFIED BY 'repl_password'; GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%'; FLUSH PRIVILEGES;记录下主库状态:
SHOW MASTER STATUS;你会看到类似这样的输出:
+------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000003 | 745 | | | +------------------+----------+--------------+------------------+然后在从库容器中配置主库信息:
CHANGE MASTER TO MASTER_HOST='mysql-master', MASTER_USER='repl_user', MASTER_PASSWORD='repl_password', MASTER_LOG_FILE='mysql-bin.000003', -- 上面查到的文件名 MASTER_LOG_POS=745; -- 上面查到的位置 START SLAVE;4.3 验证同步状态
在从库执行:
SHOW SLAVE STATUS\G重点关注以下字段:
- Slave_IO_Running: Yes
- Slave_SQL_Running: Yes
- Seconds_Behind_Master: 0
如果看到错误,常见原因包括:
- 网络不通(检查容器间能否ping通)
- 复制账号权限不足
- server-id配置重复
- 主库binlog位置不正确
5. 高级配置与故障排查
5.1 GTID模式配置
对于生产环境,我推荐启用GTID(全局事务标识符)模式,可以简化故障恢复。在主从配置文件中添加:
gtid_mode=ON enforce_gtid_consistency=ON然后从库的CHANGE MASTER命令可以简化为:
CHANGE MASTER TO MASTER_HOST='mysql-master', MASTER_USER='repl_user', MASTER_PASSWORD='repl_password', MASTER_AUTO_POSITION=1;5.2 常见问题解决
问题1:从库同步延迟大
- 解决方案:检查主库负载,考虑增加从库数量或升级配置
- 监控命令:
SHOW SLAVE STATUS中的Seconds_Behind_Master
问题2:主从数据不一致
- 解决方案:使用pt-table-checksum工具检查差异
- 修复命令:
pt-table-sync --replicate=pt.checksums h=master,u=root,p=password --sync-to-master
问题3:从库复制中断
- 常见错误:1062(主键冲突)、1032(记录不存在)
- 临时跳过:
SET GLOBAL sql_slave_skip_counter=1; START SLAVE; - 长期方案:分析业务逻辑,避免在从库写入
5.3 性能优化建议
- binlog格式:对于UPDATE多的场景用ROW,SELECT多的用STATEMENT
- 缓存设置:适当增加
binlog_cache_size和max_binlog_size - 网络优化:如果跨机房同步,考虑压缩binlog(
binlog_row_image=MINIMAL) - 监控告警:配置Prometheus+Granfa监控复制延迟
6. 实际应用场景
6.1 读写分离实现
在应用中,可以通过以下方式实现读写分离:
// Spring Boot配置示例 @Configuration public class DataSourceConfig { @Bean @Primary public DataSource masterDataSource() { // 配置主库数据源 } @Bean public DataSource slaveDataSource() { // 配置从库数据源 } @Bean public AbstractRoutingDataSource routingDataSource() { // 实现读写分离路由 } }6.2 数据备份策略
利用从库做备份不会影响主库性能:
# 在从库服务器执行 docker exec mysql-slave-1 mysqldump -uroot -p dbname > backup.sql建议配合crontab设置定时备份,并上传到云存储。
6.3 扩展多个从库
只需在docker-compose.yml中添加新服务:
mysql-slave-2: container_name: mysql-slave-2 image: mysql:5.7 environment: MYSQL_ROOT_PASSWORD: slave_root_password volumes: - ./slave-2/data:/var/lib/mysql - ./slave-2/my.cnf:/etc/mysql/my.cnf networks: basenetwork: ipv4_address: 172.16.0.103 depends_on: - mysql-master然后按照相同步骤配置主从关系即可。我曾经为一个数据分析平台配置了5个从库,分别用于不同的报表查询。