## binlog拉取存在的问题 MySQL 主备之间数据同步是通过binlog进行的,当主库更新产生binlog时,备库需要同步主库的数据,通过binlog协议从主库拉取binlog进行数据同步,以达到主备数据一致性的目的。但当主库tps较高时会产生大量的binlog,以致备库拉取主库产生的binlog时占用较多的网络带宽,引起以下问题: 1. 在MySQL中,写入与读取binlog使用的是同一把锁(Lock_log),频繁的读取binlog,会加剧Lock_log冲突,影响主库执行,进而造成TPS降低或抖动; 2. 当备库数量较多时,备库拉取binlog会占用过多的带宽,影响应用的响应时间。 为了解决上面提到的问题,需要对binlog的拉取速度进行限制。 ## 问题存在的原因 备库或应用通过binlog协议向主库发送消息,告诉主库要拉取binlog,主库经过权限认证后,以binlog_event为单位读取在本地的binlog,然后将这些binlog_event发送给应用,其过程简单描述如下: 1. 从mysql-bin.index中找到用户消息中的指定文件,如果没有指定要拉取的binlog文件名称,则用第一个; 2. 上Lock_log锁,从1)或4) 中的binlog file中读取一个binlog_event,释放Lock_log锁,判断binlog_event的类型; 3. 如果是普通binlog_event,则将binlog_event发送到net 缓冲区; 4. 如果是Rotate_log_event,则取出要Rotate到的文件,执行2); 5. 如果当前读的文件是最后一个文件且已经读到了文件的结尾,则会释放Lock_log锁,并等待新的Log_event信号。 从以上过程可以看出,binlog的发送速度和IO、网络有很大的关系,只要这三者不受限制,程序会就尽力发送binlog而没有限制。 ## 解决问题的方法 由3、4可以看出,程序在读取和发送之间是没有其它工作的,如果IO很强,读取的速度很快,那么binlog的发送速度就会很快且不受限制,进而造成本文开始所描述的问题;针对binlog发送速度的问题,rds_mysql 通过设置binlog发送线程的发送频率、休眠时间来调整binlog的发送速度,因此 rds_mysql 引入了两个新的参数: 1\. binlog_send_idle_period binlog发送线程的每次休眠时间,单位微秒,默认值100; 2\. binlog_send_limit_users binlog发送线程的速度配置,默认值”“。 举例如下: set global binlog_send_limit_users=”rep1:3,rep2:10” 的作用是设置rep1拉取binlog的上限速度是3M/s, rep2拉取binlog的上限速度是10M/s,其中rep2、rep2指的是应用连接的用户名,对于binlog的拉取速度控制主要分为两个方面: ## binlog 发送速度监控线程 速度监控线程随着mysqld的启动而启动,用于定时扫描限速列表,计算列表中的每一个binlog dump线程的binlog发送速度,并根据计算的速度调整binlog的发送频率,其工作过程描述如下: 1. 速度监控线程随着mysqld的启动而启动,并初始化限速列表; 2. 对限速列表进行依次扫描,如果取到的线程不为空,转2); 3. 计算当前线程的发送速度,与用户设定的速度进行比较,大于设定的发送速度,转3),如果小于用户设定的发送速度,则转4) 4. 通过调整当前线程的net_thread_frequency 成员,降低发送频率; 5. 通过调整当前线程的net_thread_frequency 成员,增加发送频率; 6. 遍历完限速列表后让出CPU 1毫秒,转1) 由以上描述可以看出,监控线程每毫秒执行一次,根据发送的字节数来计算binlog发送线程的发送速度是否超过设定的速度,并通过调整发送频率来调整binlog的发送速度,监控线程的限速列表是这样构造的: 1. binlog dump 线程在拉取binlog前会先根据连接的用户名判断是否应该对该用户限速,如果需要限速,则需要将当前dump线程加入限速列表; 2. 当binlog dump结束或断开连接时,从限速列表移除; 3. 当设置参数binlog_send_limit_users时,会对当前所有线程进行遍历,将被限制的用户加入限速列表,对不受限制的用户移出限制列表,所有受影响的线程不需要重新连接,可以实时生效。 ## binlog dump 线程 dump 线程用于发送binlog,在发送过程中会根据监控线程设置的发送频率来调整binlog发送的速度,可以分为以下几步: 1\. binlog dump 线程在拉取binlog前会先根据连接的用户名判断是否将本用户的线程加入限速列表; 2\. 读取binlog,并查看是否需要休眠,需要休眠转3),否则转4); 3\. 休眠binlog_send_idle_period; 4\. 发送读取到的binlog event,转2。 因此可以通过设置binlog的发送频率及休眠时间精确调整binlog的发送速度