seo 刷網(wǎng)站url南平網(wǎng)站seo
flinkcdc同步完全量數(shù)據(jù)就不同步增量數(shù)據(jù)了
使用flinkcdc同步mysql數(shù)據(jù),使用的是全量采集模型
startupOptions(StartupOptions.earliest())
全量階段同步完成之后,發(fā)現(xiàn)并不開(kāi)始同步增量數(shù)據(jù),原因有以下兩個(gè):
原因1:
1.mysql中對(duì)應(yīng)的數(shù)據(jù)庫(kù)沒(méi)有開(kāi)啟binlog
在/etc/my.cnf配置文件中,在[ mysqld ]添加以下內(nèi)容
[mysqld]#數(shù)據(jù)庫(kù)id
server-id=1
##啟動(dòng)Binlog,該參數(shù)的值會(huì)作為binlog的文件名前綴
log-bin=mysql-bin
##binlog類(lèi)型,maxwell要求為row類(lèi)型
binlog_format=row
##啟動(dòng)binlog的數(shù)據(jù)庫(kù),需根據(jù)實(shí)際情況修改配置
binlog-do-db=student
binlog-do-db=easypm
然后重啟數(shù)據(jù)庫(kù) ,執(zhí)行命令
sudo systemctl restart mysqld
原因2
和checkpoint有關(guān)
1.沒(méi)有開(kāi)啟ck
2.ck的時(shí)間過(guò)長(zhǎng)
測(cè)試階段,可以把ck的時(shí)間設(shè)置的非常短
env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//頭和頭的之間env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//頭和尾
3.ck的路徑收到損壞,刪除對(duì)應(yīng)的ck路徑下的內(nèi)容即可