業(yè)務(wù)場(chǎng)景

公司的一個(gè)日志系統(tǒng)用到了clickhouse。一線運(yùn)維反映說有個(gè)生產(chǎn)環(huán)境因?yàn)楫惓嚯娫斐煞?wù)器重啟。在執(zhí)行日志系統(tǒng)的啟動(dòng)腳本時(shí)，一直報(bào)clickhouse啟動(dòng)不起來，日志系統(tǒng)無法使用。

問題排查

通過閱讀啟動(dòng)腳本代碼，以及啟動(dòng)日志系統(tǒng)，我發(fā)現(xiàn)mysql、redis等項(xiàng)目依賴的以及項(xiàng)目本身都能啟動(dòng)，唯獨(dú)clickhouse啟動(dòng)不起來。ps一下，確實(shí)也找不到clickhsoue的啟動(dòng)進(jìn)程。

 systemctl restart clickhouse-server #重啟systemctl start clickhouse-server # 啟動(dòng)systemctl status clickhouse-server　＃查看狀態(tài)

于是先執(zhí)行一下重啟，然后查看clickhouse的啟動(dòng)狀態(tài)
可以看到是自動(dòng)重啟狀態(tài)。
然后就去找日志，看看clickhouse是出了什么毛病，怎么導(dǎo)致自動(dòng)重啟狀態(tài)了
日志一般在/var/log/clickhouse-server/目錄下，然后進(jìn)去查看日志，發(fā)現(xiàn)了問題所在。

這里可以看到，有個(gè)表報(bào)錯(cuò)。上網(wǎng)查了一下，是因?yàn)楫惓嚯姇r(shí)寫入數(shù)據(jù)導(dǎo)致的。

解決方案

網(wǎng)上的解決方案有不少，不過我是按照小改動(dòng)的原則，更改了那張異常的表結(jié)構(gòu)。報(bào)錯(cuò)的時(shí)候會(huì)給你提示報(bào)錯(cuò)的是哪張表以及它所在的位置。你找到它，然后在里面修改建表語(yǔ)句這樣設(shè)置

SETTINGS max_suspicious_broken_parts = 1000,index_granularity = 8192

然后重啟就好啦。
這里的問題解決方案參考別人的博客。

服務(wù)器強(qiáng)制關(guān)閉、異常斷電等導(dǎo)致clickhouse數(shù)據(jù)損壞Suspiciously many broken parts to remove