zlink 是一個基于 flink 開發(fā)的分布式數據開發(fā)工具，提供簡單的易用的操作界面，降低用戶學習 flink 的成本，縮短任務配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實現(xiàn)數據的實時同步，支持多數據源之間的數據同步。同時一鍵部署，支持查看日志，任務報警，任務重啟等功能。

鏈接地址：GitHub - zzzzzzzs/zlink: zlink 是一個基于 flink 開發(fā)的分布式數據開發(fā)工具，提供簡單的易用的操作界面，降低用戶學習 flink 的成本，縮短任務配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實現(xiàn)數據的實時同步，支持多數據源之間的數據同步。同時一鍵部署，支持查看日志，任務報警，任務重啟等功能。zlink 是一個基于 flink 開發(fā)的分布式數據開發(fā)工具，提供簡單的易用的操作界面，降低用戶學習 flink 的成本，縮短任務配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實現(xiàn)數據的實時同步，支持多數據源之間的數據同步。同時一鍵部署，支持查看日志，任務報警，任務重啟等功能。 - GitHub - zzzzzzzs/zlink: zlink 是一個基于 flink 開發(fā)的分布式數據開發(fā)工具，提供簡單的易用的操作界面，降低用戶學習 flink 的成本，縮短任務配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實現(xiàn)數據的實時同步，支持多數據源之間的數據同步。同時一鍵部署，支持查看日志，任務報警，任務重啟等功能。https://github.com/zzzzzzzs/zlink

使用場景

• 提供可視化界面，實現(xiàn)實時數據的快速編排
• 任務報警
• 元數據監(jiān)控
• 解決復雜數據的同步問題
• 以 flink 為基礎，獲得數據一致性保障

技術概述

特征

• 支持FlinkCDC全庫實時入庫入湖，多庫輸出，自動建表。
• 通過 web 拖拉拽的方式構建實時同步任務，減輕了大量字段校驗等繁雜工作
• 支持 flinksql 開發(fā)，自動提示補全、語法高亮、語句美化、在線調試
• 支持FlinkSQL多開發(fā)執(zhí)行模式：Local, Standalone, Yarn Per-Job, Kubernetes Application.
• 支持自動管理的 SavePoint/CheckPoint 恢復和觸發(fā)機制：最新、最早、指定等。
• flink 任務運行記錄展示，可以在頁面操作停止任務
• 支持修改任務狀態(tài)，啟動/停止，即時生效
• 支持實時工作告警和告警群：釘釘、微信、飛書、郵箱等。
• 支持 SPI 插件

登錄界面

訪問?http:ip:5465?地址，進入登錄界面

數據源配置中心

可以進行創(chuàng)建，修改，刪除數據源，并且可以識別出ip是否為內網

此處為編輯數據源，默認在保存前會進行一次測試連接，如果測試不通過，則不保存。

flink 配置中心

flink 配置展示界面

創(chuàng)建 flink 環(huán)境界面，flink 模式有 3 中，已支持 standalone 以及 yarn，目前 k8s 正在開發(fā)中。如果是 yarn 模式需要填寫 FLINK_HOME、core_site、hdfs_site、yarn_site 路徑。

例如下圖：

元數據中心

此處的源端數據庫和目標數據庫是在數據源中心配置的

同步表結構

在源端數據庫?數據庫中勾選上要同步的表結構，同時在?目標數據庫?上勾選上將要同步到的數據庫，點擊創(chuàng)建表結構按鈕，將會按照下面表結構的前后綴自動創(chuàng)建表（可以不填）。

cdc 實時同步數據

在?源端數據庫?和?目標數據庫?選中要同步的表結構，將會在右側生成表名。注意：如果是多個表，要保證源端數據庫表?和目標數據庫表?順序一致，若順序不一致可以拖動

然后點擊?生成cdc任務按鈕?就可以生成 flink 任務

flink 任務列表

此時生成的列表就是剛剛生成的同步表結構任務，每個任務都可以單獨操作，也可以批量操作。點擊 url 連接就會跳轉到對應的 flink-web 界面。

推送

點擊飛機按鈕就可以選擇集群（在flink 配置中心設置的）推送到指定的集群上，此時就可以在 yarn 管理界面上查看任務。

flink-sql

未來這里會添加 flink-sql 功能，避免在代碼中寫死 sql。同時可以添加調試功能，一鍵推送到指定集群上運行。