隨著數(shù)字化時代的快速發(fā)展，數(shù)據(jù)已經(jīng)成為企業(yè)運營和決策的重要依據(jù)。然而，處理和分析大量復(fù)雜數(shù)據(jù)是一個具有挑戰(zhàn)性的任務(wù)，特別是在數(shù)據(jù)清洗和加工環(huán)節(jié)。為了滿足這一需求，JVS-BI提供了一套高效、簡潔的數(shù)據(jù)處理和分析解決方案。

JVS智能BI通過創(chuàng)新性的數(shù)倉式存儲、流程化加工、直觀模擬化配置和用戶友好的界面化管理等特性，使數(shù)據(jù)分析變得觸手可及，同時也極大地提高了數(shù)據(jù)處理和分析的效率。

JVS-BI特點介紹

數(shù)據(jù)應(yīng)用的基本流程大致分為三個步驟，數(shù)據(jù)的集成接入（多種數(shù)據(jù)源）、數(shù)據(jù)的清洗加工（關(guān)聯(lián)、篩選、分組聚合等），最后再是數(shù)據(jù)的應(yīng)用（數(shù)據(jù)報告、趨勢圖表、大屏展示、統(tǒng)計報表等）。

其中數(shù)據(jù)清洗是最考驗技術(shù)能力的過程。JVS-BI提供了可視化數(shù)據(jù)加工的工具---數(shù)據(jù)加工引擎，特點：

• 數(shù)倉式存儲，以集中式、整合的方式管理數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的統(tǒng)一清洗、轉(zhuǎn)換和加載，為數(shù)據(jù)分析提供獨立且高效的數(shù)據(jù)環(huán)境；
• 流程化加工，屏蔽底層不同數(shù)據(jù)源的差異，技能門檻降低，不論是excel還是hive 或者mongodb ，用戶只需要簡單通過流式數(shù)據(jù)加工配置即可；
• 模擬化配置，透明化數(shù)據(jù)建模過程，通過拖拉拽的方式，構(gòu)建數(shù)據(jù)處理流程，簡單清晰明了；
• 界面化管理，提供快速任務(wù)管理工具，原始數(shù)據(jù)、模型化加工、周期化更新，更加簡單高效。

數(shù)倉式存儲

數(shù)倉（Data Warehouse）是一個用于集中存儲和管理企業(yè)中各種數(shù)據(jù)的方式，在JVS-BI中，數(shù)倉式存儲模式是一種將企業(yè)各種數(shù)據(jù)進行整合、清洗、轉(zhuǎn)換、加載，然后存儲在一個中心化的數(shù)據(jù)倉庫中的存儲模式，它是獨立于各個業(yè)務(wù)平臺的獨立數(shù)據(jù)分析系統(tǒng)，對數(shù)據(jù)的存儲、數(shù)據(jù)的加工用自有平臺的服務(wù)能力，數(shù)據(jù)分析加工是需要消耗大量的計算資源，這種模式不會消耗生產(chǎn)系統(tǒng)的計算性能，從而避免統(tǒng)計分析過程影響生產(chǎn)業(yè)務(wù)。

分析統(tǒng)計盡量不影響生產(chǎn)系統(tǒng)，特別是大量的分析所需的計算資源一定不能依賴于生產(chǎn)系統(tǒng)。

流程化加工

JVS-BI采用流程式數(shù)據(jù)加工方式，通過“算子”的形式將數(shù)據(jù) 一步一步的進行加工處理，通過每個算子的界面化配置，如下圖所示：

算子是數(shù)據(jù)加工過程中的核心能力，算子通過內(nèi)存計算與數(shù)據(jù)庫能力引用相融合的模式，實現(xiàn)了數(shù)據(jù)加工的配置化，系統(tǒng)提供了各種處理算子，在配置引擎中可以快速實現(xiàn)，數(shù)據(jù)過濾、多表關(guān)聯(lián)（跨庫）、數(shù)據(jù)拓展（函數(shù)計算）、追加合并......各種各樣的處理方法，通過簡單的拓展，下圖展示了一個配置算子的過程示例：

模擬化配置

系統(tǒng)通過對模擬數(shù)據(jù)進行自動化構(gòu)建，我們在構(gòu)建流程化建模的過程中，數(shù)據(jù)所需要的各個環(huán)節(jié)的模型都是系統(tǒng)自動構(gòu)建，那么系統(tǒng)構(gòu)建各個環(huán)節(jié)模型的來源是什么呢？是在我們模擬引入了一部分真實表結(jié)構(gòu)的部分數(shù)據(jù)，作為加工的模擬數(shù)據(jù)，通過每一步，系統(tǒng)去構(gòu)建每個環(huán)節(jié)的數(shù)據(jù)模型（類似于零代碼開發(fā)的模式），無需關(guān)注所需要建模的物理表結(jié)構(gòu)，只關(guān)注每個環(huán)節(jié)我們要的業(yè)務(wù)數(shù)據(jù)結(jié)果，這樣大大降低了對操作者的技術(shù)門檻，也實現(xiàn)了所見即所得的配置清洗建模的過程

界面化管理

數(shù)據(jù)清洗加工建模是構(gòu)建數(shù)據(jù)加工清洗的流程，通過采用模擬獲取一部分數(shù)據(jù)進行建模（快速高效），那么任務(wù)調(diào)度就是管理真實數(shù)據(jù)通過建模所得到的加工數(shù)據(jù)結(jié)果，任務(wù)調(diào)用如何管理，如下圖所示：

系統(tǒng)提供了自動化執(zhí)行的配置界面，其中包括快速的周期化配置，有按小時、按天等多種方式

也可以采用con表達式進行周期化執(zhí)行配置，可以更加靈活與自定義。

執(zhí)行的過程我們也有對應(yīng)的任務(wù)管理界面，系統(tǒng)對當前計算執(zhí)行的任務(wù)，執(zhí)行的進度都提供了界面化的管理，如下圖所示

在線demo：http://bi.bctools.cn

gitee地址：https://gitee.com/software-minister/jvs-bi