任縣企業(yè)做網(wǎng)站怎么推廣淘寶店鋪
文章目錄
阿里云Flink的基本名稱概念
一、層次結(jié)構(gòu)
二、??????????????概念說明
1、工作空間(Workspace)
2、項(xiàng)目空間(Namespace)
3、資源(Resource)
4、草稿(Draft)
5、部署(Deployment)
6、作業(yè)實(shí)例(Job)
7、集群(Cluster)
8、連接器(Connector)
9、函數(shù)(Function)
10、元數(shù)據(jù)(Catalog)
11、角色(Role)
12、成員(User)
阿里云Flink的基本名稱概念
一、??????????????層次結(jié)構(gòu)
通過了解實(shí)時(shí)計(jì)算Flink版產(chǎn)品基本概念的層次結(jié)構(gòu),為后期作業(yè)開發(fā)、作業(yè)部署、作業(yè)運(yùn)維和安全管理等操作提供思路。實(shí)時(shí)計(jì)算Flink版產(chǎn)品基本概念的層次結(jié)構(gòu)如下圖所示。
二、??????????????概念說明
1、工作空間(Workspace)
工作空間是Flink全托管管理項(xiàng)目空間的基本單元,每個(gè)工作空間的計(jì)算資源隔離,開發(fā)控制臺(tái)相互獨(dú)立。
重要:創(chuàng)建成功后工作空間名稱和OSS存儲(chǔ)地址不可修改。
2、項(xiàng)目空間(Namespace)
項(xiàng)目空間是Flink全托管管理作業(yè)的基本單元,我們的所有配置、作業(yè)、權(quán)限均在單個(gè)項(xiàng)目空間下進(jìn)行。我們可以創(chuàng)建多個(gè)項(xiàng)目空間,為每個(gè)項(xiàng)目空間分配單獨(dú)的資源和權(quán)限,實(shí)現(xiàn)多租戶通過項(xiàng)目空間進(jìn)行資源和權(quán)限的完全隔離。
3、資源(Resource)
Flink全托管的基本計(jì)量單位為Compute Unit(CU),即計(jì)算資源,1 CU=1核CPU+4 GiB內(nèi)存+20 GB本地存儲(chǔ)(放置日志、系統(tǒng)檢查點(diǎn)等信息)。
CU對(duì)應(yīng)實(shí)時(shí)計(jì)算底層系統(tǒng)的CPU計(jì)算能力。1個(gè)實(shí)時(shí)計(jì)算作業(yè)的CU使用量取決于此Job輸入數(shù)據(jù)流的QPS、計(jì)算復(fù)雜程度,以及具體的輸入數(shù)據(jù)分布情況。我們可以根據(jù)業(yè)務(wù)規(guī)模以及實(shí)時(shí)計(jì)算的計(jì)算能力,估算所需購買的資源數(shù)量。
4、草稿(Draft)
在實(shí)時(shí)計(jì)算Flink版SQL開發(fā)界面中創(chuàng)建的SQL作業(yè)稱為草稿。該概念只適用于通過實(shí)時(shí)計(jì)算控制臺(tái)方式進(jìn)行作業(yè)開發(fā),不適用于SDK方式。
5、部署(Deployment)
為了避免修改草稿中的內(nèi)容會(huì)影響到線上正在運(yùn)行的作業(yè),提出了部署(Deployment)概念,目的是將開發(fā)和生產(chǎn)隔離,SQL開發(fā)中的作業(yè)草稿、上傳的JAR和Python包都可以成為部署。通過部署使草稿變?yōu)榫€上作業(yè),具有確定的流批屬性。該概念只適用于通過實(shí)時(shí)計(jì)算控制臺(tái)和SDK方式進(jìn)行的作業(yè)開發(fā)。
6、作業(yè)實(shí)例(Job)
線上運(yùn)行的一個(gè)作業(yè)實(shí)例,由部署生成,具有確定的流批屬性。
7、集群(Cluster)
集群為作業(yè)上線后的運(yùn)行環(huán)境,以內(nèi)存速度和任何規(guī)模執(zhí)行計(jì)算。Flink全托管支持Per-Job集群和Session集群兩種集群模式,分別用于正式和測試開發(fā)環(huán)境。
8、連接器(Connector)
實(shí)時(shí)計(jì)算Flink版內(nèi)置了豐富的連接器用于多種上下游的數(shù)據(jù)讀寫與同步,并支持上傳和使用自定義連接器。
9、函數(shù)(Function)
實(shí)時(shí)計(jì)算Flink版提供函數(shù)功能,包括內(nèi)置函數(shù)和自定義函數(shù)。
10、元數(shù)據(jù)(Catalog)
數(shù)據(jù)處理最關(guān)鍵的方面之一是管理元數(shù)據(jù),實(shí)時(shí)計(jì)算Flink版的元數(shù)據(jù)提供了元數(shù)據(jù)信息,例如數(shù)據(jù)庫、表、字段、分區(qū)以及數(shù)據(jù)庫或其他外部系統(tǒng)中存儲(chǔ)的信息。
11、角色(Role)
角色是實(shí)時(shí)計(jì)算Flink版安全功能中的概念,可以理解為擁有相同權(quán)限的用戶的集合。多個(gè)用戶可以同時(shí)存在于一個(gè)角色下,一個(gè)用戶也可以隸屬于多個(gè)角色。給角色授權(quán)后,該角色下的所有用戶擁有相同的權(quán)限。
12、成員(User)
成員是實(shí)時(shí)計(jì)算Flink版安全功能中的概念,支持將阿里云賬號(hào)和RAM用戶添加為成員。非實(shí)時(shí)計(jì)算Flink項(xiàng)目所有者的成員必須被加入實(shí)時(shí)計(jì)算Flink項(xiàng)目中,且被授予相應(yīng)的權(quán)限,才能操作實(shí)時(shí)計(jì)算Flink項(xiàng)目中的數(shù)據(jù)、作業(yè)、資源及函數(shù)。
- 📢博客主頁:https://lansonli.blog.csdn.net
- 📢歡迎點(diǎn)贊 👍 收藏 ?留言 📝 如有錯(cuò)誤敬請(qǐng)指正!
- 📢本文由 Lansonli 原創(chuàng),首發(fā)于 CSDN博客🙉
- 📢停下休息的時(shí)候不要忘了別人還在奔跑,希望大家抓緊時(shí)間學(xué)習(xí),全力奔赴更美好的生活?