一、云中網(wǎng)絡

物理機的劣勢：

1）一旦需要擴容 CPU、內存、硬盤，都需要去機房手動弄，非常麻煩
2）采購的機器往往動不動幾百 G 的內存，而每個應用往往可能只需要 4 核 8G
3）一臺機器，一旦一個用戶不用了，給另外一個用戶，那就需要重裝操作系統(tǒng)

虛擬機的網(wǎng)路

1. 網(wǎng)絡共享和互通
   在數(shù)據(jù)中心里面，采取的也是類似的技術，只不過都是 Linux，在每臺機器上都創(chuàng)建網(wǎng)橋 br0，虛擬機的網(wǎng)卡都連到 br0 上，物理網(wǎng)卡也連到 br0 上，所有的 br0 都通過物理網(wǎng)卡出來連接到物理交換機上。
   

在這種方式下，不但解決了同一臺機器的互通問題，也解決了跨物理機的互通問題，因為都在一個二層網(wǎng)絡里面，彼此用相同的網(wǎng)段訪問就可以了。但是當規(guī)模很大的時候，會存在問題。
你還記得嗎？在一個二層網(wǎng)絡里面，最大的問題是廣播。一個數(shù)據(jù)中心的物理機已經(jīng)很多了，廣播已經(jīng)非常嚴重，需要通過 VLAN 進行劃分。如果使用了虛擬機，假設一臺物理機里面創(chuàng)建 10 臺虛擬機，全部在一個二層網(wǎng)絡里面，那廣播就會很嚴重，所以除非是你的桌面虛擬機或者數(shù)據(jù)中心規(guī)模非常小，才可以使用這種相對簡單的方式。

2. NAT
   

虛擬機是你的電腦，路由器和 DHCP Server 相當于家用路由器或者寢室長的電腦，物理網(wǎng)卡相當于你們宿舍的外網(wǎng)網(wǎng)口，用于訪問互聯(lián)網(wǎng)。所有電腦都通過內網(wǎng)網(wǎng)口連接到一個網(wǎng)橋 br0 上，虛擬機要想訪問互聯(lián)網(wǎng)，需要通過 br0 連到路由器上，然后通過路由器將請求 NAT 成為物理網(wǎng)絡的地址，轉發(fā)到物理網(wǎng)絡。

如果是你自己登錄到物理機上做個簡單配置，你可以簡化一下。例如將虛擬機所在網(wǎng)絡的網(wǎng)關的地址直接配置到 br0 上，不用 DHCP Server，手動配置每臺虛擬機的 IP 地址，通過命令 iptables -t nat -A POSTROUTING -o ethX -j MASQUERADE，直接在物理網(wǎng)卡 ethX 上進行 NAT，所有從這個網(wǎng)卡出去的包都 NAT 成這個網(wǎng)卡的地址。通過設置 net.ipv4.ip_forward = 1，開啟物理機的轉發(fā)功能，直接做路由器，而不用單獨的路由器，這樣虛擬機就能直接上網(wǎng)了。

2. 隔離問題
   如果一臺機器上的兩個虛擬機不屬于同一個用戶，怎么辦呢？好在 brctl 創(chuàng)建的網(wǎng)橋也是支持 VLAN 功能的，可以設置兩個虛擬機的 tag，這樣在這個虛擬網(wǎng)橋上，兩個虛擬機是不互通的。

但是如何跨物理機互通，并且實現(xiàn) VLAN 的隔離呢？由于 brctl 創(chuàng)建的網(wǎng)橋上面的 tag 是沒辦法在網(wǎng)橋之外的范圍內起作用的，于是我們需要尋找其他的方式。

有一個命令vconfig，可以基于物理網(wǎng)卡 eth0 創(chuàng)建帶 VLAN 的虛擬網(wǎng)卡，所有從這個虛擬網(wǎng)卡出去的包，都帶這個 VLAN，如果這樣，跨物理機的互通和隔離就可以通過這個網(wǎng)卡來實現(xiàn)。

首先為每個用戶分配不同的 VLAN，例如有一個用戶 VLAN 10，一個用戶 VLAN 20。在一臺物理機上，基于物理網(wǎng)卡，為每個用戶用 vconfig 創(chuàng)建一個帶 VLAN 的網(wǎng)卡。不同的用戶使用不同的虛擬網(wǎng)橋，帶 VLAN 的虛擬網(wǎng)卡也連接到虛擬網(wǎng)橋上。

這樣是否能保證兩個用戶的隔離性呢？不同的用戶由于網(wǎng)橋不通，不能相互通信，一旦出了網(wǎng)橋，由于 VLAN 不同，也不會將包轉發(fā)到另一個網(wǎng)橋上。另外，出了物理機，也是帶著 VLAN ID 的。只要物理交換機也是支持 VLAN 的，到達另一臺物理機的時候，VLAN ID 依然在，它只會將包轉發(fā)給相同 VLAN 的網(wǎng)卡和網(wǎng)橋，所以跨物理機，不同的 VLAN 也不會相互通信。

二、軟件定義網(wǎng)絡（SDN）

可以這樣比喻，云計算就像大家一起住公寓，要共享小區(qū)里面的基礎設施，其中網(wǎng)絡就相當于小區(qū)里面的電梯、樓道、路、大門等，大家都走，往往會常出現(xiàn)問題，尤其在上班高峰期，出門的人太多，對小區(qū)的物業(yè)管理就帶來了挑戰(zhàn)。
物業(yè)可以派自己的物業(yè)管理人員，到每個單元的樓梯那里，將電梯的上下行速度調快一點，可以派人將隔離健身區(qū)、景色區(qū)的柵欄門暫時打開，讓大家可以橫穿小區(qū)，直接上地鐵，還可以派人將多個小區(qū)出入口，改成出口多、入口少等等。等過了十點半，上班高峰過去，再派人都改回來。
如果物業(yè)管理人員有一套智能的控制系統(tǒng)，在物業(yè)監(jiān)控室里就能看到小區(qū)里每個單元、每個電梯的人流情況，然后在監(jiān)控室里面，只要通過遠程控制的方式，撥弄一個手柄，電梯的速度就調整了，柵欄門就打開了，某個入口就改出口了。
這就是軟件定義網(wǎng)絡（SDN）

OpenFlow 和 OpenvSwitch(SDN的實現(xiàn)方式)

OpenFlow 是 SDN 控制器和網(wǎng)絡設備之間互通的南向接口協(xié)議，OpenvSwitch 用于創(chuàng)建軟件的虛擬交換機。OpenvSwitch 是支持 OpenFlow 協(xié)議的，當然也有一些硬件交換機也支持 OpenFlow 協(xié)議。它們都可以被統(tǒng)一的 SDN 控制器管理，從而實現(xiàn)物理機和虛擬機的網(wǎng)絡連通。

對于 OpenvSwitch 來講，網(wǎng)絡包到了我手里，就是一個 Buffer，我想怎么改怎么改，想發(fā)到哪個端口就發(fā)送到哪個端口。

下面我們實驗一下通過 OpenvSwitch 實現(xiàn) VLAN 的功能

在 OpenvSwitch 中端口 port 分兩種。
在網(wǎng)絡中，VLAN（虛擬局域網(wǎng)）用于將一個物理網(wǎng)絡劃分為多個邏輯網(wǎng)絡，提供更好的管理、隔離和安全性。Open vSwitch（OVS）是一種用于管理和控制虛擬網(wǎng)絡交換機的軟件，可以實現(xiàn)VLAN功能。理解access port和trunk port的工作原理對于配置和管理VLAN至關重要。下面是對它們的通俗解釋和舉例說明：

Access Port

定義：

• Access port配置一個特定的VLAN tag。
• 從這個端口進來的網(wǎng)絡包會被打上這個VLAN tag。
• 如果一個網(wǎng)絡包本身帶有的VLAN ID等于配置的tag，則會從這個port發(fā)出。
• 從access port發(fā)出的包不帶VLAN ID。

舉例：
假設你有一個Open vSwitch的端口port1，它被配置為VLAN 10的access port。

• 從port1進入的包：

  1. 一個無VLAN標簽的包進入port1。
  2. OVS會給這個包打上VLAN 10的標簽。
  3. 這個包現(xiàn)在是一個VLAN 10的包。

• 從port1發(fā)出的包：

  1. 一個帶有VLAN 10標簽的包從port1發(fā)出。
  2. OVS會移除VLAN標簽，使其變?yōu)橐粋€無標簽的包。
  3. 這個包現(xiàn)在沒有VLAN標簽，發(fā)送到下一個目的地。

Trunk Port

定義：

• Trunk port不配置固定的VLAN tag，而是配置允許通過的VLAN ID（trunks）。
• 如果trunks為空，表示所有VLAN的包都可以通過，不限制。
• 如果trunks不為空，則只有配置的VLAN ID的包可以通過。
• Trunk port的包會保留其原有的VLAN ID。

舉例：
假設你有一個Open vSwitch的端口port2，它被配置為trunk port，允許VLAN 10和VLAN 20通過。

• 從port2進入的包：

  1. 一個帶有VLAN 10標簽的包進入port2。

  2. OVS檢查這個包的VLAN ID，發(fā)現(xiàn)它在允許通過的范圍內（VLAN 10和20）。

  3. 這個包繼續(xù)保持其VLAN 10標簽，傳輸?shù)骄W(wǎng)絡中的其他位置。

  4. 一個帶有VLAN 30標簽的包進入port2。

  5. OVS檢查這個包的VLAN ID，發(fā)現(xiàn)它不在允許通過的范圍內（VLAN 10和20）。

  6. 這個包被丟棄，不會通過port2。

• 從port2發(fā)出的包：

  1. 一個帶有VLAN 10標簽的包從port2發(fā)出。
  2. OVS保持其VLAN 10標簽，直接發(fā)送。
  3. 這個包到達另一個trunk port或其他設備時，仍然帶有VLAN 10標簽。

綜合示例

假設我們有一個簡單的網(wǎng)絡，包含兩個端口port1和port2，配置如下：

• port1：配置為VLAN 10的access port
• port2：配置為允許VLAN 10和VLAN 20的trunk port

1. 接入設備A通過port1發(fā)送數(shù)據(jù)：

   • 設備A發(fā)送一個沒有VLAN標簽的數(shù)據(jù)包到port1。
   • OVS給這個包打上VLAN 10標簽，并發(fā)送到網(wǎng)絡中。

2. 來自網(wǎng)絡的VLAN 10包經(jīng)過port2傳輸：

   • 一個帶有VLAN 10標簽的數(shù)據(jù)包進入port2。
   • OVS檢查包的VLAN標簽，發(fā)現(xiàn)允許通過。
   • 包保持VLAN 10標簽，繼續(xù)傳輸?shù)较乱辉O備或端口。

3. 來自網(wǎng)絡的VLAN 30包經(jīng)過port2傳輸：

   • 一個帶有VLAN 30標簽的數(shù)據(jù)包進入port2。
   • OVS檢查包的VLAN標簽，發(fā)現(xiàn)不允許通過。
   • 包被丟棄，不會傳輸。

通過上述例子，可以看到access port主要用于將單個設備連接到特定的VLAN，而trunk port則用于在不同的VLAN之間傳輸數(shù)據(jù)，確保VLAN隔離和管理。

實驗二：用 OpenvSwitch 模擬網(wǎng)卡綁定，連接交換機

為了高可用，可以使用網(wǎng)卡綁定，連接到交換機，OpenvSwitch 也可以模擬這一點。

三、云中網(wǎng)絡安全

對于公有云上的虛擬機，我的建議是僅僅開放需要的端口，而將其他的端口一概關閉。這個時候，你只要通過安全措施守護好這個唯一的入口就可以了。采用的方式常常是用ACL（Access Control List，訪問控制列表）來控制 IP 和端口。

設置好了這些規(guī)則，只有指定的 IP 段能夠訪問指定的開放接口，就算有個有漏洞的后臺進程在那里，也會被屏蔽，黑客進不來。在云平臺上，這些規(guī)則的集合常稱為安全組。

當一個網(wǎng)絡包進入機器

有了這個 Netfilter 框架就太好了，你可以在 IP 轉發(fā)的過程中，隨時干預這個過程，只要你能實現(xiàn)這些 hook 函數(shù)。

一個著名的實現(xiàn)，就是內核模塊 ip_tables。它在這五個節(jié)點上埋下函數(shù)，從而可以根據(jù)規(guī)則進行包的處理。按功能可分為四大類：連接跟蹤（conntrack）、數(shù)據(jù)包的過濾（filter）、網(wǎng)絡地址轉換（nat）和數(shù)據(jù)包的修改（mangle）。其中連接跟蹤是基礎功能，被其他功能所依賴。其他三個可以實現(xiàn)包的過濾、修改和網(wǎng)絡地址轉換。

在用戶態(tài)，還有一個你肯定知道的客戶端程序 iptables，用命令行來干預內核的規(guī)則。內核的功能對應 iptables 的命令行來講，就是表和鏈的概念。

iptables的作用

當使用iptables時，通常會針對不同的需求和場景設置不同的規(guī)則。以下是一些針對上述提到的iptables功能的例子：

1. 防火墻功能：

   • 允許特定IP地址的訪問：

     iptables -A INPUT -s 192.168.1.100 -j ACCEPT
     

   • 阻止特定IP地址的訪問：

     iptables -A INPUT -s 10.0.0.5 -j DROP
     

   • 允許某個端口的訪問，拒絕其他所有訪問：

     iptables -A INPUT -p tcp --dport 22 -j ACCEPT
     iptables -A INPUT -j DROP
     

2. 網(wǎng)絡地址轉換（NAT）：

   • 將內部IP地址轉換為外部IP地址：

     iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -o eth0 -j MASQUERADE
     

   • 設置端口轉發(fā)規(guī)則，將外部訪問的某個端口轉發(fā)到內部主機：

     iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j DNAT --to-destination 192.168.1.10:80
     

3. 端口轉發(fā)（Port Forwarding）：

   • 將外部訪問的某個端口轉發(fā)到內部主機的特定端口：

     iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 8080 -j DNAT --to-destination 192.168.1.10:80
     

4. 流量控制和限制：

   • 限制某個IP地址的流量速率：

     iptables -A INPUT -s 192.168.2.50 -m limit --limit 100/minute --limit-burst 200 -j ACCEPT
     

   • 限制某個端口的總流量：

     iptables -A INPUT -p tcp --dport 443 -m quota --quota 1000M -j ACCEPT
     

5. 包過濾和監(jiān)控：

   • 監(jiān)控特定端口的進出流量：

     iptables -A INPUT -p tcp --dport 22 -j LOG --log-prefix "SSH Traffic: "
     

   • 設置一個計數(shù)器來統(tǒng)計特定流量的包數(shù)量：

     iptables -A INPUT -s 192.168.1.100 -p tcp --dport 80 -j ACCEPT
     iptables -A INPUT -s 192.168.1.100 -p tcp --dport 80 -j ACCEPT
     iptables -nvL
     

這些例子展示了如何使用iptables來實現(xiàn)防火墻、NAT、端口轉發(fā)、流量控制和監(jiān)控等功能。通過這些例子，可以更好地理解iptables的實際應用場景。

安全組

這些規(guī)則都可以在虛擬機里，自己安裝 iptables 自己配置。但是如果虛擬機數(shù)目非常多，都要配置，對于用戶來講就太麻煩了，能不能讓云平臺把這部分工作做掉呢？

當然可以了。在云平臺上，一般允許一個或者多個虛擬機屬于某個安全組，而屬于不同安全組的虛擬機之間的訪問以及外網(wǎng)訪問虛擬機，都需要通過安全組進行過濾。

我們會創(chuàng)建一系列的網(wǎng)站，都是前端在 Tomcat 里面，對外開放 8080 端口。數(shù)據(jù)庫使用 MySQL，開放 3306 端口。
為了方便運維，我們創(chuàng)建兩個安全組，將 Tomcat 所在的虛擬機放在安全組 A 里面。在安全組 A 里面，允許任意 IP 地址 0.0.0.0/0 訪問 8080 端口，但是對于 ssh 的 22 端口，僅僅允許管理員網(wǎng)段 203.0.113.0/24 訪問。
我們將 MySQL 所在的虛擬機在安全組 B 里面。在安全組 B 里面，僅僅允許來自安全組 A 的機器訪問 3306 端口，但是對于 ssh 的 22 端口，同樣允許管理員網(wǎng)段 203.0.113.0/24 訪問。
這些安全組規(guī)則都可以自動下發(fā)到每個在安全組里面的虛擬機上，從而控制一大批虛擬機的安全策略。

所有從外網(wǎng)網(wǎng)口出去的，都轉換成為這個 IP 地址。那又一個問題來了，都變成一個公網(wǎng) IP 了，當 163 網(wǎng)站返回結果的時候，給誰呢，再 nat 成為哪個私網(wǎng)的 IP 呢？

這就是 Netfilter 的連接跟蹤（conntrack）功能了。對于 TCP 協(xié)議來講，肯定是上來先建立一個連接，可以用“源 / 目的 IP+ 源 / 目的端口”唯一標識一條連接，這個連接會放在 conntrack 表里面。當時是這臺機器去請求 163 網(wǎng)站的，雖然源地址已經(jīng) Snat 成公網(wǎng) IP 地址了，但是 conntrack 表里面還是有這個連接的記錄的。當 163 網(wǎng)站返回數(shù)據(jù)的時候，會找到記錄，從而找到正確的私網(wǎng) IP 地址。

這是虛擬機做客戶端的情況，如果虛擬機做服務器呢？也就是說，如果虛擬機里面部署的就是 163 網(wǎng)站呢？
這個時候就需要給這個網(wǎng)站配置固定的物理網(wǎng)的 IP 地址和公網(wǎng) IP 地址了。這時候就需要顯示的配置 Snat 規(guī)則和 Dnat 規(guī)則了。
當外部訪問進來的時候，外網(wǎng)網(wǎng)口會通過 Dnat 規(guī)則將公網(wǎng) IP 地址轉換為私網(wǎng) IP 地址，到達虛擬機，虛擬機里面是 163 網(wǎng)站，返回結果，外網(wǎng)網(wǎng)口會通過 Snat 規(guī)則，將私網(wǎng) IP 地址轉換為那個分配給它的固定的公網(wǎng) IP 地址。

四、 云中的網(wǎng)絡QoS 這一節(jié)細節(jié)沒有研究

本來合租共享 WIFI，一個人狂下小電影，從而你網(wǎng)都上不去，是不是很懊惱？

在云平臺上，也有這種現(xiàn)象，好在有一種流量控制的技術，可以實現(xiàn)QoS（Quality of Service），從而保障大多數(shù)用戶的服務質量。

QoS的關鍵指標

帶寬（Bandwidth）：指網(wǎng)絡能夠提供的最大數(shù)據(jù)傳輸速率。
延遲（Latency）：指數(shù)據(jù)包從源端到達目的端所需的時間。
抖動（Jitter）：指數(shù)據(jù)包到達目的端的時間間隔的變動。
丟包率（Packet Loss）：指數(shù)據(jù)包在傳輸過程中丟失的比例。

云中的流量控制主要通過隊列進行的，隊列分為兩大類：無類別隊列規(guī)則和基于類別的隊列規(guī)則。
在云中網(wǎng)絡 Openvswitch 中，主要使用的是分層令牌桶規(guī)則（HTB），將總的帶寬在一棵樹上按照配置的比例進行分配，并且在一個分支不用的時候，可以借給另外的分支，從而增強帶寬利用率。

五、云中網(wǎng)絡的隔離GRE、VXLAN 【沒仔細看】

好的，讓我嘗試用一個簡單的比喻來解釋GRE和VXLAN這兩種網(wǎng)絡Overlay技術。

想象一下，你有一家大型公司，公司里有多個部門，比如銷售部、市場部和研發(fā)部。每個部門都有自己的辦公區(qū)域，員工們在各自的辦公區(qū)域內可以互相交流。但是，有時候銷售部的員工需要和市場部的員工交流，或者研發(fā)部的員工需要和市場部的員工交流。由于他們不在同一個辦公區(qū)域，直接交流就不太方便。

這時候，你可以想象成每個部門是一個獨立的網(wǎng)絡（VLAN），但是由于物理空間（網(wǎng)絡設備和端口數(shù)量）的限制，不能無限制地劃分更多的獨立網(wǎng)絡。這時就需要一種方法來讓不同部門的員工能夠方便地交流，這就是Overlay網(wǎng)絡技術發(fā)揮作用的地方。

GRE（Generic Routing Encapsulation Protocol）

GRE可以被看作是一種“點對點”的快遞服務。就像你從一個部門給另一個部門發(fā)送一個包裹，你需要把這個包裹交給快遞公司，快遞公司會在包裹外面加一個外包裝（封裝），寫上收件人和發(fā)件人的地址，然后通過他們的運輸網(wǎng)絡送到目的地。在這個例子中：

• 包裹 = 原始數(shù)據(jù)包
• 外包裝 = GRE封裝
• 快遞公司 = 隧道（Tunnel）
• 運輸網(wǎng)絡 = 底層物理網(wǎng)絡

GRE隧道的兩端（Tunnel Endpoints）就像兩個快遞公司的分揀中心，負責把包裹加上外包裝發(fā)送出去，或者接收包裹后去掉外包裝，把原始的包裹交給正確的收件人。

VXLAN（Virtual Extensible Local Area Network）

VXLAN則可以被看作是一種更高級的快遞服務，它支持“組播”的快遞方式。這就像是你有一個包裹需要同時發(fā)送給多個部門的聯(lián)系人。在VXLAN中：

• 包裹 = 原始數(shù)據(jù)包
• 外包裝 = VXLAN封裝
• 快遞公司 = 隧道（Tunnel）
• 運輸網(wǎng)絡 = 底層物理網(wǎng)絡

VXLAN的特點是可以在一個包裹上寫多個收件人的地址，然后通過快遞公司的網(wǎng)絡（這里可以想象成支持組播的網(wǎng)絡），一次性地將包裹的副本發(fā)送給所有指定的收件人。這樣，即使這些收件人不在同一個物理位置，他們也能同時收到包裹。

在實際的網(wǎng)絡環(huán)境中，GRE和VXLAN都是用來在不同網(wǎng)絡之間創(chuàng)建邏輯上的連接，使得原本不能直接通信的設備能夠互相通信，就像不同部門的員工能夠互相交流一樣。VXLAN相比于GRE，提供了更好的擴展性，可以支持更多的終端設備，并且更適合大規(guī)模的云計算環(huán)境。

六、容器網(wǎng)絡

cgroup，也即明明整臺機器有很多的 CPU、內存，而一個應用只能用其中的一部分。
cgroup 全稱 control groups，是 Linux 內核提供的一種可以限制、隔離進程使用的資源機制。