數(shù)據(jù)庫備份恢復是數(shù)據(jù)庫高可用的基本能力，如何通過備份數(shù)據(jù)快速高效的恢復業(yè)務并且滿足不同場景下的恢復需求，是各數(shù)據(jù)庫廠商需要關(guān)注的要點。本文將介紹幾種國產(chǎn)數(shù)據(jù)庫的備份恢復功能，以加深了解。

---

1、數(shù)據(jù)庫備份恢復方案

數(shù)據(jù)庫備份是生產(chǎn)運維管理中不可或缺的部分，當生產(chǎn)業(yè)務數(shù)據(jù)丟失或者損壞時能夠通過備份數(shù)據(jù)快速恢復數(shù)據(jù)以恢復業(yè)務。通常的數(shù)據(jù)庫備份方案有以下幾種：

• 數(shù)據(jù)庫工具完成備份到本地或NAS文件，再由集中備份設備進行統(tǒng)一備份管理；
• 數(shù)據(jù)庫備份工具備份數(shù)據(jù)到遠端或云端的存儲設備，如COS或OBS，再由集中備份設備進行統(tǒng)一備份管理；
• 第三方工具代理直接備份數(shù)據(jù)庫到集中備份設備進行管理。

在以上備份方案中，首先要滿足備份恢復帶寬需求，本地或云端的存儲設備能否滿足備份及恢復的時效性要求；其次是備份過程的影響，對主庫及業(yè)務影響、是否支持備庫。還有數(shù)據(jù)恢復的一致性要求，是否支持PITR一致點的恢復，這個是每一種數(shù)據(jù)庫產(chǎn)品自身的能力。最后就是備份恢復任務的管理和監(jiān)控，備份成功失敗、備份超時、備份任務取消等能夠通過統(tǒng)一的管理平臺進行操作。本文將介紹幾種國產(chǎn)數(shù)據(jù)庫的備份恢復功能，以加深了解。

2、國產(chǎn)數(shù)據(jù)庫備份恢復功能

2.1 OceanBase數(shù)據(jù)庫

備份恢復是 OceanBase數(shù)據(jù)庫高可靠的核心組件，通過純SQL的命令就可以使用完整的備份和恢復功能。OceanBase支持租戶級別的物理備份，備份數(shù)據(jù)包括數(shù)據(jù)和歸檔日志：

• 數(shù)據(jù)備份包括租戶相關(guān)的信息以及全部用戶表數(shù)據(jù)，也就是備份時刻的Major SSTable+Minor SSTable，分為全量備份和增量備份。
• 日志歸檔是OBServer節(jié)點會定期將日志數(shù)據(jù)歸檔到指定的備份路徑，也就是事務層生成的Clog，包含了SSTable之后修改的數(shù)據(jù)。

OceanBase數(shù)據(jù)庫支持的備份介質(zhì)包括OSS、NFS、COS、AWS S3以及兼容S3協(xié)議的對象存儲（如華為OBS）等備份介質(zhì)。

OceanBase數(shù)據(jù)庫支持租戶級別和表級別的恢復：租戶級恢復是基于已有數(shù)據(jù)的備份重建新租戶的過程；表級恢復是從備份數(shù)據(jù)中將用戶指定的表恢復到一個已存在的租戶，該功能在V4.2.1版本后才支持。

2.1.1 日志歸檔

日志歸檔的工作由日志流的Leader副本負責。按照日志流備份日志，是Log Entry級別的物理備份，默認備份周期是2分鐘。每一條歸檔日志實際上是一個日志集合，包含若干條Log Entry，該條歸檔日志稱之為Log Group。每個Log Entry 都有一個SCN與之關(guān)聯(lián)，Log Group也有一個 SCN，是所有Log Entry中最大的SCN。

1）開啟和關(guān)閉日志歸檔

#開啟指定租戶的歸檔模式
ALTER SYSTEM ARCHIVELOG TENANT = mysql_tenant;
#關(guān)閉集群中指定租戶的歸檔模式
ALTER SYSTEM NOARCHIVELOG TENANT = mysql_tenant;

2）查看歸檔信息

#查看當前租戶歸檔相關(guān)的參數(shù)
SELECT * FROM oceanbase.DBA_OB_ARCHIVE_DEST;

2.1.2 數(shù)據(jù)備份

數(shù)據(jù)備份的流程均由Root Service節(jié)點調(diào)度，并按照日志流進行備份。備份數(shù)據(jù)包括分區(qū)的元信息和宏塊數(shù)據(jù)。物理備份是指宏塊數(shù)據(jù)的物理備份，元信息是內(nèi)存序列化后的值。數(shù)據(jù)備份優(yōu)先選擇Follower副本進行備份。

1）配置租戶備份目標端

#為指定租戶配置備份目的端
ALTER SYSTEM SET DATA_BACKUP_DEST= 'data_backup_path' TENANT = mysql_tenant;

2）發(fā)起全量備份

#設置備份的并發(fā)度
ALTER SYSTEM SET ha_low_thread_score = 10;
#指定租戶發(fā)起全量數(shù)據(jù)備份
ALTER SYSTEM BACKUP TENANT = mysql_tenant [PLUS ARCHIVELOG];

2.1.3 數(shù)據(jù)恢復

OceanBase數(shù)據(jù)庫支持租戶級別恢復和表級別恢復，其中租戶恢復保證了跨表、跨分區(qū)的全局一致性。租戶恢復流程如下：

• RS根據(jù)備份的數(shù)據(jù)創(chuàng)建需要的日志流。
• 日志流的Leader調(diào)度自己恢復數(shù)據(jù)和日志，Follower從Leader拉取數(shù)據(jù)和日志。
• RS檢測到所有的日志流恢復完成以后，認為租戶數(shù)據(jù)恢復完成。

OceanBase數(shù)據(jù)庫的恢復支持在同集群內(nèi)恢復，也支持在不同的集群內(nèi)恢復。

1）租戶恢復

#恢復到指定時間戳
ALTER SYSTEM RESTORE dest_tenant_name FROM uri UNTIL TIME='timestamp' WITH 'restore_option' [WITH KEY FROM 'backup_key_path' ENCRYPTED BY 'password'] [DESCRIPTION description];
#恢復到指定SCN
ALTER SYSTEM RESTORE dest_tenant_name FROM uri UNTIL SCN=scn WITH 'restore_option' [WITH KEY FROM 'backup_key_path' ENCRYPTED BY 'password'] [DESCRIPTION description];
#恢復到最新位點
ALTER SYSTEM RESTORE dest_tenant_name FROM uri WITH 'restore_option' [WITH KEY FROM 'backup_key_path' ENCRYPTED BY 'password'] [DESCRIPTION description];

恢復任務完成后，如果是從低版本的備份數(shù)據(jù)恢復到高版本集群中的場景，還需要對恢復出來的租戶進行升級。如果物理恢復后的租戶為備租戶，后續(xù)該租戶可作為備租戶提供相關(guān)服務，也可轉(zhuǎn)為主租戶提供服務。

2）表級別恢復

OceanBase數(shù)據(jù)庫的表級恢復功能是通過從備份數(shù)據(jù)中將用戶指定的表恢復到一個已存在的租戶中來實現(xiàn)的，并且該已存在的租戶與原表所在的租戶可以是同一個租戶，也可以是同一集群中的不同租戶，還可以是不同集群中的租戶。表恢復過程中需要使用輔助租戶：首先在輔助租戶中將數(shù)據(jù)恢復到指定時間點；再將指定的表從輔助租戶跨租戶導入到目標租戶中；最后清理輔助租戶。

ALTER SYSTEM 
RECOVER TABLE infodb.tbl1,infodb.tbl2 
TO TENANT oracle001 
FROM 'file:///data/nfs/backup/data,file:///data/nfs/backup/archive' 
UNTIL TIME='2023-09-30 00:00:00' 
WITH 'pool_list=restore_pool'
REMAP TABLE infodb.tbl1:newtbl 
REMAP TABLEGROUP tg1:newtg1
REMAP TABLESPACE ts1:newts1;

表級別恢復僅支持恢復用戶表。另外恢復表時，指定的表名需要與系統(tǒng)實際存儲的表名一致。

2.2 TiDB數(shù)據(jù)庫

TiDB數(shù)據(jù)庫支持對集群某個時間點全量數(shù)據(jù)的備份，也就是快照數(shù)據(jù)，包含某個物理時間點上集群滿足事務一致性的所有數(shù)據(jù)。同時為了滿足PITR的任意時間點的恢復需求，需要開啟日志備份，也就是TiKV中的kv變更數(shù)據(jù)的記錄。基于集群的快照數(shù)據(jù)備份和日志備份數(shù)據(jù)，可以恢復到集群的任意時間點PITR。

2.2.1 快照備份與恢復

快照備份恢復是由BR工具實現(xiàn)的，具體流程如下：

• 備份流程
  • BR接收備份命令 br backup full。
  • BR調(diào)度備份數(shù)據(jù)：創(chuàng)建備份請求，發(fā)送給 TiKV 節(jié)點，備份請求包含 backup ts、需要備份的 region、備份存儲地址
  • TiKV接受備份請求，初始化backup worker。
  • TiKV備份數(shù)據(jù)，從Region (only leader)讀取backup ts對應的數(shù)據(jù)，并上傳SST文件到備份存儲中
  • BR從各個TiKV獲取備份結(jié)果。
  • BR備份元信息，并上傳到備份存儲。
• 恢復流程
  • BR接收恢復命令br restore，獲得快照備份數(shù)據(jù)存儲地址、要恢復的database或table
  • BR調(diào)度恢復數(shù)據(jù)，根據(jù)PD分配的Region結(jié)果，發(fā)送恢復請求到對應的TiKV節(jié)點，恢復請求包含要恢復的備份數(shù)據(jù)及rewrite規(guī)則。
  • TiKV接受恢復請求，初始化restore worker。
  • TiKV恢復數(shù)據(jù)，restore worker將處理好的SST文件ingest到RocksDB中
  • Report restore result：restore worker 返回恢復結(jié)果給BR。
  • BR從各個TiKV獲取恢復結(jié)果，全部備份都恢復成功后，則整個恢復任務成功。

2.2.2 日志備份與PITR恢復

• 備份流程
  • BR接收備份命令br log start，解析獲取日志備份任務的checkpoint ts（日志備份起始位置）、備份存儲地址。
  • TiKV監(jiān)控日志備份任務的創(chuàng)建與更新。
  • TiKV log backup observer持續(xù)地備份KV變更日志，讀取kv數(shù)據(jù)變更，然后保存到自定義格式的備份文件中，并定期將日志備份數(shù)據(jù)和local metadata上傳到備份存儲中。
  • TiDB Coordinator監(jiān)控日志備份進度，根據(jù)各個Region checkpoint ts，計算整個日志備份任務的進度(global checkpoint ts)，然后上報給PD。
  • PD持久化日志備份任務狀態(tài)?？梢酝ㄟ^br log status查詢。
• PITR恢復流程
  • BR接收恢復命令br restore point，解析獲取全量備份數(shù)據(jù)地址、日志備份數(shù)據(jù)地址、恢復到的時間點。
  • BR恢復全量備份，進行快照備份數(shù)據(jù)恢復。
  • BR恢復日志備份，讀取日志備份數(shù)據(jù)，創(chuàng)建日志恢復請求，發(fā)送到對應的TiKV，日志恢復請求包含要恢復的日志備份數(shù)據(jù)信息。
  • TiKV接受BR的恢復請求，初始化log restore worker。
  • TiKV恢復日志備份數(shù)據(jù)，log restore worker根據(jù)恢復集群表的table ID對備份數(shù)據(jù)的kv進行重寫，并將處理好的kv通過raft接口寫入store (RocksDB)中。
  • BR從各個TiKV獲取恢復結(jié)果，全部備份數(shù)據(jù)都恢復成功后，則恢復任務成功。

2.2.3 BR備份恢復使用

TiDB支持將備份數(shù)據(jù)寫到Amazon S3和NFS等存儲設備。使用BR命令完成備份恢復功能。

1）對集群進行快照備份

tiup br backup full --pd "${PD_IP}:2379" \--backupts '2022-09-08 13:30:00 +08:00' \--storage "" \--ratelimit 128 \

2）恢復快照備份數(shù)據(jù)

tiup br restore full --pd "${PD_IP}:2379" \
--storage ""

3）恢復指定庫表的數(shù)據(jù)

tiup br restore table --pd "${PD_IP}:2379" \
--db "test" \
--table "usertable" \
--storage ""

4）開啟日志備份

tiup br log start --task-name=pitr --pd "${PD_IP}:2379" \
--storage ''

5）進行PITR恢復

tiup br restore point --pd "${PD_IP}:2379" \
--storage='' \
--full-backup-storage='' \
--restored-ts '2022-05-15 18:00:00+0800'

補充說明：TiDB的備份對集群的性能有一定的影響，如影響IO、事務時延以及QPS?？梢酝ㄟ^–ratelimit 參數(shù)對備份任務進行限速、配置項 backup.num-threads限制備份任務使用的工作線程數(shù)量。

2.3 OpenGauss數(shù)據(jù)庫

OpenGauss數(shù)據(jù)庫支持邏輯備份和物理備份的方式：邏輯備份是將表的數(shù)據(jù)轉(zhuǎn)儲到文件，適用于數(shù)據(jù)量較小或者數(shù)據(jù)遷移、表變更等場景；物理備份通過物理文件拷貝的方式，以磁盤塊為基本單位進行備份，一般用于全量備份恢復場景。

2.3.1 邏輯備份與恢復

openGauss邏輯備份使用gs_dump工具，可以導出一個數(shù)據(jù)庫或其中的對象（模式、表、視圖等）。gs_dump支持將數(shù)據(jù)庫信息導出至純文本格式的SQL腳本文件或其他歸檔文件中：

• 純文本格式的SQL腳本文件：包含將數(shù)據(jù)庫恢復為其保存時的狀態(tài)所需的SQL語句。通過gsql運行該SQL腳本文件，可以恢復數(shù)據(jù)庫。
• 歸檔格式文件：包含將數(shù)據(jù)庫恢復為其保存時的狀態(tài)所需的數(shù)據(jù)，可以是tar格式、目錄歸檔格式或自定義歸檔格式，該導出結(jié)果必須與gs_restore配合使用來恢復數(shù)據(jù)庫。

另外通過gs_dumpall可以導出所有數(shù)據(jù)庫相關(guān)信息，包括數(shù)據(jù)庫元數(shù)據(jù)、表空間等信息以及各數(shù)據(jù)庫的SQL腳本文件。為了保證數(shù)據(jù)一致性和完整性，gs_dumpall會對需要轉(zhuǎn)儲的表設置共享鎖，如果無法在指定時間內(nèi)鎖定某張表，備份會失敗。

2.3.2 物理備份與恢復

openGauss物理備份有g(shù)s_backup、gs_basebackup等工具：gs_backup是導出數(shù)據(jù)庫參數(shù)文件及二進制文件，適合數(shù)據(jù)量小的備份恢復場景；gs_basebackup而是對數(shù)據(jù)庫二進制文件進行全量拷貝，結(jié)合PITR恢復場景可恢復全量備份到某一時間點。

1）gs_backup備份

#備份數(shù)據(jù)庫主機
gs_backup -t backup --backup-dir=BACKUPDIR [-h HOSTNAME] [--parameter] [--binary] [--all] [-l LOGFILE]
#恢復數(shù)據(jù)庫主機
gs_backup -t restore --backup-dir=BACKUPDIR [-h HOSTNAME] [--parameter] [--binary] [--all] [-l LOGFILE] [--force]

2）gs_basebackup

gs_basebackup對服務器數(shù)據(jù)庫文件的二進制進行拷貝，其實現(xiàn)原理使用了復制協(xié)議。gs_basebackup僅支持主機和備機的全量備份，不支持增量備份。

3）PITR恢復

openGauss的PITR恢復支持恢復到備份歸檔后的任意時間點。目前只有主節(jié)點可以進行PITR恢復，備機需要全量build達成主機一致。在PITR的恢復流程中，需要將歸檔的WAL日志文件復制到pg_xlog文件中，通過備份數(shù)據(jù)追加日志的方式恢復到指定時間點。

4）gs_probackup

gs_probackup用于管理openGauss的備份恢復工具，可以對實例進行定期恢復，支持全量、增量和遠程備份。

#初始化備份目錄
gs_probackup init -B backup_dir
#添加一個新的備份實例
gs_probackup add-instance -B backup_dir -D data_dir --instance instance_name
#創(chuàng)建指定實例的備份
gs_probackup backup -B backup_dir --instance instance_name -b backup_mode
#從指定實例的備份中恢復數(shù)據(jù)
gs_probackup restore -B backup_dir --instance instance_name -D pgdata-path -i backup_id

2.4 GaussDB數(shù)據(jù)庫

GaussDB提供基于OBS/NAS存儲介質(zhì)的集群級/庫表級物理備份能力，并在同構(gòu)數(shù)據(jù)庫（分片個數(shù)相同、大版本號相同）中提供集群級/庫表級恢復能力。支持全量備份和增量備份。采用分布式并行技術(shù)，并行地對每個數(shù)據(jù)實例的數(shù)據(jù)文件進行物理備份恢復，提供了極高的備份恢復性能。在此基礎上，還提供備份數(shù)據(jù)壓縮、備份流控、斷點續(xù)傳等高階功能。

全量備份圖所示，會備份全量的數(shù)據(jù)文件以及截止到barrier lsn的增量日志。在做PITR恢復的時候，基于全量和增量備份集以及歸檔日志，將實例恢復到任意時間點。

1） Roach備份恢復工具

GaussRoach.py工具是GaussDB提供的用于備份和恢復的實用工具，可對整個數(shù)據(jù)庫中的數(shù)據(jù)、WAL歸檔日志和運行日志進行備份。該工具不僅可以備份恢復集群，也可以備份恢復單表；不僅可以備份到物理磁盤，也可以備份到OBS和NAS；不僅可以從集群級備份中恢復集群，也可以從集群級備份中恢復數(shù)據(jù)庫/表。

#備份集群到NAS
python3 GaussRoach.py -t backup --master-port 6000 --media-destination /home/userA/media --media-type NAS --metadata-destination /home/userA/metadata --cluster-unique-id gaussdb_backup
#備份表到NAS
python3 GaussRoach.py -t backup --master-port 6000 --media-destination /home/userA/media --media-type NAS --metadata-destination /home/omm/metadata --cluster-unique-id gaussdb_backup --gbr-table-list /data/table.json
#從NAS恢復集群
python3 GaussRoach.py -t restore --clean --master-port 6000 --media-destination /home/userA/media --media-type NAS --backup-key 20160121_190548 --metadata-destination /home/userA/metadata --cluster-unique-id gaussdb_backup
#從NAS恢復單表
python3 GaussRoach.py -t restore --clean --master-port 6000 --media-destination /home/userA/media --media-type NAS --backup-key 20160121_190548 --metadata-destination /home/userA/metadata --cluster-unique-id gaussdb_backup --restore-new-cluster --gbr-table-list /data/table.json --aux-db-path /data/aux_db --origin-cluster --gbr-owner 'user1' -U user

2.5 GoldenDB分布式數(shù)據(jù)庫

GoldenDB分布式數(shù)據(jù)庫備份包括data數(shù)據(jù)備份、binlog日志備份、活躍GTID備份、元數(shù)據(jù)備份和Sequence備份。GoldenDB數(shù)據(jù)庫支持全量和增量備份，數(shù)據(jù)備份按照庫級別完成的。

• Data數(shù)據(jù)文件備份：使用xtrabackup開啟備份，將所有備份文件備份在“KaTeX parse error: Expected group after '_' at position 10: DNip_FULL_?back_start_time.xbstream”文件內(nèi)；
• Binlog備份：將DN節(jié)點的binlog備份到指定的目錄，用于數(shù)據(jù)一致性恢復；
• 活躍事務GTID備份：將集群的GTID列表備份到指定目錄，保證全局節(jié)點的數(shù)據(jù)一致性；
• 集群元數(shù)據(jù)：備份集群相關(guān)的元數(shù)據(jù)，主要包括有數(shù)據(jù)字典，用戶密碼，索引信息；
• Sequence信息：備份集群相關(guān)的Sequence數(shù)據(jù)，主要包括有自增列所在表的庫名，表名，起始值，步長，最小值，最大值，當前值等屬性

1）Data數(shù)據(jù)備份流程

1. insight頁面創(chuàng)建定時備份任務到backup_restore庫，向CM發(fā)送dbtool消息
2. 當CM定時器觸發(fā)時，CM向各節(jié)點DBAgent發(fā)起備份請求
3. DBAgent接收到備份請求后，將備份文件保存到指定備份目錄
4. DBAgent備份完成后，將備份完成結(jié)果反饋給CM
5. CM接收到各節(jié)點DBAgent的備份結(jié)果，匯總后給MDS
6. MDS接收到備份結(jié)果，將消息備份結(jié)果發(fā)向OMM， OMM入庫

2）Data數(shù)據(jù)恢復流程

1. 獲取恢復所需要的文件。
2. 通過全量備份文件（及增量文件）恢復DN。
3. 應用binlog 文件。
4. 回滾恢復時刻的活躍事務。

3）備份恢復影響

GoldenDB數(shù)據(jù)庫支持在備節(jié)點備份，備份和恢復過程會對本地磁盤IO有影響，另外在備份過程中會有短暫的flush table with read lock鎖。

2.6 總結(jié)

對比國產(chǎn)幾種數(shù)據(jù)庫，各自在備份恢復功能上已經(jīng)具備全量備份和數(shù)據(jù)一致性恢復的能力，如下表所示。

而整個數(shù)據(jù)庫備份恢復的時效性則依賴于數(shù)據(jù)量、備份存儲設備的性能及帶寬情況，能否支持高并發(fā)高吞吐的能力。尤其是在集中式數(shù)據(jù)庫中，單個庫的容量已經(jīng)超過10T，如何能確保故障時候通過備份數(shù)據(jù)快速的恢復業(yè)務。

---

參考資料：

1. https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000818529
2. https://docs.pingcap.com/zh/tidb/stable/br-snapshot-guide
3. https://docs-opengauss.osinfra.cn/zh/docs/5.0.0/docs/DatabaseOMGuide/
4. https://doc.hcs.huawei.com/db/zh-cn/gaussdb/24.1.30/usermanual/gaussdb_01_247.html
5. https://www.goldendb.com/#/docsIndex/docs/BackupRecovery_BasicPrinciples