大模型與云原生

近年來，大語言模型的熱度可謂是愈發(fā)高漲，尤其是今年年初 Sora 的出現(xiàn)，更是讓全球再次看到了AIGC?的巨大威力。

Sora 生成實例視頻---幾頭巨大的長毛猛犸踏著積雪的草地而來

在當前大模型流行的時代下，云原生技術(shù)的熱度似乎有所減退，然而，我們不能忽視的是，大模型所依賴的基礎(chǔ)設(shè)施仍然需要云原生和 Kubernetes 的支持。

GTC 2024大會上，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛，不僅推出了目前全球最強勁的 GPU 芯片 B200。還專門為大規(guī)模部署 AI 模型推出了?"英偉達推理微服務(wù) (NVIDIA NIM)"。

英偉達 的 AI 推理服務(wù)?NIM（NVIDIA Inference Manager）?

NVIDIA NIM 是一個強大的工具，可以簡化和優(yōu)化基于NVIDIA GPU的推理任務(wù)的管理和部署。NIM 的運行依賴?kubernetes 和 containerd 容器運行時，NIM 微服務(wù)通過打包算法、系統(tǒng)和運行時優(yōu)化，并添加行業(yè)標準的 API，能夠大幅度簡化 AI 模型部署過程。

基于kubernetes 和 containerd 管理 NVIDIA GPU

NIM 通過?kubernetes 來編排 AI 模型部署任務(wù)，同時，通過 containerd 集成自家的 nvidia-container-runtime 管理 GPU 設(shè)備，實現(xiàn) GPU 算力的資源池化。

在大模型的背景下，容器運行時的重要性更加明顯。相比傳統(tǒng)的虛擬化技術(shù)，容器啟動速度更快，同時共享內(nèi)核的輕量型虛擬化，大幅減少了資源的開銷。這對于大模型的訓(xùn)練和推理來說非常重要，因為它們通常需要快速部署和高效的資源利用。

為什么寫這本書

Kubernetes 作為容器編排領(lǐng)域的事實標準毫無疑問，同時大模型時代的到來也證明了云原生依然是無可撼動的云計算基礎(chǔ)設(shè)施。隨著 2020 年?Kubernetes 在 v2.20 版本宣布開始棄用 dockershim，越來越多的 企業(yè)在構(gòu)建 Kubernetes 集群是選擇 containerd 作為底層運行時，這使得 containerd 在整個云原生技術(shù)棧中的地位日益提升。

CRI 支持的容器運行時有很多，其中 containerd 作為從 Docker 項目中分離出來的項目，由于經(jīng)歷了 Docker 多年生產(chǎn)環(huán)境的磨練，相比其他 CRI 運行時也更加健壯、成熟。正因如此，它也是 kubernetes 官方推薦使用的運行時。

Docker 作為老牌的容器運行時，市面上關(guān)于它的書籍和資料很多，Kubernetes 的書籍也很多，而 containerd 作為一個新興的容器運行時，截止本書出版前，卻依然沒有一個系統(tǒng)介紹 containerd 的書籍。

作為一名云原生以及容器技術(shù)的忠實粉絲，筆者很早就接觸到了 containerd 項目，見證了 containerd 項目的發(fā)展，并為之取得的成就感到驕傲。也對 containerd 項目充滿了信心。因此希望通過這本書讓更多的人了解 containerd，體驗 containerd 帶來的價值。

本書內(nèi)容

本書從云原生與容器運行時講起，內(nèi)容涵蓋云原生以及容器的發(fā)展史、容器技術(shù)的 Linux 原理、containerd 的架構(gòu)、原理、功能、部署、配置、插件擴展開發(fā)等，并詳細介紹 containerd生產(chǎn)實踐中的配置以及落地實踐，使讀者對 containerd 的概念、原理、實踐有比較清晰的了解。

大咖推薦

本書的出版也得到了 CNCF、浙江大學(xué)計算機系 SEL 實驗室、火山引擎邊緣云、邊緣計算社區(qū)、kata containerd 架構(gòu)委員會等專家的傾力推薦。

購買鏈接：https://item.jd.com/14517428.html