Kong Gateway 3.7 版本已經(jīng)重磅上線(xiàn)，我們給 AI Gateway 帶來(lái)了一系列升級(jí)，下面是 AI Gateway 的更新亮點(diǎn)一覽。

AI Gateway 正式 GA

在 Kong Gateway 的最新版本 3.7 中，我們正式宣布 Kong AI Gateway 達(dá)到了通用可用性（GA）階段。

現(xiàn)在，AI 開(kāi)發(fā)者們可以專(zhuān)注于開(kāi)發(fā) AI 定制應(yīng)用，比如利用大型語(yǔ)言模型（LLM）和檢索增強(qiáng)生成（RAG）技術(shù)打造的聊天機(jī)器人，或者其他 AI 集成方案。他們無(wú)需再?gòu)牧汩_(kāi)始搭建底層架構(gòu)，去構(gòu)建保證 AI 應(yīng)用在生產(chǎn)環(huán)境中安全、可監(jiān)控的基礎(chǔ)設(shè)施。Kong Konnect 和 Kong Gateway Enterprise 平臺(tái)將提供所需的擴(kuò)展性支持。

此外，Kong AI Gateway 現(xiàn)在也可以作為一個(gè)軟件即服務(wù)（SaaS）解決方案完全部署在云端。同時(shí)，Kong 還推出了新的 Konnect Dedicated Cloud Gateways 選項(xiàng)，供用戶(hù)進(jìn)行云端部署。

Kong AI Gateway 可以用于廣泛的場(chǎng)景，幫助加速新的人工智能應(yīng)用程序在生產(chǎn)環(huán)境中的落地。

對(duì)現(xiàn)有的 OpenAI SDK 提供支持

Kong AI Gateway 允許讓用戶(hù)通過(guò) OpenAI API 規(guī)范作為統(tǒng)一標(biāo)準(zhǔn)，訪問(wèn)其支持的所有 LLM。

使用開(kāi)發(fā)人員熟悉的 OpenAI API 規(guī)范將大大簡(jiǎn)化大家上手的難度。

并且， Kong AI Gateway 原生支持了 OpenAI SDK 客戶(hù)端庫(kù)，進(jìn)一步簡(jiǎn)化了構(gòu)建 AI 代理和應(yīng)用程序的過(guò)程。您只需將請(qǐng)求重定向到指向 AI Gateway 路由的 URL，即可通過(guò) AI Gateway 使用LLM。

如果您已經(jīng)使用 OpenAI SDK 編寫(xiě)了現(xiàn)有的業(yè)務(wù)邏輯，則可以重用它來(lái)使用 Kong AI Gateway 支持的每個(gè) LLM，無(wú)需修改代碼，因?yàn)樗?00%兼容的。

引入流式 AI 消息支持

Kong AI Gateway 已在”ai-proxy” 插件中，對(duì)所有LLM引擎加入了對(duì)AI的流式交互能力的原生支持。這將解鎖更多實(shí)時(shí)體驗(yàn)，而不用等待 LLM 完成處理后再發(fā)送回客戶(hù)端。

在流式模式下，響應(yīng)將以詞元（token）為單位通過(guò) HTTP 響應(yīng)塊（SSE）逐個(gè)發(fā)送。用戶(hù)可以通過(guò)設(shè)置“ ai-proxy” 的以下屬性來(lái)啟用該功能：

config:model:options:response_streaming: "allow"

功能啟用后，客戶(hù)端便可在請(qǐng)求體中顯式地進(jìn)行流式請(qǐng)求，例如：

{"prompt": "What is 1 + 1?","stream": true
}

憑借這項(xiàng)新功能，Kong AI Gateway 的用戶(hù)將能夠打造更具吸引力和互動(dòng)性的人工智能體驗(yàn)。

基于 Token 的高級(jí)限流能力 (企業(yè)版)

我們正在引入一項(xiàng)基于 token 請(qǐng)求量進(jìn)行限流的企業(yè)級(jí)功能。通過(guò)啟用新的“ai-rate-limiting-advanced” 插件，客戶(hù)可以更好地管理組織中不同團(tuán)隊(duì)的 token 消耗水平，從而更好地控制整體 AI 開(kāi)銷(xiāo)。對(duì)于自托管 LLM 提供商，當(dāng)應(yīng)用程序中的 AI 流量增加時(shí)，客戶(hù)將能夠更好地調(diào)整其在 AI 基礎(chǔ)設(shè)施上的流量。

Kong 已經(jīng)提供了基于發(fā)送到 API 的請(qǐng)求數(shù)量進(jìn)行速率限制的 API 速率限制功能。而新版“ai-rate-limiting-advanced” 插件則專(zhuān)注于所請(qǐng)求 AI token 的數(shù)量，并不考慮發(fā)送給它們?cè)?HTTP 請(qǐng)求的數(shù)量。如果客戶(hù)希望同時(shí)對(duì)原始請(qǐng)求和特定AI Token進(jìn)行速率限制，則“ai-rate-limiting-advanced” 插件可以與標(biāo)準(zhǔn) Kong 速率限制插件結(jié)合使用。

ai-rate-limiting-advanced 插件是目前市面上唯一可以用于 AI 的速率限制插件。

基于 Azure 的內(nèi)容安全能力 (企業(yè)版)

新的企業(yè)插件“ai-azure-content-safety”允許客戶(hù)與包括“Azure AI”在內(nèi)的多個(gè)內(nèi)容安全服務(wù)無(wú)縫集成，以驗(yàn)證每個(gè)通過(guò)AI網(wǎng)關(guān)的prompt請(qǐng)求。這項(xiàng)功能也被所有ai-proxy插件的所有LLM引擎所支持。

例如：憑借該功能，客戶(hù)可以使用 Azure 的原生安全服務(wù)策略，在 Kong AI Gateway 中檢測(cè)和過(guò)濾所有不和諧的內(nèi)容，并將該策略應(yīng)用于所有 LLM 提供商的prompt請(qǐng)求，以實(shí)現(xiàn)內(nèi)容安全的統(tǒng)一管理。

基于 URL 動(dòng)態(tài)選擇 LLM

該特性使用戶(hù)可以通過(guò)客戶(hù)端請(qǐng)求的 URL 路徑動(dòng)態(tài)調(diào)用所需的模型。同時(shí)，用戶(hù)可以通過(guò)在插件配置中硬編碼其名稱(chēng)來(lái)使用模型。通過(guò)啟用此功能，Kong AI Gateway 便可以更容易地?cái)U(kuò)展到希望嘗試各種模型的團(tuán)隊(duì)，而無(wú)需預(yù)先在 “ai-proxy” 插件中進(jìn)行配置。

該功能可以通過(guò) “ai-proxy” 的新 “config.route_source” 配置參數(shù)進(jìn)行配置。并且，用戶(hù)只需配置一次，便可使所有模型均通過(guò)識(shí)別URL路徑的方式來(lái)動(dòng)態(tài)地、靈活地調(diào)用。

支持 Anthropic Claude 2.1 Messages API

Kong AI Gateway 提供一個(gè) API 接口，使用戶(hù)可以隨意調(diào)用部署在云端的或自托管提供商提供的模型。該接口在新版本中得到了擴(kuò)展，以支持 Anthropic Claude 2.1 Messages 這樣的通常用于創(chuàng)建聊天機(jī)器人或虛擬助手應(yīng)用程序的API，用于管理用戶(hù)與 Anthropic Claude 模型（助手）之間的對(duì)話(huà)交流。

基于用戶(hù)需求， Kong AI Gateway 將持續(xù)增加對(duì)更多 LLM 的支持。

更新 AI 用量統(tǒng)計(jì)的格式

隨著 Kong AI Gateway 進(jìn)入 GA 階段，我們已經(jīng)更新了所有由 Kong 處理的 AI 請(qǐng)求的分析日志格式。

通過(guò)這種新的日志格式，用戶(hù)可以測(cè)量 “ai-proxy”，“ai-request-transformer”和“ai-response-transformer” 所請(qǐng)求的每個(gè)模型的消耗情況。

"ai": {"ai-proxy": {"meta": {"request_model": "gpt-35-turbo","provider_name": "azure","response_model": "gpt-35-turbo","plugin_id": "5df193be-47a3-4f1b-8c37-37e31af0568b"},"payload": {},"usage": {"prompt_token": 89,"completion_token": 56,"total_tokens": 145}},… more AI Plugins

這種新的分析日志格式取代了舊的格式，以便企業(yè)用戶(hù)實(shí)現(xiàn)更精細(xì)化的用量管理。

那么，我們?cè)撊绾螌W(xué)習(xí)大模型？

作為一名熱心腸的互聯(lián)網(wǎng)老兵，我決定把寶貴的AI知識(shí)分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門(mén)學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書(shū)籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來(lái)。

一、大模型全套的學(xué)習(xí)路線(xiàn)

學(xué)習(xí)大型人工智能模型，如GPT-3、BERT或任何其他先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，需要系統(tǒng)的方法和持續(xù)的努力。既然要系統(tǒng)的學(xué)習(xí)大模型，那么學(xué)習(xí)路線(xiàn)是必不可少的，下面的這份路線(xiàn)能幫助你快速梳理知識(shí)，形成自己的體系。

L1級(jí)別:AI大模型時(shí)代的華麗登場(chǎng)

L2級(jí)別：AI大模型API應(yīng)用開(kāi)發(fā)工程

L3級(jí)別：大模型應(yīng)用架構(gòu)進(jìn)階實(shí)踐

L4級(jí)別：大模型微調(diào)與私有化部署

一般掌握到第四個(gè)級(jí)別，市場(chǎng)上大多數(shù)崗位都是可以勝任，但要還不是天花板，天花板級(jí)別要求更加嚴(yán)格，對(duì)于算法和實(shí)戰(zhàn)是非常苛刻的。建議普通人掌握到L4級(jí)別即可。

以上的AI大模型學(xué)習(xí)路線(xiàn)，不知道為什么發(fā)出來(lái)就有點(diǎn)糊，高清版可以微信掃描下方CSDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】

二、640套AI大模型報(bào)告合集

這套包含640份報(bào)告的合集，涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無(wú)論您是科研人員、工程師，還是對(duì)AI大模型感興趣的愛(ài)好者，這套報(bào)告合集都將為您提供寶貴的信息和啟示。

三、大模型經(jīng)典PDF籍

隨著人工智能技術(shù)的飛速發(fā)展，AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型，如GPT-3、BERT、XLNet等，以其強(qiáng)大的語(yǔ)言理解和生成能力，正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。

四、AI大模型商業(yè)化落地方案

作為普通人，入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐，不斷提高自己的技能和認(rèn)知水平，同時(shí)也需要有責(zé)任感和倫理意識(shí)，為人工智能的健康發(fā)展貢獻(xiàn)力量。