• 本文譯自 《In-Context Learning Creates Task Vectors》 —— 論文中的作者也在用LLaMA模型，筆者自我感覺拉近和世界頂級(jí)人才的距離，哈哈
• 內(nèi)容較長(zhǎng)，如想看結(jié)論直接看 摘要、介紹與結(jié)論幾個(gè)章節(jié)即可，看細(xì)節(jié)請(qǐng)看目錄索引。
• 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 (Empirical Risk Minimization ERM): 這也是理論…

摘要

在大語(yǔ)言模型(LLMs)中的上下文學(xué)習(xí)(In-Context Learning，ICL) 成為一種強(qiáng)大的新學(xué)習(xí)范式(learning paradigm)，然而我們對(duì)它的底層機(jī)制仍不夠明確清晰。尤其是將其映射到傳統(tǒng)的機(jī)器學(xué)習(xí)框架 就很具挑戰(zhàn)性，其中我們使用 訓(xùn)練集S 在特定的假設(shè)類別中去尋找一個(gè)最佳擬合 函數(shù)f(x) 。我們發(fā)現(xiàn)，ICL可以學(xué)習(xí)到的函數(shù)通常具有非常簡(jiǎn)單的結(jié)構(gòu)：他們直接表現(xiàn)近似于Transformer架構(gòu)的LLMs，僅有的輸入是 查詢x 和 由訓(xùn)練集計(jì)算而得的單個(gè)’任務(wù)向量(task vector)', 因此 ICL可以看成是將 訓(xùn)練集S 壓縮成一個(gè)單個(gè)任務(wù)向量(task vector) θ(S)，然后利用該任務(wù)向量來調(diào)控Transformer以生成輸出。為了驗(yàn)證上述觀點(diǎn)，我們進(jìn)行了一系列的綜合實(shí)驗(yàn)，涵蓋各種模型和任務(wù)。

原始信息

• 論文：In-Context Learning Creates Task Vectors
• 作者：Roee Hendel(Tel Aviv University), Mor Geva(Google DeepMind), Amir Globerson(Tel Aviv University, Google)
• 地址：arxiv.org/pdf/2310.15…

介紹

什么是In Context Learning (ICL)

近年為大模型飛速發(fā)展，它的顯著特點(diǎn)是可以從少量的示例集合(demonstrations)中就學(xué)到新規(guī)則。例如，我們向模型輸入蘋果->紅色， 青檸->綠色 , 玉米 -> 就得到玉米對(duì)應(yīng)的黃色輸出。

上述過程至少涉及LLM的’ICL’與’Promot’的兩大主題。 好像整篇就上述這段話有用，其他用途不大的感覺啊，太理論了，可花了時(shí)間不啥得刪啊。

上述例子中模型僅基于兩個(gè)例子就可學(xué)會(huì)了目標(biāo)映射關(guān)系，這種能力我們稱之為上下文學(xué)習(xí) InContext Learning (ICL)。 ICL已經(jīng)被廣泛應(yīng)用且效果顯著。ICL如此神奇，人們開始探尋ICL背后潛在的機(jī)制，即模式內(nèi)部是實(shí)現(xiàn)通過 示例集S 和查詢 x 來生成所需要的輸出?

Figure 1: ICL as learning in a Hypothesis Class(是ICL在假設(shè)類中的學(xué)習(xí)過程)

我們通過使用上圖所示方法來處理該問題。在ICL中，我們給LLM一個(gè)含有特定任務(wù)的示例集S 提示(prompt) 和一個(gè)查詢x，這個(gè)模型為 查詢x 產(chǎn)生了輸出, 如該示例中的輸出’Yellow’。我們發(fā)現(xiàn)其內(nèi)部的處理過程可以分解為兩個(gè)部分（如上圖所示）： 第一部分是學(xué)習(xí)算法(learning algorithm) ‘, 用于計(jì)算 未知查詢向量θ(S)θ(S)，該學(xué)習(xí)算法我們稱之為 在假設(shè)類中函數(shù)參數(shù)，上圖中的藍(lán)色部分。第二部分是由θ定義的規(guī)則在查詢x上的應(yīng)用，我們用ff表示，該規(guī)則不直接依賴于 示例集’S’, 如上圖所示的黃色區(qū)域。

ICL的預(yù)測(cè)函數(shù)

ICL的預(yù)測(cè)函數(shù)是T([S,x])T([S,x]) , 其中T是自回歸的語(yǔ)言模型(auto-regressive transformer), S表示用作ICL輸入的訓(xùn)練示例集，x是查詢參數(shù), ICL根據(jù)輸入x得到最終輸出。而[S, x]表示為ICL對(duì)x和S串聯(lián)后的輸出。因此，在一般情況下，該預(yù)測(cè)函數(shù)可以是對(duì)S和x進(jìn)行運(yùn)算以產(chǎn)生輸出的任意函數(shù)，這包括"非參數(shù)(non-parametric)"方法，諸如 最近鄰法(nearest-neighbor)。

ICL解決了什么問題

來自統(tǒng)計(jì)學(xué)習(xí)理論的假定類概念。 在學(xué)習(xí)理論的表示中，通常我們將假定類看成H，H的每個(gè)元素都是函數(shù)H(x；θ)H(x；θ), 表示為對(duì)輸入x進(jìn)行參數(shù)為向量θ 運(yùn)算。 例如，如果x∈Rdx∈R**d ，那么假定類H 就是線性分類器（linear classifier)的集合, h(x;θ)=θ?xh(x;θ)=θ?x, θ為系數(shù)向量，輸入為輸入。學(xué)習(xí)算法在探索一個(gè)元素h, 且 h∈Hh∈H，該h可以更好的適應(yīng)訓(xùn)練集，也就是所所謂的 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(Empirical Risk Minimization ERM)。

ICL是否以這種方式執(zhí)執(zhí)目前并不十分清楚，最近已有機(jī)構(gòu)正在探尋該問題。

例如：我們從頭開始訓(xùn)練一個(gè)語(yǔ)言模型(Transformer)并在上下文中以線性回歸方法執(zhí)行, 這種新興的學(xué)習(xí)方法類似于梯度下降法(Stochastic Gradient Descent SGD)。 然而對(duì)于要執(zhí)行更多復(fù)雜任務(wù)的自然語(yǔ)言任務(wù)的LLMs來說，其假設(shè)空間可能是什么還不是特別明確。

在本論文中，我們證實(shí)了，在許多任務(wù)中，LLM的ICL都可以工作在假設(shè)空間中。給定一個(gè)訓(xùn)練集S，模型將其映射為任務(wù)向量θ(S)，該向量表示為訓(xùn)練集S中映射/規(guī)則的描述。即給定模型T和一個(gè)向量θ,我們可以構(gòu)造出一個(gè)用于完成指定任務(wù)的新函數(shù)f(x;θ)*f*(*x*;*θ*)。該函數(shù)f近似于原始模型，直接應(yīng)用于輸入x，無需示例集合直接由θ*θ*激活, 如下圖。

• Figure 2: Separating A and f. (分離A和f)
• 該圖在文章的講到具體章節(jié)時(shí)還貼了一張, 主要是為了查看方便，在此多貼一張

我們的觀點(diǎn)也與軟提示有關(guān)，因?yàn)檫@兩種方法都會(huì)針對(duì)特定任務(wù)調(diào)整轉(zhuǎn)換器的功能。然而，在ICL中，任務(wù)向量是在前向傳播中計(jì)算的，而不是經(jīng)過微調(diào)。

論文貢獻(xiàn)

我們的貢獻(xiàn)包括:

• 我們提出一種基于假設(shè)類的ICL機(jī)制, 并利用公開可用的大模型進(jìn)行了一系列的不同任務(wù)試驗(yàn)以此來驗(yàn)證我們觀點(diǎn)可靠性
• 我們的研究進(jìn)一步加深了對(duì)ICL的理解，可能對(duì)LLM執(zhí)行特定任務(wù)的具有實(shí)際意義。

ICL框架

ICL的假設(shè)空間觀點(diǎn) - A Hypothesis Class View of ICL

受學(xué)習(xí)理論的假設(shè)類觀點(diǎn)的啟動(dòng), 我們的主要目標(biāo)是理解ICl是否將一個(gè)示例集S映射到一個(gè)關(guān)于輸入x（Query x)的函數(shù)及該映射是如何產(chǎn)生的。我們特別探尋了ICL是否將 示例集S 轉(zhuǎn)化為 一個(gè)θ —— 某個(gè)特定假設(shè)空間內(nèi)函數(shù)的"參數(shù)"。實(shí)驗(yàn)結(jié)果的確證明了 ICL是運(yùn)行在假設(shè)空間上的。

理論框架 - Theoretical Framework

我們用T表示decoder-only transformer(僅解碼器的模型)大語(yǔ)言模型(LLM), S表示作用于ICl輸入的一組示例集(如訓(xùn)練樣本) , x表示為要求ICl提供輸入的查詢值。 我們使用T([S,x])T([S,x])表示ICl在S和x串聯(lián)后的輸出。

為了證實(shí)ICL是在一個(gè)假設(shè)空間內(nèi)執(zhí)行，我們將其內(nèi)部機(jī)制兩個(gè)不可或缺的部分：

• 第一部分: “學(xué)習(xí)算法(learning algorithm,)"，用A表示，該算法不依賴于查詢x, 用于將示例集S映射到任務(wù)向量θ。因?yàn)樽⒁饬涌梢栽L問到S和x，不依賴查詢x的獨(dú)立性并不明顯（后來會(huì)講到解決辦法）。
• 第二部分：規(guī)則應(yīng)用(Rule Application)，用f表示, 基于θ≡A(S)θ≡A(S)，主要用于將將查詢x映射為輸出。該規(guī)則同樣獨(dú)立于示例集S。同樣獨(dú)立性有待提高（后來會(huì)講到解決辦法）。

我們將 示例集S+查詢x 至 預(yù)測(cè)輸出 的整體映射關(guān)系定義為公式： T[S;x]=F[x;A(S)]T[S;x]=F[x;A(S)]

如果我們可以將LLM的前向傳播分按上述分為兩個(gè)部分，我們可以將ICL看成在H=f(?;θ)∣θH=f(?;θ)∣θ的假設(shè)類中執(zhí)行。

假設(shè)類 - A Proposed Hypothesis Class

如上圖(Figure 2)所示框架，根據(jù)A和f的不同選擇，假設(shè)類會(huì)有許多可能的實(shí)現(xiàn)。我們將描述重點(diǎn)在以Transfomer框架為基礎(chǔ)的實(shí)現(xiàn)上。

首先我們以(Figure 1)所示的方式來設(shè)置ICL, 其中輸入一個(gè)x(i.e., Corn)外加一個(gè) → 符號(hào)。 學(xué)習(xí)過程我們分為兩個(gè)部分：

• 基于訓(xùn)練集S的參數(shù)向量x，并將由該參數(shù)向量定義規(guī)則應(yīng)用于查詢x。
• 前L層計(jì)算得到的 A 和 → 符號(hào)負(fù)責(zé)更新參數(shù)向量 θ ，然后用參數(shù)向量 θ 和查詢x作為剩下的層的輸入并產(chǎn)生輸出。上上圖(Figure 1).

解決示例集S和查詢x 在transformer中的任務(wù)層都可見的問題.

Figure 2: Separating A and f. (分離A和f)

Figure 2展示了分離的A和f的圖示。為了讓θ獨(dú)立于查詢x, 我們引入了一個(gè)虛擬變量 x‘x‘ (i.e. x’Plumx’Plum) 以及 使用L層的→符號(hào)來表示向量θ，以防止f直接依賴于S。下面章節(jié)將詳細(xì)描述

A和f的隔離 - Separating A and f

在常規(guī)的前向傳播過程中，我們面對(duì)的挑戰(zhàn)是：

• 對(duì)應(yīng)于A的初始L層, 更新→符號(hào)去創(chuàng)建參數(shù)向量θ以及處理Query x。該過程有可能存在對(duì)x的依賴，以至于會(huì)讓?duì)葘?duì)x也有了不必要的依賴。
• 對(duì)應(yīng)于f的剩余層, 因?yàn)榭芍苯釉L問示例集S，因此在計(jì)算中存在不僅使用了x和θ的情況。

為解決上述問題，我們采用了如下措施

• 針對(duì)第1個(gè)問題，我們引入了 “dummy query(虛擬查詢)” x’x’ ，并使用x’x’來計(jì)算→符號(hào)。在第一個(gè)L層之后我們使用由x′計(jì)算的→符號(hào)來表示向量θ（如Figure 2的左側(cè)部分)。
• 針對(duì)第2個(gè)問題，為了解決 計(jì)算f(x,θ)f(x,θ)時(shí)不依賴S的情況，我們 僅在x 和 → 上執(zhí)行transformer的前向傳播，并且“修補(bǔ)(patch)” 參數(shù)向量θ。(如Figure 2的右側(cè)部分)。

任務(wù)與模型 - Tasks and Models

任務(wù)：我們一共準(zhǔn)備了18項(xiàng)目任務(wù)，這些任務(wù)一共分為4類：算法、翻譯、語(yǔ)言和知識(shí)。 為了簡(jiǎn)單起來，我們限制其為單個(gè)token輸出。 上表1展示了這些任務(wù)中有代表性的任務(wù)情況。

更多的試驗(yàn)數(shù)據(jù)見論文原文

模型：我們使用了多個(gè)大語(yǔ)言模型: LLaMA 7B, 13B, and 30B(Touvron et al., 2023), GPT-J 6B (Wang and Komatsuzaki, 2021), and Pythia a 2.8B, 6.9B, and 12B (Biderman et al., 2023)。

探尋L層 - Finding L

在第二章節(jié)我們?cè)诿枋銎鋬?nèi)部機(jī)制時(shí)，提到了一個(gè)自由參數(shù) —— L層，該層作為A的結(jié)束與f的開始。我們使用用(A,f)(A,f)實(shí)現(xiàn)對(duì)L的不同選擇，并通過評(píng)估以找到最佳層數(shù)。

更多的顯示見論文原文。

圖3展示了不同參數(shù)的LLaMA模型上，針對(duì)L層的不同選擇其開發(fā)集的準(zhǔn)確度。有趣的是，所有的模型在相似的中間層都展示了一個(gè)相似的性能峰值，無關(guān)模型的參數(shù)與層數(shù)的多少。

基于假設(shè)的預(yù)測(cè)的準(zhǔn)確度 - Accuracy of Hypothesis Based Prediction

接下來，我們將執(zhí)行ICl的常規(guī)的前向傳播與 (A, f) 機(jī)制的精確度做了比較。模型與任務(wù)我們都分別經(jīng)歷了以下三個(gè)過程：

• Regular： LLM在示例集S和查詢x的常規(guī)應(yīng)用, 即T([S,x])T([S,x]) 在常規(guī)的ICL的
• Hypothesis：我們根據(jù)A和f的機(jī)制編寫了一套程序，實(shí)現(xiàn)了A通過使用虛擬x′(dummy x′)生成 θ認(rèn)
• Baseline： LLM僅僅在查詢x上進(jìn)行前向傳播，而不需要依賴于 示例集S。 即T([x,→])T([x,→])。 這與我們分離過程中f的應(yīng)用相同，但并沒有修補(bǔ)θ。

上圖顯示了每個(gè)模型在這3個(gè)過程中所有任務(wù)的平均精度。完整結(jié)果原論文更詳細(xì)的數(shù)據(jù)分析及其A.2-表6數(shù)據(jù)。一切結(jié)果表示，我們提出 對(duì)A和f的分離為ICL提供了更好的執(zhí)行過程。

任務(wù)向量的魯棒性 - Robustness of Task Vectors

在我們的設(shè)置場(chǎng)景下，θ是來自于 示例集S 和 虛擬x’(dummy query x′)。 檢查θ對(duì)輸入變量的魯棒性（穩(wěn)定性）是一個(gè)必要事情。正常情況下，如果他表示任務(wù)，他應(yīng)該在不同的S與x′值間保持穩(wěn)定。為了做上述魯棒性的測(cè)試，我們使用了LLaMA 7B的模型為每一個(gè)任務(wù)生成50個(gè)不同的S和x′的任務(wù)向量, 并且進(jìn)行了如下分析。

Geometry of θ

Figure 5是一個(gè)任務(wù)向量的t-SNE圖, A t-SNE降維圖 展示了任務(wù)向量形成不同的簇，每個(gè)簇包含單個(gè)任務(wù)的任務(wù)向量。論文中的圖9將進(jìn)一步顯示了相同類別的任務(wù)間的接近性。

Variability of θ 下圖是一個(gè)展示任務(wù)內(nèi)部及任務(wù)間的距離的直方圖。 可以看出同一個(gè)任務(wù)內(nèi)與不同任務(wù)間的距離更靠近一些。這表明θ在任務(wù)中是穩(wěn)定的，不受x′或S的高度影響。

θ補(bǔ)丁的優(yōu)勢(shì) - Dominance of θ Patching

在第三章節(jié)，我們討論了阻止f直接訪問S示例集。然后，在ICL期間一個(gè)常規(guī)的前向傳播過程，最后一個(gè)token是可以關(guān)注到S的。 這里我們驗(yàn)證了這種情況的存在， f主要使用任務(wù)向量θ且不直接訪問示例集S。 最后我們使用了一對(duì)名為A和B的任務(wù)，他們共享了輸入空間但有不同的輸出。我們首先使用了“Regular"的前向傳播， 其中我們?yōu)槟Ｐ吞峁┝巳蝿?wù)A的示例集S(我們把它表示為SA)， 以驗(yàn)證模型可以使用ICl執(zhí)行該任務(wù)。然后我們又進(jìn)行了"Conflicting"的前向傳播, 仍然是SA作為模型任務(wù)的數(shù)據(jù)集, 同時(shí)注入θ。

For more details, refer to Fig. 6 in §A.1.

上表2, 這個(gè)"Regular"的前向傳播中在任務(wù)A中表現(xiàn)了很高的精度，然而這個(gè)“Conflicting”的前向傳播產(chǎn)在任務(wù)B中產(chǎn)生了高精度，該任務(wù)對(duì)應(yīng)于注入了向量θ。這意味道著這個(gè)任務(wù)主要依賴于θ，而忽略了為任務(wù)A的示例集S。 我們注意到任務(wù)B的準(zhǔn)確度較低，可能與圖6(Figure 6)的性能下降有關(guān)，可能進(jìn)一步受到S存在的影響。

對(duì)θ的解析 - Interpreting θ

學(xué)習(xí)到了向量θ直接觀地捉了關(guān)于示例集S所展示的任務(wù)信息。這里我們提供了支持這一解析的證明數(shù)據(jù)。由于向量θ是transformer的中間隱藏狀態(tài)，我們可以使用詞匯投影法(vocabulary projection method,nostalgebraist，2020；Dar et al. ,2022) 。即，我們檢查由隱藏狀態(tài)引起的分布在詞匯表上的頂層token。

下表展示了 LLsMA 13B下三個(gè)任務(wù)的頂層token.

更多的請(qǐng)看 論文附 A 中的表7.

在多種情況下，我們觀察到能直接描述任務(wù)的token。而更重要的是，這些術(shù)語(yǔ)從未明確出現(xiàn)在上下文中。例如，在從法譯英的任務(wù)中，我們觀察到諸如“英語(yǔ)”和“翻譯”之類的token。這支持了我們的觀點(diǎn)，即θ攜帶了關(guān)于任務(wù)的重要、非瑣碎的語(yǔ)義信息(θ carries significant, non-trivial semantic information about the task）。

結(jié)論 Conclusions

本文通過對(duì)LLM中ICl的探索，我們?yōu)镮CL學(xué)習(xí)機(jī)制的供了新的視角。 我們展示了一個(gè)簡(jiǎn)單而優(yōu)雅的結(jié)構(gòu)：ICL通過將一個(gè)給定的訓(xùn)練集壓縮為一個(gè)單任務(wù)向量來發(fā)揮作用，用來指導(dǎo)transformer根據(jù)給定的查詢x去成最優(yōu)輸出。我們的工作為L(zhǎng)LM如何執(zhí)行ICL過程提供了理論闡述，由此我們預(yù)測(cè)，未來的工作可能會(huì)側(cè)重在任務(wù)向量如何構(gòu)建以及如何使用他來評(píng)估輸出上。

術(shù)語(yǔ)中英對(duì)照

• 線性分類器（linear classifier): 通過線性映射，將數(shù)據(jù)分到對(duì)應(yīng)的類別中。f(xi,W,b)=W?xi+bf(x**i,W,b)=W?x**i+b， W為權(quán)值(weights)，b為偏移值(bias vector)，x_i為數(shù)據(jù)。
• 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(Empirical Risk Minimization ERM)： 是統(tǒng)計(jì)學(xué)習(xí)理論中的一個(gè)原則，它定義了一系列學(xué)習(xí)算法，并用于給出其性能的理論界限。

---

END

如果您也對(duì)AI大模型感興趣想學(xué)習(xí)卻苦于沒有方向👀

小編給自己收藏整理好的學(xué)習(xí)資料分享出來給大家💖

👉獲取方式：

😝有需要的小伙伴，可以保存圖片到wx掃描二v碼關(guān)注免費(fèi)領(lǐng)取【保證100%免費(fèi)】🆓

👉AI大模型學(xué)習(xí)路線匯總👈

大模型學(xué)習(xí)路線圖，整體分為7個(gè)大的階段：（全套教程文末領(lǐng)取哈）

第一階段： 從大模型系統(tǒng)設(shè)計(jì)入手，講解大模型的主要方法；

第二階段： 在通過大模型提示詞工程從Prompts角度入手更好發(fā)揮模型的作用；

第三階段： 大模型平臺(tái)應(yīng)用開發(fā)借助阿里云PAI平臺(tái)構(gòu)建電商領(lǐng)域虛擬試衣系統(tǒng)；

第四階段： 大模型知識(shí)庫(kù)應(yīng)用開發(fā)以LangChain框架為例，構(gòu)建物流行業(yè)咨詢智能問答系統(tǒng)；

第五階段： 大模型微調(diào)開發(fā)借助以大健康、新零售、新媒體領(lǐng)域構(gòu)建適合當(dāng)前領(lǐng)域大模型；

第六階段： 以SD多模態(tài)大模型為主，搭建了文生圖小程序案例；

第七階段： 以大模型平臺(tái)應(yīng)用與開發(fā)為主，通過星火大模型，文心大模型等成熟大模型構(gòu)建大模型行業(yè)應(yīng)用。

👉如何學(xué)習(xí)AI大模型？👈

作為一名熱心腸的互聯(lián)網(wǎng)老兵，我決定把寶貴的AI知識(shí)分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來。

這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN，朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】

一、全套AGI大模型學(xué)習(xí)路線

AI大模型時(shí)代的學(xué)習(xí)之旅：從基礎(chǔ)到前沿，掌握人工智能的核心技能！

二、640套AI大模型報(bào)告合集

這套包含640份報(bào)告的合集，涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無論您是科研人員、工程師，還是對(duì)AI大模型感興趣的愛好者，這套報(bào)告合集都將為您提供寶貴的信息和啟示。

三、AI大模型經(jīng)典PDF籍

隨著人工智能技術(shù)的飛速發(fā)展，AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型，如GPT-3、BERT、XLNet等，以其強(qiáng)大的語(yǔ)言理解和生成能力，正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。

四、AI大模型商業(yè)化落地方案

作為普通人，入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐，不斷提高自己的技能和認(rèn)知水平，同時(shí)也需要有責(zé)任感和倫理意識(shí)，為人工智能的健康發(fā)展貢獻(xiàn)力量。