一、線性回歸（Linear Regression）

1. 定義

線性回歸是一種用于回歸問題的算法，旨在找到輸入特征與輸出值之間的線性關系。它試圖通過擬合一條直線來最小化預測值與真實值之間的誤差。

2. 模型表示

線性回歸模型假設目標變量（輸出）和輸入變量（特征）之間的關系是線性的，模型可以表示為：

其中：

• y是目標變量（預測值）。
• x1?,x2?,…,xn? 是輸入特征。
• β0? 是偏置項（截距）。
• β1,β2,…,βn? 是特征的系數(shù)（權重）。
• ?是誤差項。

3. 損失函數(shù)

線性回歸的目標是最小化均方誤差（Mean Squared Error, MSE），其損失函數(shù)定義為：

其中，yi 是真實值，y^i是模型預測值。

4. 解決方法

通過**最小二乘法（Ordinary Least Squares, OLS）**或梯度下降等方法，求解模型中的參數(shù)（權重和偏置項）。

二、邏輯回歸（Logistic Regression）

1. 定義

邏輯回歸是一種用于分類問題的算法，盡管名字中有“回歸”一詞，它本質上是一種分類算法，特別適用于二分類問題（如0/1、是/否、真/假等）。它通過估計事件發(fā)生的概率來進行分類。

2. 模型表示

邏輯回歸的模型形式與線性回歸類似，但它的輸出是一個概率值，通過將線性回歸結果輸入到Sigmoid函數(shù)中，得到的值在0到1之間：

?其中，P(y=1∣x)P(y=1 | x)P(y=1∣x) 是類別為1的概率。

• Sigmoid函數(shù)定義為：

?Sigmoid函數(shù)將線性回歸的結果（可能為任意實數(shù)）映射到0和1之間，便于表示概率。

3. 損失函數(shù)

邏輯回歸使用交叉熵損失（Cross-Entropy Loss），其損失函數(shù)為：

?其中：

• yi是真實的標簽（0或1）。
• y^i是模型的預測概率。

4. 解決方法

邏輯回歸的參數(shù)可以通過梯度下降等優(yōu)化算法來求解。

三、線性回歸與邏輯回歸的區(qū)別?

特征	線性回歸（Linear Regression）	邏輯回歸（Logistic Regression）
類型	回歸算法（用于預測連續(xù)值）	分類算法（用于預測類別）
目標變量	連續(xù)型變量（如價格、溫度等）	二分類變量（0/1, 是/否等）
模型輸出	實數(shù)（可能在正無窮到負無窮之間）	概率（0到1之間）
使用的函數(shù)	線性函數(shù)	Sigmoid函數(shù)
損失函數(shù)	均方誤差（MSE）	交叉熵損失（Cross-Entropy）
應用場景	回歸問題，如房價預測、銷量預測等	分類問題，如信用違約預測、疾病診斷
解決方法	最小二乘法或梯度下降	梯度下降等優(yōu)化方法
輸出解釋	直接預測一個值	預測某個事件發(fā)生的概率
特征之間的關系	假設特征與目標值之間存在線性關系	假設特征與分類概率之間有線性關系

主要區(qū)別總結：

1. 問題類型：線性回歸用于解決回歸問題，預測連續(xù)變量，而邏輯回歸用于解決分類問題，通常是二分類問題。
2. 輸出值：線性回歸的輸出是一個實數(shù)，可能范圍從負無窮到正無窮；邏輯回歸的輸出是一個0到1之間的概率值。
3. 模型函數(shù)：線性回歸直接使用線性函數(shù)進行預測，而邏輯回歸將線性回歸的結果通過Sigmoid函數(shù)轉化為概率。
4. 損失函數(shù)：線性回歸使用均方誤差（MSE）作為損失函數(shù)，而邏輯回歸使用交叉熵損失（Cross-Entropy）。

?四、具體實踐：Python代碼示例

線性回歸

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_boston
from sklearn.metrics import mean_squared_error# 加載數(shù)據(jù)
boston = load_boston()
X = boston.data
y = boston.target# 分割數(shù)據(jù)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 訓練模型
model = LinearRegression()
model.fit(X_train, y_train)# 預測
y_pred = model.predict(X_test)# 計算均方誤差
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse:.2f}')

?邏輯回歸

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.metrics import accuracy_score# 加載數(shù)據(jù)
cancer = load_breast_cancer()
X = cancer.data
y = cancer.target# 分割數(shù)據(jù)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 訓練模型
model = LogisticRegression(max_iter=10000)
model.fit(X_train, y_train)# 預測
y_pred = model.predict(X_test)# 計算準確率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.2f}')