機器學(xué)習(xí)

一、機器學(xué)習(xí)

1.定義

讓計算機在數(shù)據(jù)中學(xué)習(xí)規(guī)律并根據(jù)得到的規(guī)律對未來進行預(yù)測。

2.發(fā)展史

19世紀50年代：圖靈測試提出、塞繆爾開發(fā)的西洋跳棋程序，標(biāo)志著機器學(xué)習(xí)正式進入發(fā)展期

19世紀80年代：神經(jīng)網(wǎng)絡(luò)反向傳播（BP）算法訓(xùn)練的多參數(shù)線性規(guī)劃（MLP），復(fù)興時代

19世紀90年代：決策樹（ID3）算法，支持向量機（SVM），由知識驅(qū)動轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動

21世紀初：Hinton提出深度學(xué)習(xí)（Deep Learning），蓬勃發(fā)展時期

2012年：算力提升和海量訓(xùn)練樣本的支持，深度學(xué)習(xí)成為機器學(xué)習(xí)研究熱點

3.分類

按學(xué)習(xí)模式不同：

監(jiān)督學(xué)習(xí)：給結(jié)果去學(xué)習(xí)模型，然后對給定的新數(shù)據(jù)利用模型去進行預(yù)測。主要用于回歸和分類。

半監(jiān)督學(xué)習(xí)：利用少量標(biāo)注數(shù)據(jù)和大量無標(biāo)注數(shù)據(jù)進行學(xué)習(xí)，側(cè)重于在有監(jiān)督的分類算法中加入無標(biāo)記樣本來實現(xiàn)半監(jiān)督分類。

無監(jiān)督學(xué)習(xí)：沒有結(jié)果，給數(shù)據(jù)找出規(guī)律。主要用于關(guān)聯(lián)分析、聚類和降維。對抗神經(jīng)網(wǎng)絡(luò)。

強化學(xué)習(xí)：類似于監(jiān)督學(xué)習(xí)，但未使用樣本數(shù)據(jù)進行訓(xùn)練，通過不斷試錯進行學(xué)習(xí)的模式。兩個可交互對象：智能體和環(huán)境，四個核心要素：策略、回報函數(shù)（收益信號）、價值函數(shù)、環(huán)境模型（可選）。常用于機器人避障、棋牌類游戲、廣告和推薦等應(yīng)用場景。

4.機器學(xué)習(xí)項目開發(fā)步驟

1.收集數(shù)據(jù)

2.準(zhǔn)備數(shù)據(jù)

3.訓(xùn)練模型

4.評估模型

5.提高性能

二、scikit-learn工具

1.安裝

windows+r輸入cmd，進入命令提示符

激活conda：conda activate

創(chuàng)建sklearn虛擬環(huán)境：conda create -n sklearn python=3.9

激活sklearn環(huán)境：activate sklearn

pip install --index https://pypi.mirrors.ustc.edu.cn/simple/ numpy

pip install --index https://pypi.mirrors.ustc.edu.cn/simple/ scipy

pip install --index Verifying - USTC Mirrors matplotlib

pip install --index Verifying - USTC Mirrors pandas

pip install --index Verifying - USTC Mirrors scikit-learn

參考以下安裝教程：https://www.sklearncn.cn/62/

安裝報錯參考：pip 安裝 scikit-learn失敗解決教程_failed to build scikit-learn-CSDN博客

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-learn

VScode安裝

環(huán)境選擇-測試是否可以正常使用

2.scikit-learn包含內(nèi)容

分類

回歸

聚類

降低維度

模型選擇

特征預(yù)處理

三、數(shù)據(jù)集

1.sklearn玩具數(shù)據(jù)集

數(shù)據(jù)在sklearn庫的本地，數(shù)據(jù)量小

函數(shù)	返回
load_boston(*[,return_X_y])	加載并返回波士頓房價數(shù)據(jù)集（回歸）
load_iris(*[,return_X_y，as_frame])	加載并返回鳶尾花數(shù)據(jù)集（分類）
load_diabetes(*[,return_X_y,as_frame])	加載并返回糖尿病數(shù)據(jù)集（回歸）
load_digits(*[,n_class,return_X_y，as_frame])	加載并返回數(shù)字數(shù)據(jù)集（分類）
load_linnerud(*[,return_X_y,as_frame])	加載并返回linnerud物理鍛煉數(shù)據(jù)集
load_wine(*[,return_X_y，as_frame])	加載并返回葡萄酒數(shù)據(jù)集（分類）
load_breast_cancer(*[,return_X_y，as_frame])	加載并返回威斯康星州乳腺癌數(shù)據(jù)集（分類）

2.sklearn現(xiàn)實世界數(shù)據(jù)集

通過網(wǎng)絡(luò)獲取，數(shù)據(jù)量大

函數(shù)	說明
fetch_olivetti_faces(*[,data_home,...])	從AT＆T（分類）中加載Olivetti人臉數(shù)據(jù)集
fetch_20newsgroups(*[,data_home,subset,...])	從20個新聞組數(shù)據(jù)集中加載文件名和數(shù)據(jù)（分類）
fetch_20newsgroups_vectorized(*[,subset,...])	加載20個新聞組數(shù)據(jù)集并將其矢量化為令牌計數(shù)（分類）
fetch_lfw_people(*[,data_home,funneled...])	將標(biāo)簽的面孔加載到Wild（LFW）人數(shù)據(jù)集中（分類）
fetch_lfw_pairs(*[,subset,data_home,...])	在“Wild（LFW）”對數(shù)據(jù)集中加載標(biāo)簽的面部（分類）
fetch_covtype(*[,data_home,...])	加載covertype（植被型數(shù)據(jù)集）數(shù)據(jù)集（分類）
fetch_rcv1(*[,data_home,subset,...])	加載RCV1多標(biāo)簽數(shù)據(jù)集（分類）
fetch_kddcup99(*[,subset,data_home,...])	加載kddcup99（網(wǎng)絡(luò)入侵檢測）數(shù)據(jù)集（分類）
fetch_california_housing(*[,data_home,...])	加載加利福尼亞住房數(shù)據(jù)集（回歸）

3.sklearn加載玩具數(shù)據(jù)集

eg1：加載鳶尾花數(shù)據(jù)

from sklearn.datasets import load_iris#加載玩具數(shù)據(jù)(鳶尾花數(shù)據(jù)集)
iris = load_iris()
print(iris.data)#數(shù)據(jù)(特征數(shù)據(jù))
print(iris.data.shape)
print(iris.feature_names)#特征名稱
print(iris.target)#標(biāo)簽(目標(biāo))
print(iris.target.shape)
print(iris.target_names)#目標(biāo)描述
print(iris.filename) #iris.csv 保存后的文件名
print(iris.DESCR)#數(shù)據(jù)集的描述

特征有:

花萼長 sepal length

花萼寬sepal width

花瓣長 petal length

花瓣寬 petal width

三分類：

0-Setosa山鳶尾

1-Versicolour變色鳶尾

2-Virginica維吉尼亞鳶尾

用pandas把特征和目標(biāo)一起顯示出來：

from sklearn.datasets import load_iris
import pandas as pd
import numpy as np
def loadiris1():iris = load_iris()#加載鳶尾花數(shù)據(jù)(去本地加載了一個csv文件)# print(iris.data)#特征數(shù)據(jù)# print(iris.feature_names)# print(iris.target)# print(iris.target_names)# print(iris.DESCR)# print(iris.filename)# print("data什么類型的數(shù)據(jù)",type(iris.data),iris.data.dtype)# print("target什么類型的數(shù)據(jù)",type(iris.target),iris.target.dtype)x = iris.data# print(x.shape,x.dtype)y = iris.target.reshape(x.shape[0],1).astype(np.float64)#把一維數(shù)組轉(zhuǎn)化為2維數(shù)組(待會可以和x堆疊) 再把保存的數(shù)據(jù)的類型轉(zhuǎn)化為跟x一樣data=np.hstack([x,y])# print(data,data.shape)# print(data[80][4])# print(iris.target_names[int(data[80][4])])# print(iris.feature_names.append("target"))iris.feature_names.append("target")dataf=pd.DataFrame(data=data,columns=iris.feature_names)print(dataf)
loadiris1()
?

4.sklearn獲取現(xiàn)實世界數(shù)據(jù)集

1.聯(lián)網(wǎng)下載后，保存到home目錄

from sklearn import datasets
datasets.get_data_home() ?#查看數(shù)據(jù)集默認存放的位置

eg2.獲取20分類新聞數(shù)據(jù)

sklearn.datasets.fetch_20newsgroups(data_home,subset)

data_home：

subset:train：只下載訓(xùn)練集；test：只下載測試集；all：訓(xùn)練集和測試集

return_X_y：決定返回值的情況，False：默認

當(dāng)參數(shù)return_X_y值為False時， 函數(shù)返回Bunch對象,Bunch對象中有以下屬性 *data:特征數(shù)據(jù)集, 長度為18846的列表list, 每一個元素就是一篇新聞內(nèi)容， 共有18846篇 *target:目標(biāo)數(shù)據(jù)集，長度為18846的數(shù)組ndarray, 第一個元素是一個整數(shù)，整數(shù)值為[0,20) *target_names:目標(biāo)描述，長度為20的list *filenames：長度為18846的ndarray, 元素為字符串,代表新聞的數(shù)據(jù)位置的路徑 當(dāng)參數(shù)return_X_y值為True時，函數(shù)返回值為元組，元組長度為2， 第一個元素值為特征數(shù)據(jù)集，第二個元素值為目標(biāo)數(shù)據(jù)集

from sklearn.datasets import fetch_20newsgroups
?
data=fetch_20newsgroups(data_home="./src",subset="test")
?
print(data.data[1])
?
print(data.target_names)

5.加載本地自己的數(shù)據(jù)集

1.csv文件

①：txt，數(shù)據(jù)之間用英文逗號隔開，保存后綴名改為csv

②：excel，填寫數(shù)據(jù)，以csv后綴保存文件

2.pandas加載csv

pd.read_csv("./src/ss.csv")

數(shù)據(jù)為DataFrame形式

import pandas as pd
# 作業(yè)("" "./" "../"  "/" 是什么意思 而且舉例說明)
#. (點) 表示當(dāng)前目錄，從當(dāng)前工作目錄開始的相對路徑
#.. (兩個點) 表示上一級目錄，引用位于當(dāng)前目錄父目錄中的文件
#/路徑分隔符，用于分隔目錄名和文件名
data=pd.read_csv('src/ss.csv')
print(data)

import pandas as pd
data=pd.read_excel("src/ss.xlsx")
print(data)

6.數(shù)據(jù)集的劃分

1.函數(shù)

sklearn.model_selection.train_test_split(*arrays，**options)

*array ：用于接收1到多個"列表、numpy數(shù)組、稀疏矩陣或padas中的DataFrame"。

**options， 重要的關(guān)鍵字參數(shù)有： test_size 值為0.0到1.0的小數(shù)，表示劃分后測試集占的比例 random_state 值為任意整數(shù)，表示隨機種子，使用相同的隨機種子對相同的數(shù)據(jù)集多次劃分結(jié)果是相同的。否則多半不同 shuffle：布爾值。默認為True，在分割之前是否對數(shù)據(jù)進行洗牌 stratify：分層劃分，默認是y，按照 y 中類別的比例進行分層抽樣，確保訓(xùn)練集和測試集中各類別樣本的比例相同。 返回值說明：返回值為列表list, 列表長度與形參array接收到的參數(shù)數(shù)量相關(guān)聯(lián), 形參array接收到的是什么類型，list中對應(yīng)被劃分出來的兩部分就是什么類型

2.示例

復(fù)習(xí)：

arr2=[100,200]
x,y=arr2
print(x,y)
def m(*a, **b):print(a) ? ? ? #('hello', 123)print(b) ? ? ? #{'name': '小王', 'age': 30, 'sex': '男'} ? m("hello", 123, ?name="小王", age=30, sex="男")
?
def m2(a,b,c):pass
dic={"a":123,"b":12,"c":123} ? 
print(dic) #{'a': 123, 'b': 12, 'c': 123}
#m2(**dic)相當(dāng)于m2(a=dic["a"],b=dic["b"],c=dic["c"])

①.列表數(shù)據(jù)集劃分

from sklearn.model_selection import train_test_split
data1 = [1, ? ?2, ? ?3, ? ?4, ? ?5]
data2 = ["1a", "2a","3a", "4a", ?"5a"]
a, b = train_test_split(data1, test_size=0.4, random_state=22)
print(a, b) #[4, 1, 5]  [2, 3]
?
a, b = train_test_split(data2, test_size=0.4, random_state=22)
print(a, b) #['4a', '1a', '5a'] ['2a', '3a']
?
a, b, c, d ?= train_test_split(data1, data2, ?test_size=0.4, random_state=22)
print(a,b,c,d) #['4a', '1a', '5a'] ['2a', '3a']

②.ndarray數(shù)據(jù)集劃分

劃分前和劃分后的數(shù)據(jù)類型是相同的

from sklearn.model_selection import train_test_split
import numpy as np
data1 = [1, ? ?2, ? ?3, ? ?4, ? ?5]
data2 = np.array(["1a", "2a","3a", "4a", ?"5a"]) 
a, b, c, d ?= train_test_split(data1, data2, ?test_size=0.4, random_state=22)
print(a, b, c, d) ?#[4, 1, 5] [2, 3] ['4a' '1a' '5a'] ['2a' '3a']
print(type(a), type(b), type(c), type(d)) #<class 'list'> <class 'list'> <class 'numpy.ndarray'> <class 'numpy.ndarray'>

# ndarray的數(shù)據(jù)集劃分
from sklearn.model_selection import train_test_split
import numpy as np
x=np.arange(100).reshape(50,2)
# print(x)#這個x數(shù)據(jù)集中有幾個數(shù)據(jù)(50個) 每一個數(shù)據(jù)有2個特征
x_train,x_test=train_test_split(x,test_size=11,random_state=42)
print(x_train.shape)
print(x_test.shape)
?
print(type(x_train))
print(type(x_test))

③.二維數(shù)組數(shù)據(jù)集劃分

train_test_split只劃分第一維度,第二維度保持不變

from sklearn.model_selection import train_test_split
import numpy as np
data1 = np.arange(1, 16, 1)
data1.shape=(5,3)
print(data1)
a, b = train_test_split(data1, ?test_size=0.4, random_state=22)
print("a=\n", a)
print("b=\n", b)

[[ 1  2  3][ 4  5  6][ 7  8  9][10 11 12][13 14 15]]
a=[[10 11 12][ 1  2  3][13 14 15]]
b=[[4 5 6][7 8 9]]

eg3

from sklearn.model_selection import train_test_split
arr1=[1,23,2,231,25,36,23,32,22,34,123,12,3,2,3]
x_train,x_test=train_test_split(arr1,train_size=0.8)
print(arr1)
print(x_train,x_test)
#[1, 23, 2, 231, 25, 36, 23, 32, 22, 34, 123, 12, 3, 2, 3]
[34, 2, 123, 12, 3, 1, 2, 231, 32, 36, 22, 23] [23, 25, 3]

from sklearn.model_selection import train_test_split
arr1=[1111,23,2,231,25,36,23,32,22,34,123,12,3,33333,3]
arr2=[9999,1,1,1,1,1,2,2,2,2,3,3,3,66666,3]
x_train,x_test,y_train,y_test=train_test_split(arr1,arr2,train_size=0.8)#arrays
print(arr1)
print(x_train,x_test)
print(y_train,y_test)
#[1111, 23, 2, 231, 25, 36, 23, 32, 22, 34, 123, 12, 3, 33333, 3]
#[9999, 1, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 66666, 3]
#[34, 3, 1111, 22, 33333, 25, 123, 32, 23, 12, 2, 3] [36, 23, 231]
#[2, 3, 9999, 2, 66666, 1, 3, 2, 2, 3, 1, 3] [1, 1, 1]
#將arr1和對應(yīng)的arr2打亂，再劃分成訓(xùn)練集和測試集

from sklearn.model_selection import train_test_split
x=[[11,2,3,31,111],[12,2,3,32,112],[1,23,3,33,113],[14,2,3,34,114],[15,2,3,35,115],[16,2,3,36,116],[1,23,3,36,117],[1,23,3,316,118],[1,23,3,326,119],[1,23,3,336,120]]
y=[1,1,1,1,1,2,2,2,2,2]
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,stratify=y,random_state=40)#stratify=y，按y進行分層
print("x_train:\n",x_train)
print("x_test:\n",x_test)
print("y_train:\n",y_train)
print("y_test:\n",y_test)
print(type(x_test))

④.DataFrame數(shù)據(jù)集劃分

# dataFrame的數(shù)據(jù)集劃分
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
# 數(shù)據(jù)集的劃分
data=np.arange(1,100).reshape(33,3)
data=pd.DataFrame(data,columns=['a','b','c'])
# print(data)
train,test=train_test_split(data,train_size=0.7,shuffle=True,random_state=4)
print(train.shape) ?
print(test.shape) ? 

⑤.字典數(shù)據(jù)集劃分

可以劃分非稀疏矩陣

用于將字典列表轉(zhuǎn)換為特征向量。這個轉(zhuǎn)換器主要用于處理類別數(shù)據(jù)和數(shù)值數(shù)據(jù)的混合型數(shù)據(jù)集

# 字典的特征提取和數(shù)據(jù)劃分
from sklearn.feature_extraction import DictVectorizer
from ?sklearn.model_selection import train_test_split
arr=[{"name":"重慶","count":2000,"tempreture":41},{"name":"成都","count":2300,"tempreture":28},{"name":"北京","count":4900,"tempreture":20},{"name":"昆明","count":190,"tempreture":22},{"name":"昆明","count":290,"tempreture":22}]
model=DictVectorizer(sparse=False)#sparse=False表示返回一個完整的矩陣，sparse=True表示返回一個稀疏矩陣
data=model.fit_transform(arr)#提取特征
print(data)
x_train,y_train=train_test_split(data,train_size=0.8,random_state=666)
print(x_train)
print(y_train)

⑥.鳶尾花數(shù)據(jù)集劃分

# 鳶尾花數(shù)據(jù)集劃分
from sklearn import datasets
from sklearn.model_selection import train_test_split
iris=datasets.load_iris()
X=iris.data
y=iris.target
X_train,X_test,y_train,y_test=train_test_split(X,y,train_size=0.8,random_state=4,stratify=y)
print(X)
print(y)
print(X_train.shape)
print(X_test.shape)
print(y_train.shape)
print(y_test.shape)
print(y_train)
print(iris.feature_names)
print(iris.target_names)

⑦.現(xiàn)實世界數(shù)據(jù)集劃分

from sklearn.datasets import  fetch_20newsgroups
from sklearn.model_selection import train_test_split
import numpy as np
news=fetch_20newsgroups(data_home="./src",subset="train")
# print(news.data[0])
x_train,x_test,y_train,y_test=train_test_split(news.data,news.target,train_size=0.8,random_state=666)
print(np.array(x_train).shape)
print(np.array(x_test).shape)
print(x_train[0:5])
print(y_train)
print(news.target_names)