[Toolkit] Keras - MNIST 手寫數字辨識使用 CNN

CNN 卷積神經網路簡介 

STEP1. 卷積神經網路介紹 
CNN 卷積神經網路可以分成兩大部分: 

* 影像的特徵提取: 透過 Convolution 與 Max Pooling 提取影像特徵.
* Fully connected Feedforward network: Flatten layers, hidden layers and output layers

STEP2. 卷積運算 (Convolution) 
卷積運算的原理是將一個影像透過卷積運算的 Filter weight(s) 產生多個影像, 在上面第一層的 Convolution 為例: 
1. 先以隨機方式產生 16 個 3x3 的 filter weight(S) 

2. 要轉換的影像由左而右, 由上而下透過 filter weight 產生新影像的值: 

3. 使用 16 個 filter weight 產生 16 個影像 

STEP3. Max-Pooling 運算說明 
Max-Pool 運算可以將影像縮減取樣 (downsampling), 如下圖: 原本影像是 4x4, 經過 Max-Pool 運算後, 影像大小為 2x2: 

downsampling 有以下好處: 

* 減少需要處理的資料點: 減少後續運算所需時間.
* 讓影像位置的差異變小: 例如手寫數字 7, 位置上下左右可能不同, 但是位置不同可能影響辨識. 減少影像大小讓數字的位置差異變小.
* 參數的數量和計算量下降: 這在一定程度上也控制了 Overfitting 的狀況.

進行資料前處理 (Preprocess) 
CNN (Convolution Neural Network) 與 MLP 進行資料的前處理方式有所不同, 說明如下: 

* MLP : image reshape (60000, 784): MLP 因為直接送進神經元處理, 所以 60,000 筆轉換為一筆成 28x28 = 784 個神經元輸入.
* CNN : image reshape (60000, 28, 28, 1): CNN 因為必須先進行卷積與池化 (Max-Pool) 運算, 所以必須保留影像的維度. 因此 60,000 筆轉換成一筆成 28 (長) x 28(寬) x 1(高) 的影像單位.

STEP1. 資料讀取與轉換 

view plaincopy to clipboardprint?

1. #!/usr/bin/env python3  
2. from keras.datasets import mnist  
3. from keras.utils import np_utils  
4. import numpy as np  
5. np.random.seed(10)  
6.   
7. # Read MNIST data  
8. (X_Train, y_Train), (X_Test, y_Test) = mnist.load_data()  
9.   
10. # Translation of data  
11. X_Train40 = X_Train.reshape(X_Train.shape[0], 28, 28, 1).astype('float32')  
12. X_Test40 = X_Test.reshape(X_Test.shape[0], 28, 28, 1).astype('float32')  

STEP2. 將 Features 進行標準化與 Label 的 Onehot encoding 

view plaincopy to clipboardprint?

1. # Standardize feature data  
2. X_Train40_norm = X_Train40 / 255  
3. X_Test40_norm = X_Test40 /255  
4.   
5. # Label Onehot-encoding  
6. y_TrainOneHot = np_utils.to_categorical(y_Train)  
7. y_TestOneHot = np_utils.to_categorical(y_Test)  

建立模型 
接著會依照下面流程圖建立模型: 

STEP1. 建立卷積層與池化層 

view plaincopy to clipboardprint?

1. from keras.models import Sequential  
2. from keras.layers import Dense,Dropout,Flatten,Conv2D,MaxPooling2D  
3.   
4. model = Sequential()  
5. # Create CN layer 1  
6. model.add(Conv2D(filters=16,  
7.                  kernel_size=(5,5),  
8.                  padding='same',  
9.                  input_shape=(28,28,1),  
10.                  activation='relu'))  
11. # Create Max-Pool 1  
12. model.add(MaxPooling2D(pool_size=(2,2)))  
13.   
14. # Create CN layer 2  
15. model.add(Conv2D(filters=36,  
16.                  kernel_size=(5,5),  
17.                  padding='same',  
18.                  input_shape=(28,28,1),  
19.                  activation='relu'))  
20.   
21. # Create Max-Pool 2  
22. model.add(MaxPooling2D(pool_size=(2,2)))  
23.   
24. # Add Dropout layer  
25. model.add(Dropout(0.25))  

STEP2. 建立神經網路 
- 建立平坦層 
下面程式碼建立平坦層, 將之前步驟已經建立的池化層2, 共有 36 個 7x7 維度的影像轉換成 1 維向量, 長度是 36x7x7 = 1764, 也就是對應到 1764 個神經元: 

view plaincopy to clipboardprint?

1. model.add(Flatten())  

- 建立 Hidden layer 

view plaincopy to clipboardprint?

1. model.add(Dense(128, activation='relu'))  
2. model.add(Dropout(0.5))  

- 建立輸出層 
最後建立輸出層, 共有 10 個神經元, 對應到 0~9 共 10 個數字. 並使用 softmax 激活函數 進行轉換 (softmax 函數可以將神經元的輸出轉換成每一個數字的機率): 

view plaincopy to clipboardprint?

1. model.add(Dense(10, activation='softmax'))  

STEP3. 查看模型的摘要 

view plaincopy to clipboardprint?

1. model.summary()  
2. print("")  

進行訓練 
接著我們使用 Back Propagation 進行訓練. 

STEP1. 定義訓練並進行訓練 

view plaincopy to clipboardprint?

1. # 定義訓練方式  
2. model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])  
3.   
4. # 開始訓練  
5. train_history = model.fit(x=X_Train4D_norm,  
6.                           y=y_TrainOneHot, validation_split=0.2,  
7.                           epochs=10, batch_size=300, verbose=2)  

在 compile 方法中: 

* loss: 設定 Loss Function, 這邊選定 Cross Entropy 作為 Loss Function.
* optimizer: 設定訓練時的優化方法, 在深度學習使用 adam (Adam: A Method for Stochastic Optimization) 可以更快收斂, 並提高準確率.
* metrics: 設定評估模型的方式是 accuracy 準確率.

訓練過程的輸出如下: 

22s - loss: 0.4872 - acc: 0.8478 - val_loss: 0.0968 - val_acc: 0.9722
Epoch 2/10
22s - loss: 0.1407 - acc: 0.9591 - val_loss: 0.0631 - val_acc: 0.9808
Epoch 3/10
22s - loss: 0.1029 - acc: 0.9689 - val_loss: 0.0516 - val_acc: 0.9838
...
Epoch 8/10
22s - loss: 0.0513 - acc: 0.9841 - val_loss: 0.0345 - val_acc: 0.9898
Epoch 9/10
22s - loss: 0.0454 - acc: 0.9866 - val_loss: 0.0342 - val_acc: 0.9902
Epoch 10/10
22s - loss: 0.0428 - acc: 0.9874 - val_loss: 0.0330 - val_acc: 0.9903

STEP2. 畫出 accuracy 執行結果 
之前的訓練步驟產生的 accuracy 與 loss 都會記錄在 train_history 變數. 底下將常用的函數定義在 utils.py: 
- utils.py 

view plaincopy to clipboardprint?

1. import os  
2.   
3. def isDisplayAvl():  
4.     return 'DISPLAY' in os.environ.keys()  
5.   
6. import matplotlib.pyplot as plt  
7. def plot_image(image):  
8.     fig = plt.gcf()  
9.     fig.set_size_inches(2,2)  
10.     plt.imshow(image, cmap='binary')  
11.     plt.show()  
12.   
13. def plot_images_labels_predict(images, labels, prediction, idx, num=10):  
14.     fig = plt.gcf()  
15.     fig.set_size_inches(12, 14)  
16.     if num > 25: num = 25  
17.     for i in range(0, num):  
18.         ax=plt.subplot(5,5, 1+i)  
19.         ax.imshow(images[idx], cmap='binary')  
20.         title = "l=" + str(labels[idx])  
21.         if len(prediction) > 0:  
22.             title = "l={},p={}".format(str(labels[idx]), str(prediction[idx]))  
23.         else:  
24.             title = "l={}".format(str(labels[idx]))  
25.         ax.set_title(title, fontsize=10)  
26.         ax.set_xticks([]); ax.set_yticks([])  
27.         idx+=1  
28.     plt.show()  
29.   
30. def show_train_history(train_history, train, validation):  
31.     plt.plot(train_history.history[train])  
32.     plt.plot(train_history.history[validation])  
33.     plt.title('Train History')  
34.     plt.ylabel(train)  
35.     plt.xlabel('Epoch')  
36.     plt.legend(['train', 'validation'], loc='upper left')  
37.     plt.show()  

接著便可以使用函數 show_train_history 顯示 accuracy 在 train 與 evaluation 的差異與 loss 在 train 與 evaluation 的差異如下: 

view plaincopy to clipboardprint?

1. from utils import *  
2. if isDisplayAvl():  
3.     show_train_history(train_history, 'acc', 'val_acc')  
4.     show_train_history(train_history, 'loss', 'val_loss')  

執行結果如下: 
- Training accuracy vs Evaluation accuracy 

- Training loss vs Evaluation loss 

評估模型準確率與進行預測 
我們已經完成訓練, 接下來要使用 test 測試資料集來評估準確率. 

STEP1. 評估模型準確率 

view plaincopy to clipboardprint?

1. scores = model.evaluate(X_Test4D_norm, y_TestOneHot)  
2. print()  
3. print("\t[Info] Accuracy of testing data = {:2.1f}%".format(scores[1]*100.0))  

STEP2. 預測結果 

view plaincopy to clipboardprint?

1. print("\t[Info] Making prediction of X_Test4D_norm")  
2. prediction = model.predict_classes(X_Test4D_norm)  # Making prediction and save result to prediction  
3. print()  
4. print("\t[Info] Show 10 prediction result (From 240):")  
5. print("%s\n" % (prediction[240:250]))  

STEP3. 顯示前 10 筆預測結果 

view plaincopy to clipboardprint?

1. if isDisplayAvl():  
2.     plot_images_labels_predict(X_Test, y_Test, prediction, idx=240)  

STEP4. 顯示 Confusion Matrix 

view plaincopy to clipboardprint?

1. import pandas as pd  
2. print("\t[Info] Display Confusion Matrix:")  
3. print("%s\n" % pd.crosstab(y_Test, prediction, rownames=['label'], colnames=['predict']))  

完整代碼連結如下: 

* ch8_1.py: 主程式
* utils.py: 相關使用函式

Supplement 
* ML Lecture 10: Convolutional Neural Network 
* TensorFlow : Tutorials 02 - Convolutional Neural Network 
* Save and Load Your Keras Deep Learning Models