[ klibsvm ] libsvm 的 Java wrapper

Preface : 
最近因為研究需要, 打算使用 林智仁 老師 開發的 libsvm 來訓練自己的 corpus 抽出取來的 features, 作為實驗數據的 baseline. 從網站上面可以下載 zip 檔後解壓縮, 可以發現有個 Java 目錄. 耶! 對於 Java 比較熟的我是一大福音. 有興趣可以去讀裡面元代碼的 "svm_train.java", "svm_predict.java" 與 "svm.java" 就可以知道其命令列的使用方法與工作流程. 

基本上使用 "svm_train.java", "svm_predict.java" 並可以進行 SVM 的 training 與 predict 這兩個動作便可以滿足大多數的需求, 不過因為那是命令列的用法因此如果你希望把它當作 library 去使用, 可以需要做些封裝. 這邊我根據自己的使用經驗根據 libsvm.jar 的類別設計, 自己封裝了 "training" 與 "predict" 的用法, 並另外導出一個 klibsvm.jar 方便自己後續寫程式來 Integrate libsvm.jar 來做 automation. 

Prepare training data: 
SVM 是一個可以支援很高維的 machine learning, 而在 training data 你必須事先定義好 features (feature 的大小決定 training 的維度) ; 而每個 feature 會有自己用來 training 的值, 另外 SVM 是用來解 Classification 的問題, 因此你還需要提供一個 Label 的值 (Classification 的類別). 接著這些資料將會被存成 Vector 送進去的 SVM 進行 training. 在 libsvm 的 README 中的 "Installation and Data Format" 有定義要為進去的資料格式如下 : 

<label> <index1>:<value1> <index2>:<value2> ...

其中 <label>  就是類別的種類, 使用數字 1, 2 etc 代表; 而 <index1> 則是說明是哪一個 feature, 而 <value1> 則是對應該 feature 的值. 

以等下我要說明的範例, 假設我的 training data 是一個 X/Y 二維平面的座標, 我定義了一個方程式 0.7*X^2 - 10 = Y ; 如果我有一堆座標(x,y), 我定義 x 帶入先前方程式得到的值如果大於等於座標的y 值我定義為類別1, 反之為類別2. 因此這邊我可以假設我有兩個 features1->x, feature2->y ; 接著考慮有座標 (-10,48), 因為 0.7*(-10)^2 - 10 = 60 < 48 -> 得到類別2, 因此我有一筆 Training 的 record 為 : 

2 1:-10.000 2:48.00

當然你的 training data 不可能只有一筆 record. 接著我們將之 mapping 到 klibsvm ; 我們的一筆 training 紀錄會使用類別 ksvm.data.Record 來代表, 而該類別上的屬性 label 則代表個該筆紀錄預測的類別. 而每一個 training 紀錄可能有多個 feature, 這邊使用類別 ksvm.data.TData 來代表一個 feature. 你可以使用 Record.addFeature() 來添加 feature 到你的 training 紀錄中. 而TData 上面的屬性 index 代表著第幾個 feature ; value 則是該 feature 的值. 因此如果我們要將剛剛的 training 座標 (-10, 48) 傳換成代碼, 可以參考下面 : 

view plaincopy to clipboardprint?

1. Record record = new Record();  
2. record.addFeature(1, -10); // 添加 feature x=-10  
3. record.addFeature(2, 48); // 添加 feature y=48  
4. record.label=2; // 設定預測類別2  

但這樣一筆筆寫到代碼我可能會瘋掉 ><". 因此通常我們會利用外部的檔案來存放 training 的 data, 再用程式來載入. 在 klibsvm 中 Training 吃的類別必須實作介面 ksvm.data.IRecordIter : 

view plaincopy to clipboardprint?

1. package ksvm.data;  
2.   
3. import java.util.Iterator;  
4.   
5. public interface IRecordIter extends Iterator{}  

而如果外部檔案的格式滿足 libsvm 的格式定義, 則可以使用類別 ksvm.data.BasicRDIter 來載入外部 training data, 它實作了介面 ksvm.data.IRecordIter : 

view plaincopy to clipboardprint?

1. package ksvm.data;  
2.   
3. import java.io.BufferedReader;  
4. import java.io.File;  
5. import java.io.FileReader;  
6. import java.io.IOException;  
7. import java.util.StringTokenizer;  
8.   
9. public class BasicRDIter implements IRecordIter{  
10.     private BufferedReader  br = null;  
11.     private String          nextProcline = null;      
12.   
13.     public BasicRDIter(File trainFile)throws IOException{this(new BufferedReader(new FileReader(trainFile)));}  
14.     public BasicRDIter(BufferedReader br){this.br = br; retriveProcline();}  
15.       
16.     protected void retriveProcline()  
17.     {  
18.         try  
19.         {  
20.             do  
21.             {  
22.                 nextProcline = br.readLine();  
23.                 if(nextProcline!=null &&   
24.                    (nextProcline.isEmpty() || nextProcline.startsWith("#"))) continue;  
25.                 else break;  
26.             }while(nextProcline!=null);  
27.             if(nextProcline==null) br.close();  
28.         }  
29.         catch(IOException e)  
30.         {  
31.             e.printStackTrace();  
32.             nextProcline = null;  
33.         }  
34.     }  
35.       
36.     @Override  
37.     public boolean hasNext() {  
38.         return (nextProcline!=null);  
39.     }  
40.   
41.     @Override  
42.     public Record next() {  
43.         if(nextProcline!=null)  
44.         {  
45.             //System.out.printf("\t[Test] line=%s\n", nextProcline);  
46.             StringTokenizer st = new StringTokenizer(nextProcline," \t\n\r\f:");  
47.             Record rd = new Record(st);  
48.             retriveProcline();  
49.             return rd;  
50.         }  
51.         return null;  
52.     }  
53.   
54.     @Override  
55.     public void remove() {  
56.         throw new java.lang.UnsupportedOperationException("Not support");         
57.     }  
58. }  

因此考慮我們 training data 外部檔案 "scatters_train.tf", 可以如下載入提供後續 training model 使用 : 

view plaincopy to clipboardprint?

1. File trainFile = new File("scatters_train.tf");  
2. BasicRDIter basicRDIter = new BasicRDIter(trainFile);   // 1) Prepare training input data iter  

Training process : 
現在知道什麼是 training 紀錄 ; 什麼是 features 與 如何從外部載入 training data. 剩下的就是 training 與 predict. 在 training 的部分簡單到不行, 建立類別 ksvm.run.SVMTrain 物件後再將剛剛載入的 training data 傳入其建構子便完成 training 的準備階段. 完整 Training process 代碼如下 : 

view plaincopy to clipboardprint?

1. public static void main(String[] args) throws IOException{  
2.     File trainFile = new File("scatters_train.tf");  
3.     File modelFile = new File("scatters.model");  
4.     BasicRDIter basicRDIter = new BasicRDIter(trainFile);   // 1) Prepare training input data iter  
5.     SVMTrain train = new SVMTrain(basicRDIter);             // 2) Prepare SVMTrain object  
6.     //train.param.C = 10;  
7.     if(train.start())                                       // 3) Start training  
8.     {  
9.         System.out.printf("\t[Info] Training is done!\n");  
10.         train.saveModel(modelFile);                         //4) Output training model to external file  
11.     }  
12.     else  
13.     {  
14.         System.out.printf("\t[Info] Something wrong while training:\n");  
15.         for(String em:train.errMsg)  
16.         {  
17.             System.out.printf("\t%s\n", em);  
18.         }  
19.         return;  
20.     }  
21.         
22. }  

執行後會出現如下 training 訊息並導出 training model 到外部檔案 "scatters.model" : 

..*
optimization finished, #iter = 777
nu = 0.52894127152566
obj = -105.0870659825975, rho = -0.3120789555948129
nSV = 340, nBSV = 45
Total nSV = 340
[Info] Training time=0 sec
[Info] Training is done!

Predict process : 
有了 Training model, 後續的應用便是利用它來對給定的 feature set 進行預測並推論每個紀錄應該是屬於哪一個類別. 接著我們可以透過類別 ksvm.demo.ui.ScatterPlotDemo 將我們剛剛的 training data 用視覺化的效果標示於座標軸上 : 

view plaincopy to clipboardprint?

1. ScatterPlotDemo demo = new ScatterPlotDemo(new File("scatters_train.tf")); // 載入 training data 並繪於座標上  
2. demo.pack();  
3. demo.setVisible(true);  

執行後會出現下圖, 紅點即是類別2 ; 藍點是類別1 ; 綠點則是由剛剛我們定義的方程式繪出 : 
 

接著有了剛剛我們訓練出來的 model (scatters.model) , 接著我們使用類別 ksvm.run.SVMPredict 對測試 data (scatters_test.tf) 進行 predict. 參考範例代碼如下 : 

view plaincopy to clipboardprint?

1. File testFile = new File("scatters_test.tf");  
2. File modelFile = new File("scatters.model"); // Training model file  
3. File resultFile = new File("scatters_test.pid"); // Output predict result file  
4. SVMPredict svmPredict = new SVMPredict(modelFile);  
5. svmPredict.start(new BasicRDIter(testFile), resultFile);  // Start predicting  

執行後產生訊息如下, 並導出 predict 結果到 "scatters_test.pid". 由訊息可以知道準確率約 92% : 

[Info] Accuracy = 91.56%(347/379) (classification)

你也可以透過下面的代碼, 將測試的結果視覺化到座標上面 : 

view plaincopy to clipboardprint?

1. File modelFile = new File("scatters.model");  
2. File testFile = new File("scatters_test.tf");  
3. SVMPredict svmPredict = new SVMPredict(modelFile);  
4. ScatterPlotDemo demo = new ScatterPlotDemo(testFile, svmPredict);  
5. demo.pack();  
6. demo.setVisible(true);  

執行後會由如下 UI 產出, 黃點 代表的是預測錯誤的部分 : 
 

Supplement : 
* [ libsvm ] 碼上會！Java+libSVM 分析動態資料 (144行) 
* [ libsvm ] piaip 的 (lib)SVM 簡易入門