Review Machine Learning

First of all, I will review the theory of ML from machinelearningcoban.com to better understand the algorithm. It's important to give some examples and explain the business problem.

Regression:

1. Linear regression

2. Logistic regression

Classification:

1. Linear classification

2. SVM

3. Kernel SVM

4. Softmax

Instance-based:

1. k-NN

Clustering:

1. k-Means

Artificial neural network:

1. Perceptron

2. Softmax regression

3. Multi-layer Perceptron

4. Back-Propagation

Dimensionality:

1. PCA

2. LDA

Ensemble:

1. Boosting

2. AdaBoost

3. Random forest

Ở phần này mình cũng sẽ sử dụng tài liệu của mlcourse.ai để ôn tập. Một tài liệu nền tảng hơn nữa là khóa Learning from the data của đại học Caltech, một phiển bản được diễn giải tốt hơn nữa là ở đây https://www.csie.ntu.edu.tw/~htlin/talk/doc/mlbasic.bdml.handout.pdf

1. Linear regression

2. Logistic regression

Logistic regression là trường hợp đặc biệt của linear classification. Model này add vào benefit of predicting a probability. Với loss function, ta maximize xác suất này khi class là 1 và minimize khi class là 0. Ta có được hàm sigmoid bằng MLE.

Questions:

1. Validation curve and learning curve

The validation curve is the graph showing the results on training and validation sets depending on the complexity of the model:

- If the two curves are close to each other and both errors are large, it is a sign of underfitting.

- If the two curves are far from each other, it is a sign of overfitting.

The learning curve is the graph showing the results on training and validation sets depending on the number of observations:

- If the curves converged, adding new data won't help, it is necessary to change the complexity of the model.

- If the curves have not converged, adding new data can improve the result.