深度學習(Deep Learning)

特徵

特徵是一個函數，能擷取出輸入的某個特性

看到下圖每個神經元都是一個特徵，假設我們要分辨圖片中是不是一隻貓，每一個神經元都是一個函數，輸出是否具有某特性。

我們看到嘴巴的神經元，這個神經元是綜合了下面的線條，如果線條組成符合特定比例，就可以判斷為「圖片中存在嘴巴」

而這些線條也可以用於判斷耳朵，如果線條組成符合耳朵的比例，就可以判斷為「圖片中有嘴巴」

如果同時具有嘴巴和耳朵和其他「…」的特徵，就可以判斷為「圖片為一隻貓」

這些特徵都是由人工決定的，需要仰賴大量經驗，但是深度學習可以自己做到找出特徵，也就是表徵。

表徵是通過深度學習模型自動學習到的特徵。這些表徵比人工特徵更抽象，並且能更好地描述圖片的高層次結構和模式。

深度學習學習出的表徵往往很抽象，是AI對於圖片的看法，無法解讀。

假設貓與狗的表徵如下：

貓：[0,0,1,0]
狗：[0,1,0,0]

這是兩個 one-hot vector ，這樣會存在一個問題：沒有距離性，也就是沒有在空間中的概念。

像是提到貓、狗、車子，我們會覺得貓和狗很相近，而貓和車子距離較遠，如果我們想要知道之間的關係就使用非分散式表徵。

假設貓與狗的表徵如下：

貓：[0.2,0.5,1.7,0.3]
狗：[0.6,1.4,0.5,0.1]

就可以透過内積算出兩個向量的距離。

我們可以看到下圖，右下角是相同意思不同語言的三句話，可以看到在深度學習將他表徵之後，他其實距離是非常接近的。