背景

強化學習是甚麼?

強化學習是機器學習的其中一個分支。和深度學習一樣，皆是啟發於生物界(深度學習啟發於生物界的神經系統)，強化學習的靈感來自於心理學中的"操作制約"。操作制約中經典例子:Skinner Box(如下圖)

一開始老鼠會隨意地在箱子裡移動，如果他不小心拉下桿子，則會有食物從管子排出，很快地老鼠就會學到拉下桿子就會有食物。

而強化學習也是用同樣的原理，一個主體(Agent)在環境中(Environment)基於其狀態(State)透過策略(Policy)做出行動(Action, or Step)並獲得回饋(Reward)，而整個活動(Task)的目的在於有效率、有方法的優化策略(Policy)以最大化未來的回饋(Reward)(如下圖)

(圖片來源: https://www.google.com.tw/url?sa=i&url=https%3A%2F%2Feasyai.tech%2Fen%2Fai-definition%2Fq-learning%2F&psig=AOvVaw13zN_o2O4KOhFIm7QqI6YM&ust=1582625200082000&source=images&cd=vfe&ved=0CAIQjRxqFwoTCKj41sH46ecCFQAAAAAdAAAAABAJ)
EX: 機器人(Agent)需要走到終點，再行動之前會先觀察自己的位置座標與周圍的八格(State, or Observation)，選擇上下左右其中一個方向(Action)，如果碰到炸彈或雷電就會減分(Nagetive Reward)，到達終點就會加分(Positive Reward)。

為什麼要用強化學習?

首先，先討論強化學習與監督式機器學習的差別。

主動 v.s. 被動

在監督式學習中，輸入是一個是先定義好的資料集，並使用不同的演算法產生輸出，整個過程中完全沒有修改輸入值。此外，在這個情境的輸入值之間是完全獨立、互不影響(數學裡的IID-Independent and Indentically Distributed)。

EX: 如上圖，每個類別之間、單個類別裡不同圖片之間，是完全獨立的。

另一方面，在強化學習中，主體會觀察輸入(環境與自身狀態)，本身的行動會修改環境與自身造的狀態，影響未來的輸入，這也意味著每次的輸入之間並不是完全獨立的。
以上述的機器人走迷宮為例，每一步的行動都基於自己的座標與周圍八格的觀察，也會直接影響座標與周圍觀察。

這樣特性造成強化學習相對監督式學習省去了Data Labeling的時間，相對地只需要定義並設計好Task和Reward的模型。

Generality

give a man a fish and he’ll eat for a day
teach a man to fish and he’ll eat for a lifetime
give a man a taste for fish and he’ll figure out how to get fish, even if the details

這句名言很好的詮釋了強化學習的特性，強化學習學的不是固有的知識，也不是如何去學，而是評判好壞的能力與或的好的獎賞的慾望。

資訊量

If intelligence was a cake, unsupervised learning would be the cake, supervised learning would be the icing on the cake, and reinforcement learning would be the cherry on the cake.

(Yann LeCun在NIPS論壇上的比喻)