人性較量Day06~量化資訊

今天是寫作松的Day6，本日閱讀章節為第十章。

• 高度驚異(High Surpisal)

本章重點聚焦在夏農熵(Shannon entropy)、文字以及壓縮，以這三者進行連結。

作者開頭以他曾經打電話去訂一家摩鐵的談話經驗作為開頭，因為對方英國腔過重，導致根本聽不清楚在說什麼，但是最後卻順利的完成了一連串的對話並結束通話了，就好像根本不必聽對方講了什麼，僅靠對話模板就大致有辦法猜出她的問題以及可能的回覆，也用這段故事引述後續所要討論的主題─熵。

如果對ML有初步認識的朋友，對於entropy應該有基礎的了解，在電腦科學領域，大致上可以解釋為將資訊做量化的動作，而這個量值便是entropy，中文也可以說是「資訊熵」，作者提了一個可以量化分析英文的工具叫做「夏農遊戲」(Shannon Game)，規則類似於猜字遊戲，猜測總數便是熵值。作者表示夏農遊戲提供了一種十分精緻的方法，讓人把「閱讀」理解成一連串及其快速的猜測，而這其中牽涉到的是資訊熵的多寡，作者在書中有其一套解釋與舉例，但那是英文的部份，至於在中文上我本人想也到一個有趣的例子，就是:
「研表究名，漢字序順並不定一影閱響讀」
很有趣對吧，把自己都給騙了，也很難想像我打這段字時有多辛苦XD，雖然我舉的例子跟作者還是有所出入，但本質上都是就算你沒聽過夏農熵，但腦子裡就是有這東西，讓你不假思索就知道要怎麼用它。
而後作者又提及了壓縮的概念，再將壓縮投射到文字的使用上，但是大多都是英文舉例，對我這個非母語人士來說，看雖看得懂，但還是需要思考一下，沒有茅塞頓開的驚喜感，這點還是比較可惜的。

每日短摘:

熵跟硬碟空間和頻寬不一樣，它並不完全不涉情緒。資料傳輸是溝通，驚異是經驗。在硬碟大小和能力間近乎矛盾的地帶是資訊熵，在生命長短和能力之間的地帶，是你的人生。

系列文連結