然而,在人工智能的情況下,機器學習的工作方式和我們大腦的工作方式之間的相似度已經達到了不可思議的地步,這使得人工智能研究領域與心理學、生物學和神經科學等領域的交集越來越多,也使得研究者們基於人工智能的進步,對人類的基本知識有了驚人的發現。
AI揭開我們大腦的隱秘
人工智能的研究是如何帶動其他科學領域的進步的?其中一個好的例子也是該領域最早的例子之一。
上世紀70年代,在機器學習的研究中,一個新的想法浮出水面,稱為“時序差分學習”(temporal difference learning) 。機器學習技術的目標是讓算法從它們與環境的互動中學習。然而,在某些情況下,算法很難改進自己的行為,因為在執行動作和觀察結果之間存在滯後。譬如,下棋的算法可能下了幾十步才發現自己輸了棋;它是哪裡出了問題呢?是第13步還是第37步?用那時候傳統的模型,算法很難知道什麼動作是導致輸棋,因此它無法從錯誤中學習。
“時序差分學習”能解決這個問題。它是基於一個巧妙的見解:算法不必等到游戲(或任何其他任務)的最後才得到關於自己的決策的反饋。通過在每一步棋後,根據棋盤的樣子,重新計算它的獲勝機率,它可以了解到一些關於剛才那一步棋的信息;如果放完棋子後,獲勝機率上升了,那是一步好棋;如果下降了,很可能是一步壞棋。
一般來說,“時序差分學習”就是比較不同時間的預測。通過比較它在某一特定行動前後對未來結果的預測的差異,機器學習算法不需要等到實際結果才知道它的行動是好是壞。如果這個行動對它的預測產生了負面影響,它就可以了解到這個行動很可能是一個錯誤的決定。這一招讓機器學習模型在一系列機器學習任務中大大提升了性能。