項(xiàng)目描述：

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到巴彥淖爾網(wǎng)站設(shè)計(jì)與巴彥淖爾網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名與空間、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋巴彥淖爾地區(qū)。

在該項(xiàng)目中，你將使用強(qiáng)化學(xué)習(xí)算法，實(shí)現(xiàn)一個(gè)自動(dòng)走迷宮機(jī)器人。

如上圖所示，智能機(jī)器人顯示在右上角。在我們的迷宮中，有陷阱（紅色×××）及終點(diǎn)（藍(lán)色的目標(biāo)點(diǎn)）兩種情景。機(jī)器人要盡量避開(kāi)陷阱、盡快到達(dá)目的地。

小車可執(zhí)行的動(dòng)作包括：向上走 u、向右走 r、向下走 d、向左走l。

執(zhí)行不同的動(dòng)作后，根據(jù)不同的情況會(huì)獲得不同的獎(jiǎng)勵(lì)，具體而言，有以下幾種情況。

• 撞到墻壁：-10
• 走到終點(diǎn)：50
• 走到陷阱：-30
• 其余情況：-0.1

我們需要通過(guò)修改 robot.py 中的代碼，來(lái)實(shí)現(xiàn)一個(gè) Q Learning 機(jī)器人，實(shí)現(xiàn)上述的目標(biāo)。

Section 1 算法理解

1.1 強(qiáng)化學(xué)習(xí)總覽

強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)算法的一種，其模式也是讓智能體在“訓(xùn)練”中學(xué)到“經(jīng)驗(yàn)”，以實(shí)現(xiàn)給定的任務(wù)。但不同于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)，在強(qiáng)化學(xué)習(xí)的框架中，我們更側(cè)重通過(guò)智能體與環(huán)境的交互來(lái)學(xué)習(xí)。通常在監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)任務(wù)中，智能體往往需要通過(guò)給定的訓(xùn)練集，輔之以既定的訓(xùn)練目標(biāo)（如最小化損失函數(shù)），通過(guò)給定的學(xué)習(xí)算法來(lái)實(shí)現(xiàn)這一目標(biāo)。然而在強(qiáng)化學(xué)習(xí)中，智能體則是通過(guò)其與環(huán)境交互得到的獎(jiǎng)勵(lì)進(jìn)行學(xué)習(xí)。這個(gè)環(huán)境可以是虛擬的（如虛擬的迷宮），也可以是真實(shí)的（自動(dòng)駕駛汽車在真實(shí)道路上收集數(shù)據(jù)）。

在強(qiáng)化學(xué)習(xí)中有五個(gè)核心組成部分，它們分別是：環(huán)境（Environment）、智能體（Agent）、狀態(tài)（State）、動(dòng)作（Action）和獎(jiǎng)勵(lì)（Reward）。在某一時(shí)間節(jié)點(diǎn)t：

智能體在從環(huán)境中感知其所處的狀態(tài)

智能體根據(jù)某些準(zhǔn)則選擇動(dòng)作

環(huán)境根據(jù)智能體選擇的動(dòng)作，向智能體反饋獎(jiǎng)勵(lì)

通過(guò)合理的學(xué)習(xí)算法，智能體將在這樣的問(wèn)題設(shè)置下，成功學(xué)到一個(gè)在狀態(tài) 選擇動(dòng)作 的策略 。

1.2 計(jì)算Q值

在我們的項(xiàng)目中，我們要實(shí)現(xiàn)基于 Q-Learning 的強(qiáng)化學(xué)習(xí)算法。Q-Learning 是一個(gè)值迭代（Value Iteration）算法。與策略迭代（Policy Iteration）算法不同，值迭代算法會(huì)計(jì)算每個(gè)”狀態(tài)“或是”狀態(tài)-動(dòng)作“的值（Value）或是效用（Utility），然后在執(zhí)行動(dòng)作的時(shí)候，會(huì)設(shè)法大化這個(gè)值。因此，對(duì)每個(gè)狀態(tài)值的準(zhǔn)確估計(jì)，是我們值迭代算法的核心。通常我們會(huì)考慮大化動(dòng)作的長(zhǎng)期獎(jiǎng)勵(lì)，即不僅考慮當(dāng)前動(dòng)作帶來(lái)的獎(jiǎng)勵(lì)，還會(huì)考慮動(dòng)作長(zhǎng)遠(yuǎn)的獎(jiǎng)勵(lì)。

在 Q-Learning 算法中，我們把這個(gè)長(zhǎng)期獎(jiǎng)勵(lì)記為 Q 值，我們會(huì)考慮每個(gè) ”狀態(tài)-動(dòng)作“ 的 Q 值，具體而言，它的計(jì)算公式為：

也就是對(duì)于當(dāng)前的“狀態(tài)-動(dòng)作” ，我們考慮執(zhí)行動(dòng)作 后環(huán)境給我們的獎(jiǎng)勵(lì)，以及執(zhí)行動(dòng)作 到達(dá) 后，執(zhí)行任意動(dòng)作能夠獲得的大的Q值，為折扣因子。

不過(guò)一般地，我們使用更為保守地更新 Q 表的方法，即引入松弛變量 alpha，按如下的公式進(jìn)行更新，使得 Q 表的迭代變化更為平緩。

根據(jù)已知條件求。

已知：如上圖，機(jī)器人位于 s1，行動(dòng)為 u，行動(dòng)獲得的獎(jiǎng)勵(lì)與題目的默認(rèn)設(shè)置相同。在 s2 中執(zhí)行各動(dòng)作的 Q 值為：u: -24，r: -13，d: -0.29、l: +40，γ取0.9。

1.3 如何選擇動(dòng)作

在強(qiáng)化學(xué)習(xí)中，「探索-利用」問(wèn)題是非常重要的問(wèn)題。具體來(lái)說(shuō)，根據(jù)上面的定義，我們會(huì)盡可能地讓機(jī)器人在每次選擇最優(yōu)的決策，來(lái)大化長(zhǎng)期獎(jiǎng)勵(lì)。但是這樣做有如下的弊端：

• 在初步的學(xué)習(xí)中，我們的 Q 值會(huì)不準(zhǔn)確，如果在這個(gè)時(shí)候都按照 Q 值來(lái)選擇，那么會(huì)造成錯(cuò)誤。
• 學(xué)習(xí)一段時(shí)間后，機(jī)器人的路線會(huì)相對(duì)固定，則機(jī)器人無(wú)法對(duì)環(huán)境進(jìn)行有效的探索。

因此我們需要一種辦法，來(lái)解決如上的問(wèn)題，增加機(jī)器人的探索。由此我們考慮使用 epsilon-greedy 算法，即在小車選擇動(dòng)作的時(shí)候，以一部分的概率隨機(jī)選擇動(dòng)作，以一部分的概率按照最優(yōu)的 Q 值選擇動(dòng)作。同時(shí)，這個(gè)選擇隨機(jī)動(dòng)作的概率應(yīng)當(dāng)隨著訓(xùn)練的過(guò)程逐步減小。

在如下的代碼塊中，實(shí)現(xiàn) epsilon-greedy 算法的邏輯，并運(yùn)行測(cè)試代碼。

import random 
import operator 

actions = ['u','r','d','l'] 
qline = {'u':1.2, 'r':-2.1, 'd':-24.5, 'l':27} 
epsilon = 0.3 # 以0.3的概率進(jìn)行隨機(jī)選擇 

def choose_action(epsilon):     
  action = None 
   if random.uniform(0,1.0) <= epsilon: # 以某一概率 
    action = random.choice(actions)# 實(shí)現(xiàn)對(duì)動(dòng)作的隨機(jī)選擇 
   else:  
     action = max(qline.items(), key=operator.itemgetter(1))[0] # 否則選擇具有大 Q 值的動(dòng)作 
   return action 

當(dāng)前文章：用Q-learning算法實(shí)現(xiàn)自動(dòng)走迷宮機(jī)器人的方法示例-創(chuàng)新互聯(lián)
文章網(wǎng)址：http://chinadenli.net/article24/dpphce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、微信小程序、網(wǎng)站導(dǎo)航、自適應(yīng)網(wǎng)站、定制網(wǎng)站、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)