最小二乘損失函數(shù)（3）對(duì)決策邊界兩側(cè)遠(yuǎn)離標(biāo)準(zhǔn)軌跡的采樣軌跡進(jìn)行懲罰。

該方法可以用公式（4）表示。

公式（5）表示對(duì)抗模仿學(xué)習(xí)與隨機(jī)對(duì)抗模仿學(xué)習(xí)RAIL的隨機(jī)參數(shù)空間搜索之間的關(guān)系。

圖3中實(shí)驗(yàn)的目的是為了展示樣品的效率。為了評(píng)估效率，實(shí)驗(yàn)考慮了平均車速、換道次數(shù)、超車次數(shù)、縱向獎(jiǎng)勵(lì)和橫向獎(jiǎng)勵(lì)，如圖3和圖4所示。

由表1可以看出，兩層政策的平均車速和平均超車統(tǒng)計(jì)量最高，分別為70．38km／h和45．04。這是因?yàn)榛�于蓋爾的框架和基于與環(huán)境交互的策略優(yōu)化，經(jīng)過(guò)訓(xùn)練的策略有時(shí)可以獲得比專業(yè)人類駕駛員更高的性能。另一方面，單層策略的性能提高了90％。這是因?yàn)閱螌硬蛔阋哉�確處理高維觀測(cè)。上述，BC試圖將專業(yè)演示過(guò)程中的1步偏差誤差最小化。因此，由于訓(xùn)練和測(cè)試之間的分布不匹配，單層策略表現(xiàn)出不理想的性能。

在圖4中，使用縱向補(bǔ)償來(lái)分析環(huán)境補(bǔ)償�？v向補(bǔ)償與速度成正比；因此，歸一化結(jié)果與圖3a所示的平均速度相同。為了評(píng)估行動(dòng)決策的敏感性，使用了橫向補(bǔ)償。在變道完成之前，車輛可以根據(jù)觀察改變決策。由于換道過(guò)程中橫向獎(jiǎng)勵(lì)是連續(xù)發(fā)生的，因此在換道過(guò)程中頻繁的換道會(huì)導(dǎo)致?lián)Q道過(guò)程中獎(jiǎng)勵(lì)的減少。在圖4b中，兩層策略在最后一種情況下獲得了較大的橫向獎(jiǎng)勵(lì)。然而，兩層策略比專家策略顯示了更多的車道變化。這是因?yàn)閮蓪硬呗圆惶�可能在操作期間更改決策。另一方面，單層策略比專家策略更能顯示頻繁的換道。因?yàn)閱螌硬呗越?jīng)常更改其決策，單層策略獲得最小的橫向補(bǔ)償。BC表示換道次數(shù)最少。然而，經(jīng)過(guò)培訓(xùn)的策略比RAIL培訓(xùn)的單層策略獲得了更大的回報(bào)。變道數(shù)量明顯小于單層策略；從而使訓(xùn)練后的策略比單層策略獲得更大的橫向回報(bào)。

通過(guò)圖3c的實(shí)驗(yàn)，模擬專家論證，測(cè)量合適的決策。為了獲得與專家相似的超車次數(shù)，仿真過(guò)程中的換道點(diǎn)和決策應(yīng)與專家相似。在圖3c中，兩層策略相比之下，顯示了預(yù)期的性能。此外，決策點(diǎn)和操作與專家相似。然而，單層策略比專家策略顯示的接管數(shù)量要少。這是因?yàn)槠骄�速度較低，并且根據(jù)觀察做出了不合適的換道決定。

綜上所述，驗(yàn)證了RAIL方法提高了平均速度，減少了不必要的變道次數(shù)。這就意味著RAIL方法政策方向是正確的。實(shí)驗(yàn)結(jié)果表明，兩層策略取得了與駕駛專家相似的性能。