本發(fā)明公開(kāi)了一種基于深度強(qiáng)化學(xué)習(xí)的毫米波通信波束訓(xùn)練方法，該方法通過(guò)定義強(qiáng)化學(xué)習(xí)模型中的狀態(tài)、目標(biāo)、獎(jiǎng)勵(lì)等要素在波束訓(xùn)練這一實(shí)際問(wèn)題中的具體表示來(lái)對(duì)毫米波信道進(jìn)行追蹤；將狀態(tài)定義為圖像的形式，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)強(qiáng)化學(xué)習(xí)中的值函數(shù)進(jìn)行近似，動(dòng)作定義為基于上一時(shí)刻信道最優(yōu)波束組合的移動(dòng)方向、距離以及波束覆蓋范圍的三元組形式；在設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)時(shí)，將一個(gè)時(shí)間片內(nèi)有效的數(shù)據(jù)可達(dá)速率作為目標(biāo)值；在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，使用了Q學(xué)習(xí)的方法來(lái)更新網(wǎng)絡(luò)參數(shù)；利用訓(xùn)練的深度Q網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，選擇Q值最大的動(dòng)作，該動(dòng)作對(duì)應(yīng)下一時(shí)刻需要測(cè)試的波束組合。