在强化学习(RL),代理顺序学习如何通过与环境的交互。如图 3,在每一个时间 t 代理观察状态 年代 t ∈ 年代 ,在那里 年代 是状态空间,执行行动 一个 t ∈ 一个 从行动空间 一个 。与环境的交互产生下一个状态 年代 t + 1 和标量奖励 r t + 1 。

代理的目的是学习最优政策,最大化长期累积折扣回报,表示为 (10) R t = ∑ t − 1 T γ t − 1 r t + 1 , 在哪里 γ ∈ 0 , 1 贴现因子和吗 T 是时间步的总数(层) 23]。

的一个最广泛使用的模范自由RL方法是q学习代理迭代学习政策评估政府行动的价值功能 问 年代 , 一个 ,定义为预期收益从状态 年代 ,采取的行动 一个后,然后,政策 π 。为了获得最优政策,在给定状态 年代 ,最大化的行动应该选择政府行动的价值函数,也就是说, (11) 一个 ∗ 年代 = 参数 马克斯 一个 问 年代 , 一个 然后同样遵循最优行动的继任者。

在q学习,构造一个查找表,存储行动的价值 问 年代 , 一个 每一个政府行动对( 年代 , 一个 )。更新表的条目通过迭代评估贝尔曼最优方程为: (12) 问 年代 t , 一个 t ⟵ 问 年代 t , 一个 t + β r t + 1 + γ 马克斯 一个 t + 1 问 年代 t + 1 , 一个 t + 1 − 问 年代 t , 一个 t 在哪里 β ∈ 0 , 1 是学习速率。然而,查表方法在q学习的不是可伸缩的大型国有和行动空间的问题。DRL接近价值函数与深层神经网络(款)。在深Q-network (DQN)、行为价值函数 问 年代 , 一个 ; θ 预计到款,参数化 θ 以国家作为输入。然后,根据下面的行动选择 ε 贪婪的政策: (13) 一个 t = 随机 行动 , 与 一个 概率 的 ε , 参数 马克斯 一个 问 年代 , 一个 ; θ , 与 一个 概率 的 1 − ε 。

稳定的学习过程,通常使用一个回放缓冲区 D 存储转换 e = 年代 t , 一个 t , r t + 1 , 年代 t + 1 和小批样品是随机从缓冲区来训练网络。此外,一个单独的准静态目标网络,参数化 θ ′ 是用来估计下一个状态的目标价值。损失函数计算 (14) ℒ θ = E 年代 , 一个 , r , 年代 ′ ∼ D r + γ 马克斯 一个 ′ 问 年代 ′ , 一个 ′ ; θ ′ − 问 年代 , 一个 ; θ 2

θ 更新遵循随机梯度的损失 θ ⟵ θ − β ∇ θ l θ ,而目标参数 θ ′ 据更新 θ ′ ⟵ θ 每一个 C步骤( 24]。DQN算法总结了算法的细节 1。

初始化重播缓冲 D

每个用户被实现为DRL实验室,特别是由深Q-network (DQN)代理,依靠他们的深层神经网络的输出动态范围选择决策之间的许可和授权。下面是DRL配方。 (我)

行动

在每个时间段 t , n th剂样品一个动作 一个 n t 从行动组 (15) 一个 = 许可 , 未经许可的 。 (2)

状态

执行操作后 一个 n t 代理接收二进制观察和奖励从环境中。观察是 o n t = 1 如果选择乐队的上行速度超过最低阈值率或 o n t = 0 否则。代理的状态被定义为历史的action-observation对长度 H : (16) 年代 n t ≜ 一个 n 我 , o n 我 我 = t − H t (3)

奖励

根据所选择的行动,代理接收以下标量奖赏: (17) 如果 一个 n t = 未经许可的 , r t + 1 n = R n , U t , 如果 R n , U t ≥ R U , 最小值 0 , 否则 许可 , r t + 1 n = R n , l t , 如果 R n , l t ≥ R l , 最小值 0 , 否则 在哪里 R n , U t 和 R n , l t 给出了根据方程( 8)和( 9),而 R U , 最小值 和 R l , 最小值 是上行最小阈值利率未经授权和许可的乐队,分别。

对于动态频带选择,每个问题独立DQN列车。深层神经网络的结构如图 4。

长期的深层神经网络由短期记忆(LSTM)层,完全连接层,解决线性单元(ReLu)激活函数。

长时间的短期记忆 (LSTM)是一类递归神经网络(RNNs)是为了学习一种特定模式的数据通过时间序列相关性考虑在内。他们最初引入克服RNNs的消失(爆炸)梯度问题过程中反向传播。受门功能,细胞(内存)的一个LSTM学习如何总输入隔开,即。经验,保持或扔掉 25]。在我们的配方,请注意美国的代理人,action-observation双的历史,长期依赖(相关性)来自WiFi APs的动态活动,遵循两国马尔可夫性质,根据高斯马尔可夫分配和时变信道条件自回归模型。LSTM至关重要的学习过程,因为它可以捕获实际的国家利用底层相关action-observation历史上对。因此,国家必须通过这个预处理步骤之前直接喂给神经网络。

深层神经网络由多个完全连接层,每个层抽象的某些特性的输入。让 x 输入层,而 W 和 b 分别为权重向量,矩阵和偏见。一层的输出向量,表示 y ,在一个完全连接层可以被描述为以下操作: (18) y = f W x + b , 在哪里 f 是element-wise励磁(激活),增加了非线性。在我们的模拟中,我们输入美国LSTM层隐藏单位的64年,它的输出是美联储与128年和64年两个完全连接隐藏层神经元。输出层产生行动的价值观 问 年代 , 一个 两个动作。ReLu激活函数在所有层避免消失梯度问题( 26]。目标网络也采用相同的神经网络结构。

代理的DQNs根据算法单独训练 2。的损失函数方程( 14)用于训练DQN。总结了hyperparameters表 2。

为每个代理 n ∈ N 做

注意,代理没有一个完整的知识环境,如其他代理的作用,潜在的动态无线APs的活动,和不同信道条件。相反,通过顺序与环境的交互,每个代理决定带选择完全基于局部反馈从基站(奖励和观察)。这大大减少了训练复杂度(成本)在每一个用户。此外,由于可以在离线的方式进行训练,训练有素的权重可以在部署阶段使用。再培训的权重是很少;例如,如果环境的显著变化。

对于每一个实现,我们首先使10个用户能够均匀分布在一个正方形区域的 One hundred. 米 × One hundred. 米 。30米距离内细胞的覆盖范围,WiFi APs分布在齐次泊松过程(PPP)率 λ 。图 5展示了一个实现节点部署的网络模型b,用户和APs。

我们每个无线AP的动力学活动根据以下转移矩阵: (19) P = 0.7 0.3 0.2 0.8 ,

我们进一步假设一个用户的上行传输无照乐队可以从任何活动干扰无线AP 米 ∈ ℳ 30米范围内。表 3总结了所有仿真参数的值用于评估算法。

我们比较政策学DRL代理两个基准方案:随机政策和固定的距离政策。在随机的政策,每个用户随机决定选择哪个乐队,在固定的政策,决定基于用户的位置。假设BS知道用户在每个槽的位置 t ;因此,BS的距离,只有用户 D 米使用未经许可的乐队从基站传输资源,因为他们更容易受到干扰无线ap。其他的传输使用授权频带资源。因为我们假定传输从一个无线AP会影响无证带上行传输的任何用户30米距离内,根据节点的部署图 5在固定用户提供的政策 D = 20. 米 从b被分配到未经授权频带资源。每个代理商的培训DRL政策应该学习这个距离没有任何先验的假设而选择的乐队。此外,通过学习APs的活动,代理应该动态选择。

图 6比较了每个用户的平均成功率不同阈值的用户在历史长 H = 5 , λ = 0.5 × 10 − 2 , R l , 最小值 = R U , 最小值 = 4 Mbps 。动态DRL代理接受大约90%的成功率,优于固定用户基于距离的政策我们设置的阈值。固定的基于距离的获得政策归因于两个因素。第一个是DRL代理商,之前没有任何假设,学习的最佳距离 d ∗ 从b波段选择做出决定。换句话说,如果用户 n ∈ N 坐落在最优距离范围 d n > d ∗ ,然后传送许可乐队从附近的WiFi APs避免干扰。第二个因素是,特工捕捉的动态时变信道和无线APs的活动,同时利用动态选择乐队。这意味着,在缺乏传播从附近的无线ap,即使 d n > d ∗ 、用户 n ∈ N 利用对无证带传输的机会;因此,避免重载其他用户授权频带。

进一步调查获得来自动态决定带选择,我们评估每用户平均成功率不同用户的吞吐量阈值在图 7。随着阈值(超过两支乐队)从3增加到5,对性能的差距(每用户平均成功率)也会增加。这表明DRL代理的能力是至关重要的维持可观的成功率在严格的要求下的服务质量(QoS)。

在图 8,每用户平均吞吐量得到三个政策历史长度 H = 5 , λ = 0.5 × 10 − 2 , R l , 最小值 = R U , 最小值 = 4 Mbps 比较。描述,每用户平均吞吐量达到DRL代理优于其他两个方案。DRL适应不断变化的环境的能力和学习强有力的政策使代理超过一个固定的基于距离的政策不足时的乐队是超载。换句话说,即使有机会传输无牌照乐队,由于不活动附近的无线ap,细胞边缘用户固定的基于距离的政策未能充分利用它。进一步的获得可以通过调优hyperparameters。

干扰无线APs的数量的影响的性能DRL代理人追究历史长度 H = 5 , R l , 最小值 = R U , 最小值 = 4 Mbps 在图 9。随着无线APs的数量增加(当 λ 增加),获得由于动态决定带选择减少了未授权频带资源由于竞争者的数量增加。然而,代理仍然保留获得来自学习的最佳波段选择的距离。固定的性能基于距离政策是影响无线APs的数量。

接下来,在图 10,我们比较历史的影响大小DRL代理的性能。我们观察到较短的历史大小往往收敛相对更快。学习策略的收敛时间的变化但是边际。这意味着的收敛时间学习历史政策通常是不那么敏感的大小。注意,所有的结果是平均三个数值模拟。