Gradient clipping is a standard training technique used in deep learning applications such as large-scale language modeling to mitigate exploding gradients. Recent experimental studies have demonstrated a fairly special behavior in the smoothness of the training objective along its trajectory when trained with gradient clipping. That is, the smoothness grows with the gradient norm. This is in clear contrast to the well-established assumption in folklore non-convex optimization, a.k.a. $L$-smoothness, where the smoothness is assumed to be bounded by a constant $L$ globally. The recently introduced $(L_0,L_1)$-smoothness is a more relaxed notion that captures such behavior in non-convex optimization. In particular, it has been shown that under this relaxed smoothness assumption, SGD with clipping requires $O(\epsilon^{-4})$ stochastic gradient computations to find an $\epsilon$-stationary solution. In this paper, we employ a variance reduction technique, namely SPIDER, and demonstrate that for a carefully designed learning rate, this complexity is improved to $O(\epsilon^{-3})$ which is order-optimal. The corresponding learning rate comprises the clipping technique to mitigate the growing smoothness. Moreover, when the objective function is the average of $n$ components, we improve the existing $O(n\epsilon^{-2})$ bound on the stochastic gradient complexity to order-optimal $O(\sqrt{n} \epsilon^{-2} + n)$.

翻译：梯度剪报是一种标准的训练技术,用于深层学习应用,如大型语言模型,以减缓爆炸梯度。最近的实验研究表明,在使用梯度剪辑培训时,培训目标沿轨迹的平稳性表现了相当特殊的行为。也就是说,平滑性随着梯度规范而增长。这与民俗非康威优化, a.k.a. 美元(美元-湿度)的既定假设形成鲜明的对比,在这种假设中,平滑性被一个不变的美元(美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/美元/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/米/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ / 美元/ 美元/ 美元/ / 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元/ 美元</s>