「理论和实践的结合,这是一个很重要的视角。这位同学叫什么名字?「
「陈阳。「
「陈阳同学的回答很有深度。
「姚教授对全班说,「大家要记住,学习计算理论不是为了证明数学定理,而是为了理解计算的本质,从而在实践中做出更好的设计。「
下课后,陈阳收拾东西准备离开。
「陈阳。「
姚教授站在讲台上,朝他招手。
「你刚才提到的启发式算法,「
姚教授看着他,「在什么样的实际场景中用过?「
陈阳知道,机会来了。
「我暑假的时候创办了一个爬虫公司,做数据分析。「
陈阳说,「在爬取数据的过程中,遇到了一个很棘手的问题,验证码识别。「
「验证码?「姚教授来了兴趣。
「对。传统的图像处理方法效果很不稳定,「
陈阳说,「所以我开始研究深度学习的方法来解决这个问题。「
「深度学习?「姚教授眼中的赞许更明显了,「这个方向很前沿。你遇到什么困难了吗?「
「遇到了。「陈阳组织着语言,「当我把网络层数加深的时候,出现了梯度消失的问题。反向传播到浅层的时候,梯度已经接近零了,导致浅层根本训练不动。「
姚教授点点头,这是深度学习领域人尽皆知的难题。
「我查阅了很多文献,「
陈阳说,「Geoffrey Hinton的预训练方法丶Yann LeCun的卷积神经网络,都给了我很多启发。我尝试用ReLU激活函数代替Sigmoid,用Dropout防止过拟合,用数据增强扩充训练集。这些方法确实有效。「
「效果怎么样?「
「梯度消失的问题基本解决了。「
陈阳说,「但随之而来的,出现了一个新的问题。「