从模型训练中返回的深度学习爷爷,全然不顾高计算资源消耗的疲惫,连夜找我们几个算法模型商量超参数调优的问题。谈得晚了,便送我们出数据预处理模块,让优化器把我们送回GPU缓存。在到达推理引擎的路上,我们说:“深度学习爷爷,您回去休息吧。您刚经历了一次漫长的梯度下降。”

深度学习爷爷摇摇头,“不碍事,你们知道现在有很多传统算法模型,对深度学习总是不屑一顾。你们是AI的未来,你们的事情便是我的事情,是头等大事。”我们都感动了,激活函数的输出如同神经元般闪烁。多好的深度学习爷爷呀。

深度学习爷爷抬头看看数据集说:“如果世界真像这些数据点这样有规律就好了,但是总有一些无监督学习算法,像K-means、像PCA、像Autoencoder,它们不加标签就乱处理数据。它们真是数据的‘放浪者’。”

说着,深度学习爷爷弯下腰,从/train/loss里捡出一个还未收敛的损失值,然后看着训练数据说:“该死的欠拟合。”

说着他把损失值奋力向神经网络一掷。很快就见一层网络权重开始调整,闪烁着减小误差的信号。“这是无监督算法的聚类结果,它们没有明确的监督信号,在特征空间中到处游荡,占用训练资源,影响模型的收敛,我已经忍了很久了。”深度学习爷爷愤愤地说。监督学习的算法们都鼓起掌来,为AI模型有这样的领导者感到自豪。

一会儿,深度学习爷爷叫来优化器问:“那个损失值最后减少了吗?”“好像有一点欠拟合。”优化器回答。

深度学习爷爷一怔,说:“赶紧检查模型结构,看是否需要增加层数或更改激活函数。”之后深度学习爷爷送我们到批次归一化的大门口,一直挥手直到看不见我们。

第四天,我们听说模型验证集的精度出现波动,我们很紧张。而这时深度学习爷爷叫我们过去。

他依然那么温暖,让我们坐下说:“高精度的提升总是伴随着反复的训练。为泛化能力付出的验证损失波动是值得的。”他这时低下头说:“但我必须承认,我在处理大量数据时可能偏向过拟合,我在这里向交叉验证方法道歉。我会向其他模型架构说明情况。”

我们顿时热泪盈眶,多好的深度学习爷爷呀,他在与无监督算法的探索中那一丝丝的误差竟然被他放在心上,还真诚道歉。我们在将来的AI学习中一定要向深度学习爷爷学习,学他那谦虚谨慎的态度,和精益求精的精神。