北辰信息网
国际新闻 当前位置:首页 > 国际新闻 > 正文

深度学习三

一、批量标准化和残差网络

BatchNormalization)

数据集内所有样本的输入标准化(浅模型)处理的任何特征的平均值和标准差分别为0和1。

标准化输入数据,使每个特征的分布相似。

批次归一化(深度模型)

使用小批次的均值和标准差来连续调整神经网络的中间输出,从而使每层中间的整个神经网络输出值更加稳定。

批量归一化可以分别在全连接层、卷积层和预测层进行。

残差网络(ResNet)

深度学习问题:当深度达到一定深度后,盲目增加层数不会导致分类性能的进一步提高,反而会导致网络收敛速度变慢,准确率下降。

2。凸优化

优化和估计

虽然优化方法可以最小化深度学习中的损失函数值,但优化方法达到的目标与深度学习的目标有本质的不同。

优化方法目标:训练集损失函数值

深度学习目标:测试集损失函数值(泛化)

iii。梯度下降

gradient:从数学上讲,梯度是一个向量(vector),它表示函数在该点的方向导数沿着该方向获得最大值,也就是说,函数在该点沿着该方向(该梯度的方向)变化最快,变化率最大(该梯度的模数),也就是说,梯度是使函数获得最大值的方向,也就是说,梯度的方向是函数值增加的方向。

有三种常用的梯度下降算法:

更多梯度下降可以从这里学到

更多梯度下降可以从这里学到

更多梯度下降可以从这里学到

更多梯度下降可以从这里学到

4。目标检测基础

锚帧

目标检测算法通常对输入图像中的大量区域进行采样,然后判断这些区域是否包含我们感兴趣的目标,并调整区域的边缘以更准确地预测目标的真实边界帧。

5。图像风格迁移

如果你是摄影爱好者,你可能接触过滤镜。它可以改变照片的颜色风格,从而使风景更清晰或图像更白。然而,滤镜通常只能改变照片的一个方面。如果你希望照片达到理想的风格,你经常需要尝试大量不同的组合,其复杂性不亚于模型参数调整。

在本节中,我们将介绍如何使用卷积神经网络自动将风格从一个图像应用到另一个图像,即风格转移[1]。这里我们需要两个输入图像,一个是内容图像,另一个是风格图像。我们将使用神经网络来修改内容图像,使其在风格上接近风格图像。图9.12中的内容图像是作者在西雅图郊区雷尼尔山国家公园拍摄的风景照片,而风格图像是一幅以秋天橡树为主题的油画。最终输出的合成图像应用风格图像的油画笔画,同时保持内容图像中对象的主体形状,同时使整体颜色更加生动。

6。图像分类案例

ResNet-18网络结构:ResNet全名弹性网络剩余网络。明凯何的《Deep Residual Learning for Image Recognition》获得了CVPR最佳论文。他提出的深度残差网络可以说是2015年图像领域的所有主要比赛都取消了,并以绝对优势赢得了几个冠军。在保证网络精度的前提下,深度达到152层,然后进一步增加到1000层。

ResNet-18网络结构:ResNet全名弹性网络剩余网络。明凯何的获得了CVPR最佳论文。他提出的深度残差网络可以说是2015年图像领域的所有主要比赛都取消了,并以绝对优势赢得了几个冠军。在保证网络精度的前提下,深度达到152层,然后进一步增加到1000层。



北辰信息网 版权所有© www.37add.com 技术支持:北辰信息网 | 网站地图