深度学习

动量优化 想象一下，一个保龄球在光滑的表面上沿着平缓的坡度滚动：它开始速度很慢，在很快会获得动量，直到最终达到终极速度（如果有摩擦或空气阻力）。相比之下，常规的梯度下降法只是在斜坡上采取小的、常规的步骤，因此算法将花费更多时间到达底部 回想一下梯度下降通过直接减去权重的成本函数J

梯度消失与梯度爆炸问题 反向传播算法的工作原理是从输出层到输入层次，并在此过程中传播误差梯度。一旦算法计算出损失函数相对于每个参数的梯度，可以使用这些梯度以梯度下降步骤来更新每个参数。 随着算法向下传播到较低层，梯度通常会越来越小。结果梯度下降更新使较低层的连接权重保持不变，训练

利用顺序API构建回归MLP 用回归神经网络解决加州的住房问题 用Sickit-Learn中的fetch_california_housing()函数加载数据 from sklearn.datasets import fetch_california_housing from s

残差神经网络（ResNet） 为什么神经网络的层数越来越深 由图可知随着神经网络层数的增加，神经网络的训练误差和测试误差相较于较低层数的神经网络都要更高。但是这个与越深的网络，训练误差和测试误差都要更小这个第一感觉相违背。 在相同的迭代次数下，更深的神经网络的误差更容易趋向于平稳

构建高级卷积神经网络 以Google Net为例 GoogleNet的模型图为 可以看到其中有一个模块反复使用 Inception Module Inception Module 模型的具体结构图为 个人理解这个模块是将数据经过不同的卷积方式并保持图像大小不变得到不同的通来获得更

使用Keras加载数据集 import tensorflow as tf from tensorflow import keras fashion_mnist=keras.datasets.fashion_mnist (X_train_full,y_train_full),(X_

PyTorch的配置 这里附上官网的链接https://pytorch.org/get-started/locally/ CPU版本 选择PyTorch版本(PyTorch Build)，Stable(稳定版)，Nightly(测试版) 系统版本，这里只介绍Windows系统的P

import torch from torchvision import transforms from torchvision import datasets from torch.utils.data import DataLoader import torch.nn.fun

import torch # 引入模块PyTorch from torchvision import transforms # 从torch视觉中引入转换函数 from torchvision import datasets # 导入数据库 from torch.utils.da

import torch import torch.nn.functional as F # 从torch引入激活函数 x_data = torch.tensor([[1.0], [2.0], [3.0]]).cuda() # 将数据放在GPU上 y_data = torch.t