合集请查看：深度学习入门合集 参考书籍：深度学习入门 基于Python的理论与实现 作者：斋藤康毅 前置：[[计算图]] 激活函数层的实现 ReLU层 激活函数ReLU（Rectified Linear Unit）由下式表示 $$y= \begin{cases} x & \text {($x>0$)} \ 0 & \text{…
合集请查看：深度学习入门合集 参考书籍：深度学习入门 基于Python的理论与实现 作者：斋藤康毅 损失函数 ![[Loss Function]] ![[均方误差]] ![[交叉熵误差]] mini-batch学习 机器学习使用训练数据进行学习。使用训练数据进行学习，严格来说，就是针对训练数据计算损失函数的值，找出使该值尽可能小的参数。因此，计算损…
合集请查看：深度学习入门合集 参考书籍：深度学习入门 基于Python的理论与实现 作者：斋藤康毅 什么是神经网络 用图来表示就是下图↓ 感知机和神经网络的主要区别在于激活函数 激活函数 定义： [[Activation Function]] 激活函数是连接感知机和神经网络的桥梁。 阶跃函数 一旦输入超过阈值，就切换输出。这样的函数称为“阶跃函数 …
合集请查看：深度学习入门合集 参考书籍：深度学习入门 基于Python的理论与实现 作者：斋藤康毅 是什么 感知机接收多个输入信号，输出一个信号。感知机的信号只有“流/不流”（1/0）两种取值。在本书中，0对应“不传递信号”，1对应“传递信号”。 下图是一个接收两个输入信号的感知机的例子。x1、x2是输入信号，y是输出信号，w1、w2是权重。图中的…