变分自动编码器 Diederik Kingma和Max Welling于2013年推出了自动编码器的另一个重要类别，并迅速成为最受欢迎的自动编码器类型之一：变分自动编码器 它们与目前为止的自动编码器有很大的不同，它们具有以下特殊的地方： - 它们是概率自动编码器，这意味着即使在训练后，它们的输出会部分由概率决…

稀疏自动编码器 另一种会导致良好特征提取的约束是稀疏性：通过在成本函数中添加适当的函数项，强迫自动编码器减少编码层中活动神经元的数量。例如，可以强迫其在编码层中平均仅有5%的显著活动神经元。这迫使自动编码器将每个输入表示为少量活动神经元的组合。结果，编码层中的每个神经元最终会代表一个有用的特征 一种简单的方式…

去噪自动编码器 强制自动编码器学习有用特征的另一种方法是向其输入中添加噪声，训练它来恢复原始的无噪声输入。这个想法自1980年代开始就存在（在Yann LeCun 1987年的硕士论文中提到过）。在2008年的论文中，Pascal Vincent等人表明自动编码器也可以用于特征提取。在2010年的论文中，Vi…

循环自动编码器 如果要为序列构建自动编码器，例如时间序列和文本（例如，用于无监督学习或降维），那么递归神经元可能比密集网络更合适。构建循环自动编码器非常简单直接：编码器通常是序列到向量的RNN，它将输入序列压缩为单个向量。解码器是向量到序列RNN，做相反的处理： Epoch 1/10 1719/1719 ==…

卷积自动编码器 如果要处理图像，目前为止的自动编码器都无法很好的工作（除非图像非常小），卷积神经网络比密集网络更适合处理图像。如果要为图像构建自动编码器（例如，用于无监督预训练或降维），则需要构建卷积自动编码器。编码器是由卷积层和池化层组成的常规CNN。它通常会减小输入的空间尺寸（即高度和宽度），同时会增加深…

堆叠式自动编码器 自动编码器可以具有多个隐藏层。在这种情况下，它们被称为堆叠式自动编码器（或深度自动编码器）。添加更多的层有助于自动编码器学习更多的复杂的编码。就是说，要注意不要使自动编码器过于强大。想象一个强大的编码器，它只是学会了把每个输入映射到单个任意数字（而解码器则学习反向映射）。显然这样的自动编码器…

支持函数式编程的包 Python的目标不是变成函数式语言，但是得益于operator和functools等包的支持，函数式编程风格也可以信手拈来 operator模块 在函数式编程中，经常需要把算术运算符当作函数使用。例如，不适使用递归计算阶乘。求和可以使用sum函数，但是求积没有这样的函数。可以使用redu…

函数注解 Python 3提供了一种句法，用于为函数声明中的参数和返回值附加元数据 函数声明中的各个参数可以在：之后添加注解表达式。如果参数有默认值，注解放在参数名和=号之间。如果注解返回值，在 和函数生命末尾的:之间添加一个- 和一个表达式。这个表达式可以是任何类型。注解中最常用的类型是类（如str和int…

获取关于参数的信息 HTTP微框架Bobo有个使用内省函数的例子 bobo.query装饰器把一个普通的函数（如hello）与框架的请求处理机制集成起来了。Bobo会内省hello函数，发现它需要一个名为person的参数，然后从请求中获取那个名称对应的参数，将其传递给hello函数，因此程序员根本不用触碰请…

使用不完整的线性自动编码器执行PCA 如果自动编码器仅使用线性激活，并且成本函数是均方误差MSE，则最后执行的是主成分分析（PCA） 以下代码构建了一个简单的线性自动编码器，来对3D数据集执行PCA，将其投影到2D： - 将自动编码器分为两个子主件：编码器和解码器。两者都具有单一Dense层的常规Sequen…

有效的数据表示 你发现以下哪个数字顺序最容易记忆？ - 40，27，25，36，81，57，10，73，19，68 - 50，48，46，44，42，40，38，36，34，32，30，28，26，24，22，20，18，16，14 乍一看，第一个序列似乎应该更容易些，因为它要短得多。但是，如果仔细看第二个序…

拟牛顿法（Python实现） 使用拟牛顿法（BFGS和DFP），分别使用Armijo准则和Wolfe准则来求步长 求解方程 $f x 1,x 2 = x 1^2-2 ^4+ x 1-2x 2 ^2$的极小值 运行结果