共轭梯度法（Python实现） 使用共轭梯度法，分别使用Armijo准则和Wolfe准则来求步长 求解方程 $f x 1,x 2 = x 1^2-2 ^4+ x 1-2x 2 ^2$的极小值 运行结果

最新语言模型的创新 2018年被称为”NLP的ImageNet时刻“：进展惊人，越来越大的LSTM和基于Transformer的架构在庞大的数据集上得到了训练 - Matthew Peters撰写的ELMo论文介绍了从语言模型来的嵌入（Embeddings from Language Model，ELMo）：…

注意力机制 这是Dzmitry Bahdanai等人在2014年的突破性论文中的核心思想。他们介绍了一种技术，该技术允许编码器在每个时间步长中专注于适当的单词（由编码器编码）。例如，在编码器需要输出单词'lait'的时间步长上，它会把注意力集中在单词'milk'上。这意味着从输入单词到其翻译的路径变短了，因此…

重用预训练的嵌入 TensorFlow Hub项目可以轻松地在自己的模型中重用经过预训练的模型组件。这些模型组件称为模块。只需要浏览TF Hub储存库，就能找到需要的，然后将代码示例复制到下项目中，该模块将连同其预先训练的权重一起自动下载并包含在模型中： hub.KerasLayer层会从给定的URL下载模块…

掩码屏蔽 模型需要学习应该忽略掉填充令牌。可以设置告诉模型去忽略掉填充令牌，以便它可以专注于实际很重要的数据。实际上这很容易：在创建嵌入（Embedding）层时只需添加mask zero=True。这意味着所有下游层都将忽略填充令牌（其ID为0） 这种工作方式是Embedding层创建一个等于K.not e…

情感分析 如果MNIST是计算机视觉的“hello world”，那么IMDB评论数据集就是自然语言处理的“hello world”：它提取了来自著名的互联网电影数据库的50000条英文电影评论（其中25000条用于训练，25000条用于测试），每条评论的简单二元目标值表明了该评论是负面（0）还是正面（1）。…

从定位参数到仅限关键字参数 Python最好的特性之一是提供了极为灵活的参数处理机制，而且Python3进一步提供了仅限关键字参数（keyword-only argument）。与之密切相关的是，调用函数时使用 和 展开可迭代对象，映射到单个参数 '<br / ' '<p hello</p ' <p hell…

函数内省 除了 doc ，函数对象还有很多属性。使用dir函数可以探知factorial具有下述属性： ' annotations ', ' call ', ' class ', ' closure ', ' code ', ' defaults ', ' delattr ', ' dict ', ' dir…

用户定义的可调用类型 不仅Python函数是真正的对象，任何Python对象都可以表现得像函数。为此，只需要实现方法 call 0 2 True 实现 call 方法的类是创建函数类对象的简便方式，此时必须在内部维护一个状态，让它在调用之间可用，例如BingoCage中的剩余元素。装饰器就是这样。装饰器必须是…

可调用对象 除了用户定义的对象，调用运算符（即 ）还可以应用到其他对象上。如果想判断对象能否调用，可以使用内置的callable 函数。 Python数据模型文档列出了7种可调用对象 1.用户定义的函数 - 使用def语句或lambda表达式创建 2. 内置函数 - 使用C语言（CPython）实现的函数，如…

匿名函数 lambda关键字在Python表达式内部创建匿名函数 然后，Python简单的语法限制了lambda函数的定义体只能使用纯表达式。lambda函数的定义体中不能赋值，也不能使用while和try等Python语句 在参数列表中最适合使用匿名函数 'banana', 'apple', 'fig',…

模拟生成微软序列号 描述 微软产品一般都一个25位的序列号，是用来区分每份微软产品的产品序列号。产品序列号由五组被“-”分隔开，由字母数字混合编制的字符串组成，每组字符串是由五个字符串组成。如： 36XJE-86JVF-MTY62-7Q97Q-6BWJ2 每个字符是取自于以下24个字母及数字之中的一个： B…