欧ustdV6.1.37

本文主要讲解了【欧ustdV6.1.37】的相关内容，从不同方面阐述了怎么相处的方法，主要通过步骤的方式来讲解，希望能帮助到大家

1、logits = tf.einsum('ntd,dk->ntk', dec, weights)，对于tf.einsum的用法，这里有个简单的描述：。loss = tf.reduce_sum(ce * nonpadding) / (tf.reduce_sum(nonpadding) + 1e-7)

2、论文中使用的方法是在偶数位置使用正弦编码，在奇数位置使用余弦编码。 T = tf.shape(inputs)[0], tf.shape(inputs)[1]。position_ind = tf.tile(tf.expand_dims(tf.range(T), 0), [N, 1]) # (N, T)

3、dropout和tf.layers.dropout的区别：。另外还有一点就是他把所有的输入向量按照一个比例进行了缩放，具体看。dec *= self.hp.d_model ** 0.5。可以看到是将向量的所有维度都扩了根号d_model倍，我目前不知道这样做的意义，先占个位置

欧ustdV6.1.37相关内容

generator_fn方法生成训练和评估集数据。input_fn方法用来生成Batch数据。这段代码其实也比较值得学习，用tf.data.Dataset.from_generator的方式读入数据，不受计算图的影响，比较好

outputs = tf.nn.embedding_lookup(position_enc, position_ind)。这里为什么直接用tf.range()之后，建立好了position_enbedding之后直接lookup呢，因为输入的句子顺序本来就是0，1，2， ，T，本来就是顺序输入的

context-attention有很多，这里使用的是scaled dot-product。通过 query 和 key 的相似性程度来确定 value 的权重分布。outputs = tf.nn.softmax(outputs)

attention = tf.transpose(outputs, [0, 2, 1])。image("attention", tf.expand_dims(attention[:1], -1))。为啥要transpose一下

loss = tf.reduce_sum(ce * nonpadding) / (tf.reduce_sum(nonpadding) + 1e-7)。训练集和验证集的loss是有问题的。（稍微有一点点问题），但是测试集并不是用loss来衡量的，而是用bleu值

以上就是全部关于【欧ustdV6.1.37】的全部内容，包含了以上的几个不同方面，如果有其他疑问，欢迎留言。

推荐阅读

个人股市市值管理软件(个人股市市值管理软件有哪些)

用友如何删除科目(用友怎么删除科目)

黄金etf 比较(黄金etf的投资价值)

含股指期货的基金，股指期货的基金etf

建信期货董事长，建信期货董事长是谁

豆粕期货行情 豆粕期货行情走势

50ETF 期货开户(a50期货怎么开户)

50etf期货合约？50etf期权合约详解

比特币中国转币手续费，比特币中国转币手续费多少

比特币etf上市申请，比特币etf迎来申请潮