RNN采用的梯度更新策略是BPTT，梯度分为两部分： 竖直方向的输出层权重：这个和传统反向传播没什么区别，因为这一层的权重只与当前loss有关 竖直方向的输入层和水平权重：这个就稍微复杂点，因为rnn的总loss是所有时刻loss相加的，同时每个时刻的loss又会影响到这里所说的所有权重，所以操作是： 计算某个时刻Et的误差项，通过反向传播来计算，最后计算梯度。 汇总所有的时刻计算的梯度。

最近对线程有了一些的新的理解，再整理一下知识点： 线程的执行单位是core，一个cpu可以有多个core，所以为啥现在计算就主打多核cpu.. 但实际上即使是一个core，也可以实现并发，因为线程之间可以随时切换，因为有thread context这个信息，下面会提。 我们实现一个服务/进程，有多时候都会用多线程来并发处理，那么来看下线程的共享资源单位： 代码区：毫无疑问，就是二进制的代码文件

微服务一种将整个后端服务，按照领域、模块分解为若干独立小应用的一种架构方式。微服务有如下特点 服务可以单独编写、发布、测试、部署，相比于所有功能集中于一体的单体服务，可维护性更强 服务彼此之间依赖服务通信的方式松耦合 按照业务领域来组织服务，每个团队维护各自的服务 引申出了RPC框架，比较有代表性的： Thrift - Facebook Dubbo - 阿里 Spring Cloud 为了

Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。 这块我也只是大概了解了一下，本质上想要解决的问题是：如果有一个mysql存储和一个redis缓存，mysql的变更要同步到redis里，为了保持数据的一致性，中间就加了一个databus。 图片解释： 变为： ​

HDFS是一个分布式的文件系统，利用集群来存储海量数据。hdfs路径是一个虚拟节点，下面的多个文件可能放在多台机器上，具体放在哪台机器等信息由name node节点维护。

基本概念Flink是一个分布式的流式数据处理框架，目前很多公司都开始用flink来处理流式任务（对，说的就是我司）。在Flink之前，其实我们已经有spark streaming和storm来处理流式任务，为何还要flink？下面就说吞吐量和时延上说下flink的优势，主要讲一下基本原理和容错机制。 流框架 Naive streaming： storm和flink都是naive streaming

基本概念Kafka是一个分布式的发布-订阅消息传递系统，其实本质就是一个分布式的日志系统，是实时任务依赖的主流数据源。注意，数据本身同样是存储在hdfs上的。 原理 1、话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名； 2、生产者（Producer）：是能够发布消息到话题的任何对象； 3、服务代理（Broker）：一个brok

NAS最近几年是AutoML领域比较火热的方向，主要是神经网络结构的自动搜索。最近看了几篇NAS文章，下面按照发展历史做个总结。 参考博客： 炼丹术的终结 你想要的神经网络自动设计，谷歌大脑帮你实现了：用参数共享高效地搜索神经网络架构（ENAS）) 一、NAS的提出文献：《NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING》 本质上就是

最近在看NAS（neural architecture search）的论文，里面讲到了强化学习的policy network，然后我就研究了下这个东西，发现是个蛮有意思的概念，确实和nas有共同之处。有意思的点主要其实是在loss function的设计上，下面详细讲下我的理解。 正常来讲，我们做一个Neural Network来解决Classification or Regression ta

tf.stacktf.stack(values, axis=0, name=”stack”): 12345x = tf.constant([1, 4])y = tf.constant([2, 5])z = tf.constant([3, 6])tf.stack([x, y, z]) # [[1, 4], [2, 5], [3, 6]] (Pack along first dim.)tf.stac