微服务一种将整个后端服务，按照领域、模块分解为若干独立小应用的一种架构方式。微服务有如下特点 服务可以单独编写、发布、测试、部署，相比于所有功能集中于一体的单体服务，可维护性更强 服务彼此之间依赖服务通信的方式松耦合 按照业务领域来组织服务，每个团队维护各自的服务 引申出了RPC框架，比较有代表性的： Thrift - Facebook Dubbo - 阿里 Spring Cloud 为了

Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。 这块我也只是大概了解了一下，本质上想要解决的问题是：如果有一个mysql存储和一个redis缓存，mysql的变更要同步到redis里，为了保持数据的一致性，中间就加了一个databus。 图片解释： 变为： ​

HDFS是一个分布式的文件系统，利用集群来存储海量数据。hdfs路径是一个虚拟节点，下面的多个文件可能放在多台机器上，具体放在哪台机器等信息由name node节点维护。

基本概念Flink是一个分布式的流式数据处理框架，目前很多公司都开始用flink来处理流式任务（对，说的就是我司）。在Flink之前，其实我们已经有spark streaming和storm来处理流式任务，为何还要flink？下面就说吞吐量和时延上说下flink的优势，主要讲一下基本原理和容错机制。 流框架 Naive streaming： storm和flink都是naive streaming

基本概念Kafka是一个分布式的发布-订阅消息传递系统，其实本质就是一个分布式的日志系统，是实时任务依赖的主流数据源。注意，数据本身同样是存储在hdfs上的。 原理 1、话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名； 2、生产者（Producer）：是能够发布消息到话题的任何对象； 3、服务代理（Broker）：一个brok

NAS最近几年是AutoML领域比较火热的方向，主要是神经网络结构的自动搜索。最近看了几篇NAS文章，下面按照发展历史做个总结。 参考博客： 炼丹术的终结 你想要的神经网络自动设计，谷歌大脑帮你实现了：用参数共享高效地搜索神经网络架构（ENAS）) 一、NAS的提出文献：《NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING》 本质上就是

最近在看NAS（neural architecture search）的论文，里面讲到了强化学习的policy network，然后我就研究了下这个东西，发现是个蛮有意思的概念，确实和nas有共同之处。有意思的点主要其实是在loss function的设计上，下面详细讲下我的理解。 正常来讲，我们做一个Neural Network来解决Classification or Regression ta

tf.stacktf.stack(values, axis=0, name=”stack”): 12345x = tf.constant([1, 4])y = tf.constant([2, 5])z = tf.constant([3, 6])tf.stack([x, y, z]) # [[1, 4], [2, 5], [3, 6]] (Pack along first dim.)tf.stac

基本知识首先我们要弄明白Unicode这个概念，我以前一直理解有问题，以为是类似于ascii、utf-8的一种编码方式而已，然而我错了，可以看这篇文章：字符编码笔记：ASCII，Unicode 和 UTF-8，总结一下就是： Unicode不是一种编码方式，而是定义了统一的字符集，包含了世界上的所有字符。它相当于维护了一个映射code point，一个二进制表示对应一个字符。虽然从这个理解上，也