knative是一个大熔炉，将DevOps构建到服务的自动弹性伸缩，流量管控，事件驱动等都整合到一起。从很早期的版本开始我就一直有在关注，好在其文档还比较完备，可以基于文档一步步部署和尝鲜。
基于Consul服务发现的istio
由于业务微服务先前的架构大量使用consul来做服务注册与发现，但是istio主流的方案中，业务还是走k8s基于DNS的服务发现。正好看到istio社区也号称能够基于consul；因此，基于consul做了一些POC，主要情况简单介绍一下。
Apache Flink原理
Flink是Apache下的一款分布式的计算引擎，它的亮点在于处理实时数据流（无界数据流），实时地产生数据的结果；当然，通过划分窗口（时间窗口等）同样适用于批处理（有界数据流）。想想Spark streaming也可以处理实时数据呀，那为什么会诞生flink呢？flink与spark相比有哪些特色？下文将逐个介绍这些内容。
Spark介绍
Spark是基于内存计算的大数据并行计算框架.Spark基于内存计算，提高了在大数据环境下数据处理的实时性。它是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储层，可融入Hadoop的生态系统，以弥补缺失MapReduce的不足。
Sqoop学习
Sqoop用来在关系型数据库与HDFS（Hive、HBase）之间导入和导出数据，其既可以作为ETL抽数据到DW的工具，又可以作为对DM处理好的数据导出到业务数据库的工具，其地位如下图所示：
Hive原理
相对于hadoop复杂的job（MapReduce）编写过程，Hive提供了HQL（类似于SQL的）语言来高效的生成查询job，方便数据工程师在不会编程的情况下，进行并专注于数据分析。从本质上讲，Hive同Pig一样，都是一种简化批处理任务编程复杂度的工具，下面我们就来总体认识一下。
HBase原理
HDFS提供了分布式底层文件系统，解决了基础设施层面文件存储的问题，但是对于文件内容的查询等操作需要依赖于MapReduce计算框架，且效率低下。HBase支持在HDFS之上存储大文件，并提供比HDFS更高效检索数据的框架，下面是学习的一写资料整理。
Hadoop原理
大数据平台底层都是采用Hadoop作为框架，Hadoop包含底层的分布式文件系统和资源调度框架Yarn；当然，算上计算框架还有MapReduce。这里重点总结一下HDFS和其资源调度框架Yarn的原理。
Elasticsearch学习笔记
在容器云的日志收集和分析中，没有采用CNCF的fluentd方案，而是直接采用了elastic-stack的一整套解决方案。
通过服务编排的时候写日志收集的CRD到K8S，在主机上通过daemonset的方式来运行fileBeat收集容器日志；fileBeat的output是kafka，通过消息中间件来做汇聚和压力削峰，接下来再是logstach和elasticsearch。这只是日志收集的流程，其实里面还涉及具体如何做系统的负载均衡，日志流的告警等，这里就不一一分析。
本文重点聊下elasticsearch相关的一些知识点。