knative是一个大熔炉,将DevOps构建到服务的自动弹性伸缩,流量管控,事件驱动等都整合到一起。从很早期的版本开始我就一直有在关注,好在其文档还比较完备,可以基于文档一步步部署和尝鲜。
基于Consul服务发现的istio
由于业务微服务先前的架构大量使用consul来做服务注册与发现,但是istio主流的方案中,业务还是走k8s基于DNS的服务发现。正好看到istio社区也号称能够基于consul;因此,基于consul做了一些POC,主要情况简单介绍一下。
Apache Flink原理
Flink是Apache下的一款分布式的计算引擎,它的亮点在于处理实时数据流(无界数据流),实时地产生数据的结果;当然,通过划分窗口(时间窗口等)同样适用于批处理(有界数据流)。想想Spark streaming也可以处理实时数据呀,那为什么会诞生flink呢?flink与spark相比有哪些特色?下文将逐个介绍这些内容。
Elasticsearch学习笔记
在容器云的日志收集和分析中,没有采用CNCF的fluentd方案,而是直接采用了elastic-stack的一整套解决方案。
通过服务编排的时候写日志收集的CRD到K8S,在主机上通过daemonset的方式来运行fileBeat收集容器日志;fileBeat的output是kafka,通过消息中间件来做汇聚和压力削峰,接下来再是logstach和elasticsearch。这只是日志收集的流程,其实里面还涉及具体如何做系统的负载均衡,日志流的告警等,这里就不一一分析。
本文重点聊下elasticsearch相关的一些知识点。