Galvin Blog


Life was like a box of chocolates
you never know what you are going to get

Flink

大数据基础

Flink 核心数据结构:Stream 与 Spark 的 RDD 不同的是,Stream 代表一个数据流而不是静态数据的集合。所以,他包含的数据是随着时间增长而变化的。而且 Stream 上的转换操作都是逐条进行的,即每当有新数据进来,整个流程都会被执行并更新结果。这样的处理模式决定了 Flink 比 Spark Stream 有更低的流处理延迟性。 Flink架构 存储层 ...

Spark

大数据基础

Spark Spark基本的数据结构:弹性分布式数据集(Resilient Distributed Dataset,RDD),他代表一个可被分区的只读数据集 相对于Hadoop MapReduce会将中间数据放到硬盘里,Spark会把中间数据缓存到内存中. RDD 表示已经被分区的、不可改变的,并能够被并行操作的数据集合。 分区(Partition) 同一个RDD包含的...

批处理与流处理

大数据基础

批处理(Batching Processing) 绝大部分情况,批处理输入数据是 有边界数据(Bounded Data) ,同时输出也是 有边界数据 。更关心的是数据的 事件时间(Event Time) 应用场景 日志分析 计费应用程序 数据仓库 主要项目 由Google MapReduce 衍生出来的 Apache Hadoop 或者 Apache Spark 都是支持批...

浏览器缓存控制机制

cache-control

概述 http1.1缓存控制 浏览器缓存分为强制缓存和协商缓存 强制缓存 控制强制缓存的字段分别是Expires和Cache-Control,其中Cache-Control优先级比Expires高。 协商缓存 协商缓存就是强制缓存失效后,浏览器携带缓存标识向服务器发起请求,由服务器根据缓存标识决定是否使用缓存的过程。 控制协商缓存的字段分别有:Last-Modified / If-Modif...

二分查找 && 跳表

Binary Search && Skip List

二分查找(Binary Search) 二分查找-Golang 二分查找针对的是一个有序的数据集合,查找思想有点类似分治思想。每次都通过跟区间的中间元素对比,将待查找的区间缩小为之前的一半,直到找到要查找的元素,或者区间被缩小为 0 时间复杂度O(logn);二分查找只能用在插入、删除操作不频繁,一次排序多次查找的场景中。针对动态变化的数据集合,二分查找将不再适用。 跳表(...

排序算法(Sort Algorithm)

Sort

recursion 终止条件;分解为子问题;子问题求解相同 警惕堆栈溢出(设置递归层数) 重复计算(通过散列表保存计算过的值) 过多的函数调用会耗时较多 所有的递归代码都可以改写为迭代循环的非递归写法。如何做?抽象出递推公式、初始值和边界条件,然后用迭代循环实现。 sorting algorithm | 排序算法 | 时间复杂度 | 是否基于比较 | | — | ...

线性表(Linear List)

Linear List

Array 数组是一种线性表结构,以一组连续的内存空间存储相同的数据类型 下标以0开头是因为表示的是偏移量;base + i 动态扩容数组,是申请一块更大的连续空间,并且将原数据复制到新空间去 Linked List LinkedList-Golang 链表通过指针将一片零散的内存块串联起来使用;连续空间不符合数组申请要求,会申请空间失败 链表随机访问需要根据...

AWS解决方案架构师认证

AWS Certificate

18年年底865分(满分1000)通过了AWS SAA的认证,现在来总结下。 AWS认证体系 AWS认证包含:运维、架构、开发、AI、大数据、安全这几个领域。下图是AWS认证体系。 我认证的是Solutions Architect 助理级。说明下云计算一般说的解决方案架构师和平常说的系统、软件架构师不太一样,云计算的架构师偏向于对整体架构能力,对云的各种服务的理解,给客户最佳的解决方案;...

黑暗森林法则

三体

音频 BGM是电影星际穿越的背景音,和大刘的三体配合起来毫无违和感 很早之前就知道三体,但是一直也没来得及看,最近随便看了几页,就一发不可收拾了。深陷在大刘所描绘的宇宙丛林法则中无法自拔,竟也想谈谈自己对于黑暗森林法则的看法。 宇宙是个非常宏观的概念,空间无限,时间也无限。每每谈及,不由得想起我们的人生。 “仰观宇宙之大,俯察品类之盛”,相比较而言,人生显得是如此的渺小与...

AWS EC2

EC2

EC2(Amazon Elastic Compute Cloud) EC2是AWS提供的一种计算服务,它以EC2实例(EC2 Instance)的形式存在,因此一个EC2实例可以被认为是一个虚拟机 预配置的EC2镜像被称之为Amazon Machine Images (AMI),一个AMI包含了你打包的好操作系统,以及相应的应用程序和配置 私钥必须非公开可见才可以使用(chmod 400...