Galvin的博客

Flink

大数据基础

Flink 核心数据结构：Stream 与 Spark 的 RDD 不同的是，Stream 代表一个数据流而不是静态数据的集合。所以，他包含的数据是随着时间增长而变化的。而且 Stream 上的转换操作都是逐条进行的，即每当有新数据进来，整个流程都会被执行并更新结果。这样的处理模式决定了 Flink 比 Spark Stream 有更低的流处理延迟性。 Flink架构存储层 ...

Posted by Galvin on August 22, 2019

Spark

大数据基础

Spark Spark基本的数据结构：弹性分布式数据集（Resilient Distributed Dataset，RDD），他代表一个可被分区的只读数据集相对于Hadoop MapReduce会将中间数据放到硬盘里，Spark会把中间数据缓存到内存中. RDD 表示已经被分区的、不可改变的，并能够被并行操作的数据集合。分区（Partition）同一个RDD包含的...

Posted by Galvin on August 12, 2019

批处理与流处理

大数据基础

批处理（Batching Processing）绝大部分情况，批处理输入数据是有边界数据（Bounded Data），同时输出也是有边界数据。更关心的是数据的事件时间（Event Time）应用场景日志分析计费应用程序数据仓库主要项目由Google MapReduce 衍生出来的 Apache Hadoop 或者 Apache Spark 都是支持批...

Posted by Galvin on August 5, 2019

浏览器缓存控制机制

cache-control

概述 http1.1缓存控制浏览器缓存分为强制缓存和协商缓存强制缓存控制强制缓存的字段分别是Expires和Cache-Control，其中Cache-Control优先级比Expires高。协商缓存协商缓存就是强制缓存失效后，浏览器携带缓存标识向服务器发起请求，由服务器根据缓存标识决定是否使用缓存的过程。控制协商缓存的字段分别有：Last-Modified / If-Modif...

Posted by Galvin on March 10, 2019

二分查找 && 跳表

Binary Search && Skip List

二分查找（Binary Search）二分查找-Golang 二分查找针对的是一个有序的数据集合，查找思想有点类似分治思想。每次都通过跟区间的中间元素对比，将待查找的区间缩小为之前的一半，直到找到要查找的元素，或者区间被缩小为 0 时间复杂度O(logn);二分查找只能用在插入、删除操作不频繁，一次排序多次查找的场景中。针对动态变化的数据集合，二分查找将不再适用。跳表（...

Posted by Galvin on March 7, 2019

排序算法(Sort Algorithm)

Sort

Posted by Galvin on February 28, 2019

线性表（Linear List）

Linear List

Array 数组是一种线性表结构，以一组连续的内存空间存储相同的数据类型下标以0开头是因为表示的是偏移量；base + i 动态扩容数组，是申请一块更大的连续空间，并且将原数据复制到新空间去 Linked List LinkedList-Golang 链表通过指针将一片零散的内存块串联起来使用；连续空间不符合数组申请要求，会申请空间失败链表随机访问需要根据...

Posted by Galvin on February 21, 2019

AWS解决方案架构师认证

AWS Certificate

18年年底865分（满分1000）通过了AWS SAA的认证，现在来总结下。 AWS认证体系 AWS认证包含：运维、架构、开发、AI、大数据、安全这几个领域。下图是AWS认证体系。我认证的是Solutions Architect 助理级。说明下云计算一般说的解决方案架构师和平常说的系统、软件架构师不太一样，云计算的架构师偏向于对整体架构能力，对云的各种服务的理解，给客户最佳的解决方案；...

Posted by Galvin on February 14, 2019

黑暗森林法则

三体

音频 BGM是电影星际穿越的背景音，和大刘的三体配合起来毫无违和感很早之前就知道三体，但是一直也没来得及看，最近随便看了几页，就一发不可收拾了。深陷在大刘所描绘的宇宙丛林法则中无法自拔，竟也想谈谈自己对于黑暗森林法则的看法。宇宙是个非常宏观的概念，空间无限，时间也无限。每每谈及，不由得想起我们的人生。 “仰观宇宙之大，俯察品类之盛”，相比较而言，人生显得是如此的渺小与...

Posted by Galvin on November 14, 2018

AWS EC2

EC2

EC2(Amazon Elastic Compute Cloud) EC2是AWS提供的一种计算服务，它以EC2实例（EC2 Instance）的形式存在，因此一个EC2实例可以被认为是一个虚拟机预配置的EC2镜像被称之为Amazon Machine Images (AMI)，一个AMI包含了你打包的好操作系统，以及相应的应用程序和配置私钥必须非公开可见才可以使用（chmod 400...

Posted by Galvin on September 26, 2018

Galvin Blog

Flink

大数据基础

Spark

大数据基础

批处理与流处理

大数据基础

浏览器缓存控制机制

cache-control

二分查找 && 跳表

Binary Search && Skip List

排序算法(Sort Algorithm)

Sort

线性表（Linear List）

Linear List

AWS解决方案架构师认证

AWS Certificate

黑暗森林法则

三体

AWS EC2

EC2

FEATURED TAGS

ABOUT ME

FRIENDS