一. Spark 核心 API[SparkContext] 连接到spark集群,入口点. [HadoopRDD] 读取hadoop上的数据， [MapPartitionsRDD] 针对父RDD的每个分区提供了函数构成的新类型RDD. [PairRDDFunctions] 对偶RDD函 ...

Tips: 并行 集群计算。 并行计算。 硬件方面的概念 并发 并发执行。 线程方面的概念 一. Spark 简介1.概念Lightning-fast cluster computing。 快如闪电的集群计算。 大规模快速通用的计算引擎。 速度: 比hadoop ...

1.创建 SparkContext 时, 遇到的问题错误描述: A master URL must be set in your configuration 12345678910//创建 spark 配置对象val conf = new SparkConf()conf.setAppName("My ...

一. 概览scala : java语言的脚本化。 Scala 的类关系图 数据类型注意点 1、 Any 是所有类的父类，包括值类型 AnyVal，和引用类型 AnyRef2、 AnyVal 是所有值类型的父类，包括 Int，Double，Boolean，Unit 等等3、 An ...

参考 PDF 文档数据结构参考PDF 算法基础参考PDF 参考大牛笔记算法综述及代码实现 Leetcode解题 剑指 Offer 解题 其它的自行查看 参考自己代码mygithub

一. 同步, 异步 & 阻塞, 非阻塞概念同步和异步其实指的是，请求发起方对消息结果的获取是主动发起的，还是等被动通知的。 如果是请求方主动发起的，一直在等待应答结果（同步阻塞） 如果是结果由服务方通知的，也就是请求方发出请求后，要么在一直等待通知（异步阻塞）, 要么就先去干自己的事了 ...

对象的创建与内存分配创建对象当 JVM 收到一个 new 指令时，会检查指令中的参数在常量池是否有这个符号的引用，还会检查该类是否已经被加载过了，如果没有的话则要进行一次类加载。 接着就是分配内存了，通常有两种方式： 指针碰撞 空闲列表 使用指针碰撞的前提是堆内存是完全工整的，用过的内存和没用的 ...

LinkedHashMap 底层分析众所周知 HashMap 是一个无序的 Map，因为每次根据 key 的 hashcode 映射到 Entry 数组上，所以遍历出来的顺序并不是写入的顺序。 因此 JDK 推出一个基于 HashMap 但具有顺序的 LinkedHashMap 来解决有排序需求的场 ...

Java 多线程常见问题上下文切换多线程并不一定是要在多核处理器才支持的，就算是单核也是可以支持多线程的。CPU 通过给每个线程分配一定的时间片，由于时间非常短通常是几十毫秒，所以 CPU 可以不停的切换线程执行任务从而达到了多线程的效果。 但是由于在线程切换的时候需要保存本次执行的信息(详见)，在 ...

HashMap 底层分析 以下基于 JDK1.7 分析。 如图所示，HashMap 底层是基于数组和链表实现的。其中有两个重要的参数： 容量 负载因子 容量的默认大小是 16，负载因子是 0.75，当 HashMap 的 size > 16*0.75 时就会发生扩容(容量和负载因子都可 ...