_HDFS应用场景&原理&基本架构及使用方法
HDFS基本架构和原理HDFS设计思想
HDFS架构
HDFS数据块（block）
注意： Hadoop2.x，block默认大小是128MB
HDFS写流程
创建Distributed FileSystem类
询问 NameNode 要写的文件对否存在
不存在就写入到 FSDataOutp
...
关于hexo的时序图插件 hexo-filter-sequence 的巨坑
前言在写代码的过程中，发现时序图还是挺管用的，简洁明了，于是想用一用。
结果发到站上，不显示。
在网上查了下，发现是hexo所使用的Markdown渲染语法不支持。
这里吐槽下，这里渲染的确实烂，作者为啥不改改..
于是开始找解决方案，发现大多数都推荐了一个叫hexo-filter-sequenc
...
MapReduce-分组浅探
前言最近学分组的时候，一直弄不明白，总感觉一头雾水，通过近3个小时的断点调试和log输出。 大概了解了一些表象，先记录。
案例是这个
求出每门课程参考学生成绩最高平均分的学生的信息：
课程，姓名和平均分，详细见MapReduce笔记-练习第二题第3小题
数据格式是这样的：
第一个是课程名称，总共
...
Markdown高阶语法
时序图的写法
流程图的写法
类图的写法
st=>start: Start|past:>http://www.google.com[blank]
e=>end: End:>http://www.google.com
op1=>operation: My Operation|pas
...
MapReduce笔记-Bug汇总
1、reduce 输出路径必须是新创建的。不能已经存在1Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://cs1:9000/flowout01
...
MapReduce笔记-练习
求微博共同粉丝题目涉及知识点： 多 Job 串联
1234567891011121314A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL
...
MapReduce笔记-3
1.多 Job 串联1.概念当程序中有多个 Job， 并且多个 job 之间相互依赖， a ， job 需要依赖另一个b，job 的执行结果时候， 此时需要使用多 job 串联
2. 涉及到昨天的微博求共同粉丝题目
A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:
...
MapReduce笔记-2 三大组件-Partitioner分区,sort排序,Combiner局部分区
1. Combiner 组件1. 产生缘由：Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件，它的作用是在 maptask 之后给 maptask 的结果进行局部汇总，以减轻 reducetask 的计算负载，减少网络传输
Combiner 组件的
...