发表于 | 更新于: | 分类于 ， |
1. HDFS体系结构主从。。。 2.NameNode概念 [x] 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 [x] 在hdfs-site.xml中的dfs.namenode.name.dir属性 [x ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
卑鄙是卑鄙者的通行证，高尚是高尚者的墓志铭，看吧，在那镀金的天空中，飘满了死者弯曲的倒影。 冰川纪过去了，为什么到处都是冰凌？好望角发现了，为什么死海里千帆相竞？ 我来到这个世界上，只带着纸、绳索和身影，为了在审判之前，宣读那些被判决的声音。 告诉你吧，世界我–不–相–信！纵使你脚下有一千 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
Hadoop的核心组件 之 HDFSHDFS1. HDFS是什么: 分布式文件系统 2. HDFS 设计思想 分而治之, 切分存储, 当一个文件过大的时候, 一个节点存储不了, 采用切分存储 分块存储: 每一个块叫做 block 如果一个8T的数据, 这个怎么分合适??? 设置分块的时候要考虑一 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
1.什么是HashMap Hash: 散列将一个任意的长度通过某种(hash函数)算法转换成一个固定值 Map: 地图, (x,y)存储 底层就是一个数组结构, 数组中的每一项又是一个链表, 当新建一个HashMap的时候, 就会初始化一个数组 总结: 通过 hash 出来值, 然后通过值定位到某 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
在淮海中路看油画，要把天空调弱 让油菜花暗下去，看眉式清秀之人离开身体 穿过街巷中涂抹过的人群，悄悄投了水。 在淮海中路1411号，春光遮蔽了暗疾 鸟鸣带来逼仄和飞行感，一个人的身体像麻绳 裸露在新鲜空气中，骨头开裂出花朵。 眼底的云又白又黑，膝盖的青色愈爱愈深 穿过死后潭水的寂静，背部长 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
Hadoop框架体系相关书籍推荐1. [Hadoop权威指南] 第四版 顾名思义, 很权威 🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘 🐘🐘🐘🐘🐘🐘🐘 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
引入面试题1. 有一个很大的(4T)的文件, 文件中存储的是ip, 每行存储一个, 要求求出出现此处最多的那个ip1234567891011121314151617181920212223242526272829303132333435如果这个文件是小文件： io流+集合 实现思路： 创建一个流 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
Hadoop核心组件整体直观概览 1. 分布式文件系统HDFS1.1 基本概念 将文件切分成指定大小的数据块并以多副本的存储形式存储在多个机器上 数据切分, 多副本, 容错等操作对用户是透明的 1.2 图示 1.3 HDFS架构 Datanode 定期向 Namenode 发 Hearbeat ...
阅读全文 »
0%