发表于 | 更新于: | 分类于 ， |
Hbase概念 hbase & hdfs 关系图 hadoop数据库，分布式可伸缩大型数据存储。 用户对随机、实时读写数据。 十亿行 x 百万列。 版本化、非关系型数据库。 Feature Linear and modular scalability. //线性模块化扩 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
1.Zookeeper 的安装&概述1.1. Zookeeper 简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 zk提供的服务 Naming service //按名称区分集群中的节点. Configurati ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
1.此教程默认已经搭建好完全分布式2. Zookeeper 集群搭建1234567891011121314151617181920212223242526272829配置完全分布式zk集群--------------------- 1.挑选3台主机 cs1 ~ cs3 2. ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释：用户id，性别，年龄，职 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
1.安装 Scala 插件首先, 直接在 plugin 中搜索官方的 Scala 语言包插件是连不上的, 要验证一些 UUID之类的东西, 原因你懂的 于是乎在网上搜索, 有一篇博客说, 看搜索的时候显示的版本, 然后下载此版本安装, 如下图中画框的版本号 然后去官网找到此版本安装,下载下来 从 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
hive数据类型1) 原子数据类型 TinyInt：1byte有符号整数 SmallInt：2byte有符号整数 Int：4byte有符号整数 BigInt：8byte有符号整数 Float：单精度浮点数 Double：双精度浮点数 Boolean：布尔类型 String：字符串 TimeStamp ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
1. Hive 初探1.1 Hive 的数据存储 Hive的数据存储基于Hadoop HDFS Hive没有专门的数据存储格式 存储结构主要包括：数据库、文件、表、视图、索引 Hive默认可以直接加载文本文件（TextFile），还支持SequenceFile、RCFile 创建表时，指定Hiv ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
MapReduce在编程的时候，基本上一个固化的模式，没有太多可灵活改变的地方，除了以下几处： 输入数据接口：InputFormat FileInputFormat (文件类型数据读取的通用抽象类) DBInputFormat （数据库数据读取的通用抽象类） 默认使用的实现类是： TextI ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
Hive简介 Hive基本情况Hive 是建立在 Hadoop 上的数据仓库基础构架 由facebook开源，最初用于解决海量结构化的日志数据统 计问题; ETL(Extraction-Transformation-Loading)工具 构建在Hadoop之上的数据仓库; 数据计算使用MR，数 ...
阅读全文 »

发表于 | 更新于: | 分类于 ， |
Dealbreaker 专辑：Chesapeake 歌手：Rachael Yamagata 链接：http://music.163.com/#/m/song?id=18733198 You Won’t Let Me 专辑：Chesapeake 歌手：Rachael Yamagata 链接：ht ...
阅读全文 »
0%