HBase 整体介绍
HBase： NoSQL数据库，基于HDFS的分布式数据库，理论上支持无限横向扩展， ?? ??? ?HBase由HMaster与RegionServer组成，HMaster负责协调调度RegionServer进行数据处理，RegionServer负责数据的增删改查操作，RegionServer由多台分布在DataNode的组成，可以有多个。由HMaster负责RegionServer的调度情况，当RegionServer出现异常情况，HMaster进行对MetaRegionServer中的元数据进行更新管理。 ?? ??? ?当HBase中表的数据不断变大时，表中数据会进行Region分区，分为Region1，Region2...等,RegionServer1负责Region1,RegionServer2负责Region2等；每个RegionServer负责哪个Region的数据区由MetaRegionServer管理，MetaRegionServer运行在多个RegionServer中的任意一个。 ?? ??? ?HBase数据存储在HDFS上的存储也是按照层级来管理的，不同的库对应不同的目录，库下不同的表亦对应不同的目录，表下不同的Region对应不同的目录，Region下存放这HBase上的数据，HBase的数据是经过特殊处理的，所以直接看不到数据内容 ?? ??? ?HMaster支持HA高可用，所以在HBase集群对应的HMaster和RegionServer都启动后，在其他的RegonServer上启动HMaster，则该HMaster为StandBy，第一次启动的为Active。 ?? ??? ?HBase底层接口处理起来会比较吃力，一般处理方式是应用其他工具进行处理，如Flume,Sqoop ?? ??? ?MySQL与Hive的区别 ?? ??? ??? ?MySQL：数据存储会受到限制，可以增删改查数据 ?? ??? ??? ?Hive：1. 只能进行查询数据，不能进行该数据，可以根据查询结果进行建表存储数据 ?? ??? ??? ??? ? ?2. 基于HDFS，支持分布式存储，可以无限扩容 ?? ??? ??? ??? ? ?3. 基于MapReduce，支持大数据运算 ?? ??? ?HBase与MySQL的区别?? ??? ??? ? ?? ??? ??? ?MySQL：行式存储，适合处理联机事务 ?? ??? ??? ?HBase：列式存储，适合处理对单列数据(列族归类的数据)进行快缩索引查询 ?? ??? ?HBase与Hive的区别?? ??? ? ?? ??? ??? ?HBase：数据库，数据分布式存储在HDFS上的DataNode节点上，根据对数据进行增删改查等。 ?? ??? ??? ?Hive:数据仓库，数据存储在HDFS上，与DataNodata 关系不大，管理历史数据，数据量会非常庞大，每天都会进来大量数据，不能进行更新删除操作， ?? ??? ?HBase概念 ?? ??? ??? ?HMaster: 协调管理RegionServer服务状态及元数据管理 ?? ??? ??? ?RegionServer: 负责对数据表的增删改差操作，主要负责单个Region的数据管理 ?? ??? ??? ??? ?RegionData:数据块 ?? ??? ??? ?MetaRegionServer: 对RegionSever上对应的Region数据块进行索引管理 ?? ??? ??? ?database 数据库 ?? ??? ??? ?table: 数据表,定义表时需要指定列族，也可以再表建立后进行列族的管理 ?? ??? ??? ?RowKey：行键,表示一行数据，一行数据中包含列族定义的东西， ?? ??? ??? ?ColumnFamily: 列族，对业务进行分类后，可以根据业务对数据进行分类，把业务类似的一类数据分为一个列族，不同的业务可以分为不同的列族。分列族的主要目的是方便后期对数据的高速索引. ?? ??? ??? ?CELL: 数据单元,保存单个KV字段. ?? ??? ?运行逻辑： ?? ??? ??? ?HMaster协调管理RegionServe，RegionServer主要负责处理Region数据块的处理，MetaRegionServer管理RegionServer对应Region数据的元数据信息。RegionServer服务异常时，HMaster进行元数据迁移，保证对Region数据的管理由对应的RegionServer来管理。 ?? ??? ??? ?MetaRegionServer管理的元数据信息保存在HDFS上。 ?? ??? ??? ?Client进行数据处理时，首先根据查询条件，通过MetaRegionServer获取到查询对应的RegionServer上，然后进行数据处理，Client不与HMaser进行交互，所以HMaser状态可以异常，不影响Client对RegionServer的使用。但是当RegionServer异常时，HMaster亦由于异常无法感知RegionServer的状态，这样会影像Client的数据处理。 ?? ??? ?HBase部署 ?? ??? ??? ?1. 首先需要部署HDFS，对MapReduce不特殊要求，可以不部署 ?? ??? ??? ?2. HBase上，HMaster及RegionServer，MetaRegionServer都是通过ZooKeeper来进行服务感知的，所以需要ZooKeeper部署， ?? ??? ??? ?3. 安装Java JDK/JRE ?? ??? ??? ?4. 在每个对应的DataNode上 解压HBase ?? ??? ??? ?5. 修改Hbase-env.xml (JAVA_HOME,ZK_ENABLE )，HBase-site.xml（zk路径） ?? ??? ??? ?6. 启动集群 ?? ??? ??? ?7. 启动HMaster(StandBy),保证HA，亦可以不启用 ?? ??? ?HBase Web端口 16010 ?? ??? ?HBase操作 ?? ??? ??? ?DDL: ?? ??? ??? ?create table 创建表 ?? ??? ??? ?drop table?? ?删除表 ?? ??? ??? ?modify table 修改表 ?? ??? ??? ?DML: ?? ??? ??? ?put data 增加数据 ?? ??? ??? ?delete data 删除数据 ?? ??? ??? ?get data 获取数据 ?? ??? ??? ?scan data 查询数据 ?? ??? ?HBaseClient ?? ??? ??? ?交互式客户端 ?? ??? ??? ??? ?Hbase shell 直接启动 ?? ??? ??? ?JavaClient ?? ??? ??? ??? ?DDL： ?? ??? ??? ??? ?1. 获取Connection ?? ??? ??? ??? ?2. 获取Admin ?? ??? ??? ??? ?DML： ?? ??? ??? ??? ?1. 获取Connection ?? ??? ??? ??? ?2. 获取Table