凉月の博客

sqoop：概念及功能：​ 数据迁移的，数据移动​ 原来数据管理是集中式管理​ 将原来的集中式管理的数据 移动到分布式平台下​ sqoop就是将传统的关系型数据库的数据和大数据据平台之间的数据迁移​ 迁移有两个方向：​ 1）关系型数据库mysql/oracle—-》大数据平台（hadoop,hive,hbase）​ 数据导入​ 2）大数据平台（hadoop hive hbase）—-》关系型数据库(mysql)​ 数据导出​ 通常用于 分析结果数据从hive或hdfs导出到mysql中 便于前台展示​ sqoop是关系型数据库和大数据平台的桥梁​ 注意：这里的大数据平台指的是hadoop的广义概念 hadoop： 1）狭义 专门指hadoop组件 2）广义： hadoop生态圈的所有组件 hadoop hive hbase zookeeper ......<!-- more -->

hive的beeline的连接方式: beeline：远程连接的服务 hive中内置了这个工具 步骤 修改hadoop集群的配置 hadoop集群中的每一个节点的配置文件都需要修改 将下面的配置文件 远程发送到其他hadoop节点 123456789101112131415161718192021222324251）修改hdfs-site.xml <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>2)core-site.xml <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyu ...

hive的beeline的连接方式: beeline：远程连接的服务 hive中内置了这个工具 步骤 修改hadoop集群的配置 hadoop集群中的每一个节点的配置文件都需要修改 将下面的配置文件 远程发送到其他hadoop节点 123456789101112131415161718192021222324251）修改hdfs-site.xml <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>2)core-site.xml <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyu ...

查询常用的操作 where group by order by having limit join 查询语句的写的顺序：​ select ... from ....join....where ...group by...having...order by...limit.. sql语句的执行顺序：​ from---join--where--group by---having---select---order by---limit 本地模式set hive.exec.mode.local.auto=true; 本地模式参考 join关联 hive中连接 只支持等值连接,不支持不等值连接select .... from a join b on a.id>b.id; 不支持 , key值不好确定2. hive中and连接 不支持orselect ... from a join b on a.id=b.id and a.pid=b.pid;select ... from a join b on a.id=b.id or a.pid=b.pid; key ...

hive的DDL 表的创建，修改 DML 数据的加载（load/insert） 数据导出 hive的ddl data-define-language 数据库 建库：​ create database if not exists test; 切换数据库：​ use test; 查看正在使用的数据库：​ select current_database(); 查看数据库列表：​ show databases;​ show databases like 'test*'; 查看数据库的详细描述信息：​ desc database test;----DBS 删除库：​ drop database if exists test; 只能删除空的数据库​ drop database test restrict; . restrict​ drop database test cascade; 强制删除非空数据库 修改数据库：**不支持** 表 显示表列表：​ show tables;​ show tables like 'test*';​ s ...

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。

Hyper-V搭建centos8

介绍时间操作和文本处理命令，以及shell操作字符串

Shell语言是解释性语言(编译型语言)