Linux
未读 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
下载Sqoop下载地址:https://archive.apache.org/dist/sqoop/
安装配置Sqoop
解压至指定目录1tar -zvxf sqoop-1.4.6-cdh5.7.0.tar.gz -C /export/servers
cd进入/export/servers目录1cd /export/servers
重命名sqoop(可忽略)1mv sqoop-1.4.6-cdh5.7.0/ sqoop-1.4.6
给个最高权限1sudo chmod -R 777 /export
修改configure-sqoop文件1cd /export/servers/sqoop-1.4.6/bin
1vim configure-sqoop
将其中关于Zookeep和HBa ...
Linux
未读kafka安装与配置下载kafka地址：https://kafka.apache.org/downloads
注意：
如果安装kafka时，提示Classpath is empty. Please build the project first e.g. by running ‘./gradlew jar -PscalaVersion=2.12.8’
发现从官网下的是源码。。。
不要下载带src的文件
正确文件名形如：kafka_2.13-2.7.0.tgz
ps:我这里下载的是Scala 2.12的
安装kafka解压到指定路径
1tar -zxvf kafka_2.12-2.7.0.tgz -C /export/servers
给目录赋予权限
1sudo chmod -R 777 /export
发送安装包至其他节点
12scp -r kafka_2.12-2.7.0 slave1:/export/serversscp -r kafka_2.12-2.7.0 slave2:/export/servers
启动kafka– 启动hadoop ...
Linux
未读 配置前必看
本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。本帖主要涉及的目录一共有三个，如有需要，在根目录/下创建export目录存放以下三个目录(建议)。(解压目录)servers、(软件安装目录)software、(数据/日志目录)data 。本帖基于jdk1.8.0_181、hadoop-2.7.5配置，因此配置本帖软件请先安装配置好前置软件如若配置中报错，请第一时间查看前置软件是否正确安装配置并正常运行其次查看是否兼容性问题。
flume概述
Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的source收集，聚合和移动大量日志数据到集中式数据存储。
Apache Flume的使用不仅限于日志数据聚合。由于数据source是可定制的，因此Flume可用于传输大量event 数据，包括但不限于 ...
配置前必看
本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。本帖主要涉及的目录一共有三个，如有需要，在根目录/下创建export目录存放以下三个目录(建议)。(解压目录)servers、(软件安装目录)software、(数据/日志目录)data 。本帖基于jdk1.8.0_181、hadoop-2.7.5、mysql-5.7.21配置，因此配置本帖软件请先安装配置好前置软件如若配置中报错，请第一时间查看前置软件是否正确安装配置并正常运行其次查看是否兼容性问题。
安装hive
下载教程hive安装包
Apache镜像站点
将hive上传到Linux目录
然后在hive压缩包的目录下将它解压到 /export/servers1tar -zxvf hive-2.1.0-bin.tar ...
Linux
未读hive在使用的时候会用到mysql数据库的支持，所以在安装hive前必须先安装mysql数据库，由于在安装mysql数据库的时候会使用到yum,所以需要把网络打开，确保可连接互联网。
查看有无安装过mysql1rpm -qa|grep mysql
删除原有的mariadb如果不删除可能安装时报错
1rpm -qa|grep mariadb
1sudo rpm -e --nodeps mariadb-libs
下载并安装mysql可以在https://downloads.mysql.com/archives/community/ 下载
安装mysql服务上传到linux的software的目录下，进行解压
1tar -xvf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar -C /export/software/mysql
安装mysql1234567891011sudo rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpmsudo rpm -ivh mysql-commu ...
