版本号:均为发文前(2018-04-04)最新版
Hive版本:2.3.2
Hadoop版本:3.0.1
Sqoop1版本:sqoop-1.4.7.bin__hadoop-2.6.0
一.环境变量
/etc/profile /root/.bash_profile
1 | #sqoop |
二.安装配置
1 | #sqoop-env.sh |
三.hive表至mysql表
查看sqoop命令
1 | sqoop help |
列出mysql某数据库下的表
1 | sqoop list-tables --connect jdbc:mysql://host1:3306/demo?characterEncoding=UTF-8 --username root -password root |
若有如下警告
#WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
不指定密码,手动输入
1 | sqoop list-tables --connect jdbc:mysql://host1:3306/demo?characterEncoding=UTF-8 --username root -P |
指定配置文件运行
1 | sqoop --options-file ./demo.conf |
四.脚本执行
sqoop将hive表导出sqoop表,并按日期打印日志
本demo中hive表名:前一天日期_word_count,eg:20180404_word_count
mysql数据库名:wordcount ,表名:wordcount
1 | sqoop-start.sh |
1 | #!/bin/bash |