Overview
大数据处理技术 - sqoop 数据迁移 概述
sqoop 是 apache 旗下一款 Hadoop 和关系数据库服务器之间传送数据 的工具。
导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统；
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等
Sqoop
Apache Sqoop是Hadoop生态的开源数据传输工具，通过JDBC连接关系型数据库（MySQL/Oracle等）与HDFS/Hive/HBase，将命令转化为MapReduce作业实现并行数据迁移。支持全量/增量导入（Append/LastModified模式）、导出及数据压缩，核心功能包括RDBMS到Hadoop数据导入和反向导出，适用于ETL流程与数据仓库构建，兼容Kerberos安全认证
Sqoop 实战及原理
Sqoop部署需依赖Java与Hadoop环境，通过修改配置文件(sqoop-env.sh)指定Hadoop、Hive路径，添加MySQL驱动包实现RDBMS连接。支持从关系数据库导入表数据至HDFS（可指定目录与分隔符），或从HDFS导出数据至MySQL，需手动创建目标表。验证安装可通过sqoop-version命令，核心功能为结构化数据与Hadoop生态的双向迁移。
