【DataX】datax | datax-web | win搭建datax-web环境 | linux环境


一、环境准备
        1、jdk8
        2、maven
        3、mysql7
        4、python3
        5、window10
        6、idea
        7、2345解压（win支持tar.gz解压）
        8、git
二、linux操作步骤
1、准备作业目录

1）命令
mkdir -p /opt/datax
mkdir -p /opt/datax/jsonpath
2）查看python版本
python --version
说明1： python2.X，datax包可以直接用
说明2： python3.X，datax包的datax.py需要更换
说明3： 更换链接
https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3
说明4： datax-web项目里面也有

 
~~

2、下载datax

1）下载
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
2）解压
tar zxvf datax.tar.gz

 
~~

3、datax-web项目部署

1）拉去源码
git clone
说明1： datax-web自己存了一份
2）进入目录并编译打包

cd /opt/gitee/hg-datax-web


mvn clean install
3）进入并解压
cd build/
tar zxvf datax-web-2.1.2.tar.gz
4）进入并解压模块
cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages
tar zxvf datax-admin_2.1.2_1.tar.gz
tar zxvf datax-executor_2.1.2_1.tar.gz
5）启动datax-admin
cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-admin/bin
./datax-admin.sh start
6）启动datax-executor
cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-executor/bin
./datax-executor.sh start
7）查看启动端口
netstat -anp | grep 9527
netstat -anp | grep 40002
说明1： datax-admin默认端口9527，这个端口修改起来比较难受，就没改了
说明2： datax-executor修改了端口，改为了40002
8）修改datax-executor参考

 9）日志文件datax-admin
/opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-admin/bin/console.out
10）日志文件datax-executor
/opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-executor/bin/console.out
说明1： 启动失败了，可以看日志；admin失败可能是数据库连接或者端口占用
说明2： executor失败，可能是admin的端口不对，导致连接失败
说明3： admin正常，但是ip:端口访问404，需要加index.html，也就是: http://ip:port/index.html
11）效果图

 
~~


三、windows操作步骤
1、datax操作步骤

1）下载datax
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2）其他版本：github
https://github.com/alibaba/DataX
3）解压



4）下载python3的datax.py
https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3

5）替换掉datax\bin\*.py

6）删除以下目录下的多余文件
datax\bin\
datax\plugin\reader\
datax\plugin\writer


~~

2、datax-web操作步骤

1）克隆源码
https://github.com/WeiYe-Jing/datax-web.git
2）创建数据库datax_web


3）导入SQL
datax-web\bin\db\datax_web.sql


4）修改datax-admin配置
a> application.yml，修改端口即可

 b> bootstrap.properties，数据库配置


c> 运行DataXAdminApplication即可
运行报错：
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
说明： 忽略即可
5）修改datax-executor

 6）启动DataXExecutorApplication
~~

3、使用

1）访问web
http://127.0.0.1:8001/index.html#/login?redirect=%2Fdashboard
2）默认账号
admin
123456
3）了解页面

~~

 4、docker部署（待验证）

1）拉取镜像
docker pull linshellfeng/datax_web:3.0.1
说明： 3.0.1已经包含了datax，直接配置数据库使用即可
2）创建宿主机目录
mkdir -p /data/datax/datax-admin/conf
3）创建并配置yml（数据库连接）
vi /data/datax/datax-admin/conf/bootstrap.properties
4）docker启动
docker run -d --name datax_web -p 9527:9527 -v /data/datax/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1
~~