部署悦数数据迁移

本文介绍如何下载悦数数据迁移安装包并部署所需的 Spark 环境。以下命令在运行悦数数据迁移的 Linux 机器上执行。

前提条件

• 一台 x86-64 或 ARM64 架构的 Linux 机器。
• 已安装 Java 8，且java和tar命令可用。Java 版本需符合 Spark 2.4.7 的运行要求。

检查 Java 版本：

java -version

确认版本为1.8.x后，继续下面的步骤。

下载安装包

当前版本：5.3.0。下载安装包，或在终端中执行：

curl -fL -o yueshu-graph-exchange-5.3.0.tgz \
  "https://dev-docs.yueshu.com.cn/downloads/exchange/5.3.0/yueshu-graph-exchange-5.3.0.tgz"

安装包包含 x86-64 和 ARM64 的依赖文件。需要检查文件完整性时，下载对应的 SHA-256 校验文件，按校验安装包操作。

步骤

1. 在安装包所在目录解压：

   tar -xzf yueshu-graph-exchange-5.3.0.tgz
   

   解压后的目录包含以下文件：

   yueshu-graph-exchange/
   ├── deploy.sh  # 部署悦数数据迁移和所需依赖的脚本
   ├── start.sh  # 启动悦数数据迁移的脚本   
   ├── stop.sh  # 停止悦数数据迁移的脚本
   ├── import.sh  # 导入数据的脚本
   ├── export.sh  # 导出数据的脚本     
   ├── monitor.sh  # 监控导入导出过程的脚本
   ├── yueshu-exchange-5.3.0.jar # 悦数数据迁移的 JAR 包
   ├── cli-5.3.0.jar # CLI 工具的 JAR 包   
   ├── scala-2.12.11.tgz # Scala 包
   ├── spark-2.4.7-bin-hadoop2.7.tar.gz  # Spark 包
   ├── jdk-8u431-linux-x64.tar.gz # 针对 x64 架构的 JDK 包
   ├── jdk-8u431-linux-aarch64.tar.gz # 针对 ARM 架构的 JDK 包
   ├── README.md  # README 文件
   └── template/  # 适用于不同数据源的配置文件模板
   

2. 进入解压后的目录，使用cli-5.3.0.jar部署 Spark。将示例 IP192.168.8.113替换为当前 Linux 机器的 IP 地址：

   cd yueshu-graph-exchange
   java -jar cli-5.3.0.jar -deploy -i 5 -c 2 -ip 192.168.8.113 -port 1077 -webPort 1088
   

   下表列出了命令行选项：

   选项	别名	描述	是否必需	默认值
   -deploy	-	是否部署 Spark 服务器。	否	无
   -instance	-i	每台机器上的工作实例数量。	否	5
   -cores	-c	每个工作实例的核数。	否	60
   -ip	-	Spark 服务器的本地 IP 地址。如未指定，则自动获取该 IP 地址。	否	无
   -port	-	Spark 服务器的端口。	否	1077
   -webPort	-	Spark 服务器的 Web UI 端口。	否	1088
   -h	-	是否打印帮助信息。	否	无

   若部署成功，会显示以下消息：

   Setup completed successfully!
   

更多信息

• 使用悦数数据迁移导入数据
• 使用悦数数据迁移导出数据