Source: https://dev-docs.yueshu.com.cn/v5.3.2/utilities/exchange/config/sources/local/ Documentation version: v5.3.2 # 本地数据源配置 本文介绍从本地数据源导入数据的配置项。关于完整配置文件和配置项的信息,请参见[数据导入配置](https://dev-docs.yueshu.com.cn/v5.3.2/utilities/exchange/config/)。 ## 数据源配置 []() 下表列出了本地数据源特定的配置项: | 选项 | 描述 | 类型 | 是否必选 | 默认值 | `type` | 数据源的类型。设置为`"local"`。 | String | 是 | 无 | `format` | 源数据的文件格式。有效值为`"csv"`、`"json"`、`"orc"`和`"parquet"`。 | String | 否 | `"csv"` | `header` | CSV 文件是否包含表头。仅当`format`设置为`"csv"`时生效。 | Bool | 否 | `false` | `separator` | CSV 文件中使用的分隔符。仅当`format`设置为`"csv"`时生效。 | String | 否 | `","` | `path` | 本地文件系统中源数据的路径。可以通过以下方式指定路径: - 前缀`file://`加上绝对路径,例如`"file:///tmp/person.csv"`。 - 绝对路径,例如`"/tmp/person.csv"`。 - 相对路径(相对于悦数数据迁移 JAR 包所在的目录),例如`"tmp/person.csv"`。 | String | 是 | 无 ## 通用源配置 下列配置项也可以作为全局设置在配置文件的`sourcesCommon`一节指定: - `type` - `format` - `header` - `separator` 请注意,针对特定数据源的配置会覆盖全局设置。 ## 数据源配置示例 本地文件系统源配置 ```` sources: [ { type:"local" format:"csv" header:false separator:"," path: "file:///tmp/movie.csv" // nodetypes: [] // edgetypes: [] } ] ```` ## 完整配置示例 将``替换为登录账号的当前密码。若已修改密码,请使用修改后的密码。 ```` { taskType: import nebula: { graphAddr: "127.0.0.1:9669" graphName: "movie" user: "root" passwd: "" } error: { path: "/tmp/errors" maxRecords: 10000 } checkPoint: { path: "/tmp/checkpoint" resume: false } sourcesCommon:{ type:"local" format: "csv" header:true separator:"," } writeCommon:{ batchSize: 2000 enableRealTimeQPSLog: true mode: "INSERT IGNORE" } sources: [ # node type Actor { path: "/tmp/import_movie/sub_actor.csv" pre_processes: { filter: ["birth_date!='\\N'"] concatConstant: [ { field: "name" prefixValue: "test_" suffixValue: "" } ] } nodetypes: [ { name: "Actor" sourceFields: [people_id,name,birth_date] nebulaFields: [id,name,birthDate] } ] } # node type Movie { path: "/tmp/import_movie/sub_movie.csv" nodetypes: [ { name: "Movie" sourceFields: [movie_id,name] nebulaFields: [id,name] } ] } # edge type Act { path: "/tmp/import_movie/sub_actor_act_movie.csv" edgetypes: [ { name: "Act" sourceKeys: [people_id] nebulaSrcKeys: [id] targetKeys: [movie_id] nebulaDstKeys: [id] sourceFields: [] nebulaFields: [] } ] } ] } ````