在數(shù)據(jù)傳輸工具datax中,采用json文件來配置數(shù)據(jù)源和目的地,下面介紹一下json的格式和配置方法。
{ "job": { "setting": { "speed": { "channel": "3" }, "errorLimit": { "record": "0", "percentage": "0.02" } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "", "password": "", "column": [] } }, "writer": { "name": "odpswriter", "parameter": { "accessId":"xx", "accessKey":"xx", "table":"xxx", "partition":"xx" } } } ] } }
上述json代碼為一個簡單的datax任務(wù)配置,其中job為最外層結(jié)構(gòu)體,包含setting和content兩個字段。setting為數(shù)據(jù)傳輸過程的配置,包括通道數(shù)量和錯誤記錄限制;content包含一組reader和writer相互對應(yīng)的配置。最基本的配置是將reader的name和parameter設(shè)置為數(shù)據(jù)源的連接信息,將writer的name和parameter設(shè)置為目標地的連接信息,可以根據(jù)自己的實際情況添加和修改配置。
需要注意的是,json文件的語法細節(jié)和json字符串的編寫規(guī)范會影響datax任務(wù)的運行效果,應(yīng)該選擇符合標準規(guī)范的json文件。