解决DB2接口文件到Oracle无法导入问题的解决历程-mysql教程-PHP中文网

解决DB2接口文件到Oracle无法导入问题的解决历程

php中文网

发布： 2016-06-07 17:35:22

原创

1072人浏览过

从DB2主机往Oracle主机发送接口文件，接口文件的数据总是缺失一部分，导致CRM系统无法看到相应的营销活动。于是你说我没传接口文

前几天触点营销平台出了点问题，请同事帮忙处理，结果两天过去了，还是没定位到问题。
临近春节，还是要把问题解决掉的，今天忙碌了一上午总算解决这个问题
从db2主机往oracle主机发送接口文件，接口文件的数据总是缺失一部分，导致crm系统无法看到相应的营销活动。
于是你说我没传接口文件，我说你没法处理接口文件，其实也很容易处理，关键是一个扯字，呵呵，看下接口文件是否在服务器上以及是否与两端的数据库一致即可。
好不容易厘清了接口文件问题，又扯到接口文件本身内容的问题，从接口机上看到的文件部分内容是乱码，且存在回车换行问题。
又开始了新一轮的测试，其实两端都应该测试接口文件能否正常入库，在db2上测试数据的导出和导入都是正常的，那接口主机上看到的乱码是什么情况呢？估计数行字节太长，导致无法全部展示，所以系统把部分中文字符给分割了，导致看到的文件内容是乱码。
在db2上的测试很简单，导出数据，，加载数据，展示数据即可。
export to u:/iw3001test0001.avl of del modified by coldel0x01 nochardel striplzeros decplusblank
select * from hnwangbq.yingxiaoan;
create table hnwangbq.test
(
sale_act_id varchar(20),
sale_act_name varchar(50),
act_begin_date varchar(20),
act_end_date varchar(20),
data_time varchar(20),
sale_act_script varchar(500),
sms_script varchar(500),
sale_act_type varchar(20)
);
import from u:/iw3001test0001.avl of del modified by coldel0x01 nochardel decplusblank
insert into hnwangbq.test;
select * from hnwangbq.test;
在db2上处理的一切都很正常，接下来测试在oracle上的导入。
没办法只得重新安装了一下oracle和pl/sql developer，创建新表。
create table hnwangbq.test
(
sale_act_id varchar2(20),
sale_act_name varchar2(50),
act_begin_date varchar2(20),
act_end_date varchar2(20),
data_time varchar2(20),
sale_act_script varchar2(500),
sms_script varchar2(500),
sale_act_type varchar2(20)
);
通过pl/sql developer的text importer进行导入测试，发现报错是字段行太短，接下来继续查看发现oracle把几条记录给合并到一条记录中了
为什么出现这种情况呢，发现行中存在"双引号情况，oracle把"双引号作为列的quote character，所以把两个"双引号中的内容作为一个字段了
于是通过replace函数把"双引号改为'单引号，再次测试，搞定
不过在生产环境的测试又出现问题了，还是出现错误，经过阅读shell脚本发现oracle是通过sqlldr进行接口文件加载的，我也通过sqlldr进行了测试，控制文件如下：
load data
infile 'd:\iw3001test0001.avl'
replace into table test
fields terminated by x'01' optionally enclosed by '"'
trailing nullcols
(sale_act_id ,
sale_act_name ,
act_begin_date ,
act_end_date ,
data_time ,
sale_act_script ,
sms_script ,
sale_act_type
)
发现也是报错误，错误的原因在加载日志中，错误信息如下：
记录 1: 被拒绝 - 表 test 的列 sale_act_script 出现错误。
数据文件的字段超出最大长度
记录 3: 被拒绝 - 表 test 的列 sms_script 出现错误。
数据文件的字段超出最大长度
记录 8: 被拒绝 - 表 test 的列 sms_script 出现错误。
数据文件的字段超出最大长度
记录 11: 被拒绝 - 表 test 的列 sms_script 出现错误。
。。。
记录 42: 被拒绝 - 表 test 的列 sms_script 出现错误。
数据文件的字段超出最大长度
表 test:
27 行加载成功。
由于数据错误, 15 行没有加载。
由于所有 when 子句失败, 0 行没有加载。
由于所有字段都为空的, 0 行没有加载。
通过百度搜索了一下，发现其他人也有同样的问题，问题的原因在oracle的sqlldr在缺省的情况下对字符串的处理是char(255)，而部分字段的列显然超过了255个字节，于是修改了一下控制文件。
load data
infile 'd:\iw3001test0001.avl'
replace into table test
fields terminated by x'01' optionally enclosed by '"'
trailing nullcols
(sale_act_id ,
...
sale_act_script char(2000),
sms_script char(2000),
其实解决方案不外乎两个，一个方法是在数据源侧上进行控制，一个方法是在加载侧进行不停的测试和完善。