Datastage: как повысить производительность загрузки данных с сервера oracle на sql

Question

Платформа IBM Datastage 8.1 RHEL4 16G MEM,4CPU16CORE. Когда я пытаюсь создать задание для загрузки данных с Oracle на SQL Server, работа выполняется правильно, но медленно. Количество строк из исходной таблицы в Oracle составляет около 100 000 000, а скорость - всего 620/с.

Как повысить скорость загрузки в этой задаче?

Поток ниже:

oracle EE stage --> odbc stage [config the sqlserver odbc in .odbc.ini] 

ODBC конфигурации:

Driver=/opt/IBM/InformationServer/Server/branded_odbc/lib/VMmsss23.so 
IANAAppCodePage=113 
Description=DataDirect SQL Server Wire Protocol driver 
Database=test 
LogonID=datastage 
Password=datacenter 
Address=127.1.2.3,1433 
QuotedId=No 
AnsiNPW=No 

Answer 1

• Проверьте узкое место:

  1. Скопируйте исходный SQL и запрос в оракула клиент, чтобы посмотреть, как человек y строк он может вернуться.

  2. Вставьте в таблицу целей из небольшого стола, чтобы увидеть, является ли вставка узким местом.

  3. Если 1 и 2 оба не является узким местом, проверьте, если это сложный расчет в вашем трансформаторе

Из моего опыта, это слишком медленно по сравнению с вами аппаратных средств, наиболее вероятным узкое место является исходным SQL, и вы должны изучить его.

Answer 2

Используйте основной драйвер IBM для SQL Server и включите массовую загрузку. Перезапустите работу. Не используйте общий драйвер odbc. Я думаю, что его назвали VMSSQL24.so