Saturday, January 23, 2010

develop SSIS SSH/SFTP/SCP task

最近我在维护公司的DWH,  DWH数据库用的Oracle, 服务器用的是Linux, ETL用的是DataStage 7.5.3,  DataStage的Job Sequence功能实在不怎么样(和SSIS的control flow实在没法比). 公司也仅仅是是使用了DataStage的Parallel Job来进行数据的ETL, 根本就没有一个Sequence类型Job. 流程控制不得不用Linux Shell来控制. 但Shell 毕竟不像一般的编程语言,  一来不直观, 而来维护成本也高.

因此我有个想法, 开发一套SSIS  Task, 包括SSH, SFTP/SCP, SSH Connection.  如果有了这些Task组件, 那么SSIS Package就能实现了Linux/Unix命令发送/文件获取, 解决了大部分的跨OS交互问题. 也许有点市场, 能挣点小钱.

下面是收集的一些SSIS Sample, 另外意外地发现, 已经有厂家提供类似的组件.

Hello World Task Sample
http://www.codeplex.com/SQLSrvIntegrationSrv/Release/ProjectReleases.aspx?ReleaseId=17648

Enhanced SSIS Execute Package Task

http://ssisexec.codeplex.com/sourcecontrol/changeset/view/46583?projectName=SSISExec

Excel2 Connection Manager
http://ssisctc.codeplex.com/wikipage?title=Excel2%20Connection%20Manager&referringTitle=Home

SQL Server Integration Services Product Samples
http://www.codeplex.com/MSFTISProdSamples

SSIS Community Tasks and Components
http://ssisctc.codeplex.com/

两个提供类似产品的商业厂家
http://www.cozyroc.com/products
http://www.cozyroc.com/ssis/ssh-connection
http://www.cozyroc.com/ssis/ftps-connection
http://www.cozyroc.com/ssis/ssh-execute-task
http://www.cozyroc.com/ssis/scp-task
http://www.cozyroc.com/purchase

http://www.nsoftware.com/ssis/
http://www.nsoftware.com/order/options.aspx?part=EAS3-A

No comments: