Ⅰ kettle集群怎麼配置
集群允許轉換以及轉換中的步驟在多個伺服器上並發執行。在使用kettle集群時,首先需要定義的是Cluster schema。所謂的Cluster schema就是一系列的子伺服器的集合。在一個集群中,它包含一個主伺服器(Master)和多個從屬伺服器伺服器(slave)。如下圖所示:
這個轉換雖然定義了集群,但是我們同樣可以讓它在單機環境下執行,而且可以得到相同的結果。這意味著你可以使用普通的本地模式來測試它。
執行轉換
要想以集群方式來運行轉換或者作業,首先需要啟動在Clusterschema中定義的主伺服器和從屬伺服器,然後再運行轉換或者作業。
啟動子伺服器
子伺服器其實是一個嵌入式的名為 Carte 的 小web server。要進行集群轉換,首先需要啟動cluster schema中的子伺服器
腳本啟動
kettle 提供了 carte.bat 和 carte.sh ( inux )批處理腳本來啟動子伺服器,這種啟動方式分為兩種
使用主機號和埠號
Carte 127.0.0.1 8080
Carte 192.168.1.221 8081
使用配置文件
Carte /foo/bar/carte-config.xml
Carte url
Ⅱ kettle做集群時主伺服器創建的的埠號怎麼打不開
集群允許轉換及轉換步驟伺服器並發執行使用kettle集群首先需要定義Cluster schema所謂Cluster schema系列伺服器集合集群包含主伺服器(Master)屬伺服器伺服器(slave)圖所示:
伺服器(Slave servers)允許遠程伺服器執行轉換建立伺服器需要遠程伺服器建立叫做Carte web 伺服器該伺服器Spoon(遠程或者集群執行)或者轉換任務接受輸入
描述我提伺服器則包括集群主伺服器屬伺服器;否則我主伺服器屬伺服器進行特別指定
注意: 集群環境執行轉化必須伺服器作主伺服器(master server)其餘所伺服器都作屬伺服器(slave server)
代理伺服器主機名 設置要通代理進行連接主機名
代理伺服器埠 設置與代理進行連接所需埠號
Ignore proxy for hosts: regexp|separated 指定哪些伺服器需要通代理進行連接該選項支持使用則表達式制定伺服器伺服器間' | ' 字元進行割
創建cluster schema
定義轉換
定義完 cluster schema 步定義集群環境執行轉換我展現簡單例完全演示用現實情況集群能非復雜
首先像平創建轉換hop連接連兩步驟指定第二步驟集群執行
Ⅲ kettle mysql連接出錯
這個問題,我碰到過!
1、將對應的mysql驅動包(mysql-connector-java-5.1.15-bin.jar)放到下kettle的目錄:
data-integrationlibextJDBC下。
2、如果第1步正常,你可以打開MYSQL遠程管理許可權
GRANT ALL PRIVILEGES ON *.* TO ' 用戶名'@'%' identified by '密碼 ';
@後面這樣的嗎 192.168.1.%
【希望可以幫到你】
Ⅳ 邊界伺服器上用spoon鏈接oracle資料庫,報The Network Adapter could not establish the connection錯誤
請按如過程檢查:
1 伺服器,可否正常登錄資料庫並查詢數據sqlplus
2 伺服器上 用sqlplus user/pwd@orcl 的方式能否登錄?
3 伺服器的防火牆是否開著,是否沒有為oracle調整過
4 客戶端用oracle sql developer 連接時,地址,埠,資料庫實例名,用戶名,密碼,是否都正確?
5 對於使用oci連接(pl/sql developer、toad等)的客戶端,本地網路服務名 (tnsnames.ora中的配置內容)配置的內容是否正確
Ⅳ kettle如何連接Firebird資料庫
firebird比支持跨資料庫操作的:
如果你只是要a庫中的小部分數據的話可以用客戶端工具導出腳本,然後在導入b庫;
如果你的b庫是空庫的話,可以直接復制數據文件,然後改個名字就可以了;
firebird整天的性能還是可以的,就是可視化的客戶端工具太少了,如果你有興趣可以使用命令行工具gbak,nbakup工具都可以把數據備份出來。
Ⅵ 如何使用kettle連接hive和hive2
連接hive的方法:
進入hive所在的伺服器,輸入:hive --service hiveserver(目的:啟動thrift)
打開kettle配置連接界面,輸入hive所在伺服器的ip、所需要的hive庫、埠號(thrift默認埠為:10000)
測試連接,即可
連接hive2的方法:
[plain] view plain
Error connecting to database [Hive] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occured while trying to connect to the database
Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)
Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
org.pentaho.di.core.exception.KettleDatabaseException:
Error occured while trying to connect to the database
Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)
Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
at org.pentaho.di.core.database.Database.normalConnect(Database.java:428)
at org.pentaho.di.core.database.Database.connect(Database.java:361)
at org.pentaho.di.core.database.Database.connect(Database.java:314)
at org.pentaho.di.core.database.Database.connect(Database.java:302)
at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80)
at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2685)
at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.test(DatabaseDialog.java:109)
at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2.test(CreateDatabaseWizardPage2.java:157)
at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2$3.widgetSelected(CreateDatabaseWizardPage2.java:147)
at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.eclipse.jface.window.Window.runEventLoop(Window.java:820)
at org.eclipse.jface.window.Window.open(Window.java:796)
at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizard.createAndRunDatabaseWizard(CreateDatabaseWizard.java:111)
at org.pentaho.di.ui.spoon.Spoon.createDatabaseWizard(Spoon.java:7457)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141)
at org.pentaho.ui.xul.jface.tags.JfaceMenuitem.access$100(JfaceMenuitem.java:43)
at org.pentaho.ui.xul.jface.tags.JfaceMenuitem$1.run(JfaceMenuitem.java:106)
at org.eclipse.jface.action.Action.runWithEvent(Action.java:498)
at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:545)
at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:490)
at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:402)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1297)
at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7801)
at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9130)
at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:638)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.pentaho.commons.launcher.Launcher.main(Launcher.java:151)
Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)
Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:573)
at org.pentaho.di.core.database.Database.normalConnect(Database.java:410)
... 43 more
Caused by: java.sql.SQLException: Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:107)
at org.apache.hive.jdbc.HiveDriver.callWithActiveDriver(HiveDriver.java:121)
at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:132)
at java.sql.DriverManager.getConnection(Unknown Source)
at java.sql.DriverManager.getConnection(Unknown Source)
at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:555)
... 44 more
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:105)
... 49 more
Caused by: java.lang.RuntimeException: Unable to load JDBC driver of type: hive2
at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:108)
... 54 more
Caused by: java.lang.Exception: JDBC driver of type 'hive2' not supported
at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:104)
... 54 more
上述報錯的解決方法如下:
1.找到%KETTLE_HOME%/plugins/pehtaho-big-data-plugin/plugin.properties文件
2.修改plugin.properties文件中的值:active.hadoop.configuration=hdp13
3.修改後重啟kettle
4.配置完成後,即可連接上對應的庫
如果要使用hadoop-20,則需要添加如下jar包:
hadoop-core-1.2.1.jar
hive-common-0.13.0.jar
hive-jdbc-0.13.0.jar
hive-service-0.13.0.jar
libthrift-0.9.1.jar
slf4j-api-1.7.5.jar
httpclient-4.2.5.jar
httpcore-4.2.5.jar
Ⅶ Kettle spoon 下的ftp功能報錯,大家給看看這該怎麼配置啊
FTPS一般埠是22吧,先測試下是否連接成功 test connection
Ⅷ kettle清除orcl表數據報錯
1、先確定kettle所在機器能夠telent oracle資料庫的1521埠,說明資料庫監聽正常。
2、如果不能正常telnet,則檢查資料庫伺服器監聽。
3、如果監聽可以正常,看看本地tns配置是否正常 。
Ⅸ kettle連接sql server2008報錯。報不存在實例yss_pc,但是啟動SQL Server Management Studio存在實例yss_pc
錯誤說明是說你的鏈接資料庫時報錯啊~
鏈接驅動異常啊~
你最好是先檢查一下你的鏈接語句,在確認你的鏈接埠之類的,在看看數據驅動是否有問題啊
Ⅹ kettle如何連接mongodb
點test時...