Ⅰ kettle集群怎么配置
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示:
这个转换虽然定义了集群,但是我们同样可以让它在单机环境下执行,而且可以得到相同的结果。这意味着你可以使用普通的本地模式来测试它。
执行转换
要想以集群方式来运行转换或者作业,首先需要启动在Clusterschema中定义的主服务器和从属服务器,然后再运行转换或者作业。
启动子服务器
子服务器其实是一个嵌入式的名为 Carte 的 小web server。要进行集群转换,首先需要启动cluster schema中的子服务器
脚本启动
kettle 提供了 carte.bat 和 carte.sh ( inux )批处理脚本来启动子服务器,这种启动方式分为两种
使用主机号和端口号
Carte 127.0.0.1 8080
Carte 192.168.1.221 8081
使用配置文件
Carte /foo/bar/carte-config.xml
Carte url
Ⅱ kettle做集群时主服务器创建的的端口号怎么打不开
集群允许转换及转换步骤服务器并发执行使用kettle集群首先需要定义Cluster schema所谓Cluster schema系列服务器集合集群包含主服务器(Master)属服务器服务器(slave)图所示:
服务器(Slave servers)允许远程服务器执行转换建立服务器需要远程服务器建立叫做Carte web 服务器该服务器Spoon(远程或者集群执行)或者转换任务接受输入
描述我提服务器则包括集群主服务器属服务器;否则我主服务器属服务器进行特别指定
注意: 集群环境执行转化必须服务器作主服务器(master server)其余所服务器都作属服务器(slave server)
代理服务器主机名 设置要通代理进行连接主机名
代理服务器端口 设置与代理进行连接所需端口号
Ignore proxy for hosts: regexp|separated 指定哪些服务器需要通代理进行连接该选项支持使用则表达式制定服务器服务器间' | ' 字符进行割
创建cluster schema
定义转换
定义完 cluster schema 步定义集群环境执行转换我展现简单例完全演示用现实情况集群能非复杂
首先像平创建转换hop连接连两步骤指定第二步骤集群执行
Ⅲ kettle mysql连接出错
这个问题,我碰到过!
1、将对应的mysql驱动包(mysql-connector-java-5.1.15-bin.jar)放到下kettle的目录:
data-integrationlibextJDBC下。
2、如果第1步正常,你可以打开MYSQL远程管理权限
GRANT ALL PRIVILEGES ON *.* TO ' 用户名'@'%' identified by '密码 ';
@后面这样的吗 192.168.1.%
【希望可以帮到你】
Ⅳ 边界服务器上用spoon链接oracle数据库,报The Network Adapter could not establish the connection错误
请按如过程检查:
1 服务器,可否正常登录数据库并查询数据sqlplus
2 服务器上 用sqlplus user/pwd@orcl 的方式能否登录?
3 服务器的防火墙是否开着,是否没有为oracle调整过
4 客户端用oracle sql developer 连接时,地址,端口,数据库实例名,用户名,密码,是否都正确?
5 对于使用oci连接(pl/sql developer、toad等)的客户端,本地网络服务名 (tnsnames.ora中的配置内容)配置的内容是否正确
Ⅳ kettle如何连接Firebird数据库
firebird比支持跨数据库操作的:
如果你只是要a库中的小部分数据的话可以用客户端工具导出脚本,然后在导入b库;
如果你的b库是空库的话,可以直接复制数据文件,然后改个名字就可以了;
firebird整天的性能还是可以的,就是可视化的客户端工具太少了,如果你有兴趣可以使用命令行工具gbak,nbakup工具都可以把数据备份出来。
Ⅵ 如何使用kettle连接hive和hive2
连接hive的方法:
进入hive所在的服务器,输入:hive --service hiveserver(目的:启动thrift)
打开kettle配置连接界面,输入hive所在服务器的ip、所需要的hive库、端口号(thrift默认端口为:10000)
测试连接,即可
连接hive2的方法:
[plain] view plain
Error connecting to database [Hive] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occured while trying to connect to the database
Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)
Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
org.pentaho.di.core.exception.KettleDatabaseException:
Error occured while trying to connect to the database
Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)
Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
at org.pentaho.di.core.database.Database.normalConnect(Database.java:428)
at org.pentaho.di.core.database.Database.connect(Database.java:361)
at org.pentaho.di.core.database.Database.connect(Database.java:314)
at org.pentaho.di.core.database.Database.connect(Database.java:302)
at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80)
at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2685)
at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.test(DatabaseDialog.java:109)
at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2.test(CreateDatabaseWizardPage2.java:157)
at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2$3.widgetSelected(CreateDatabaseWizardPage2.java:147)
at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.eclipse.jface.window.Window.runEventLoop(Window.java:820)
at org.eclipse.jface.window.Window.open(Window.java:796)
at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizard.createAndRunDatabaseWizard(CreateDatabaseWizard.java:111)
at org.pentaho.di.ui.spoon.Spoon.createDatabaseWizard(Spoon.java:7457)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141)
at org.pentaho.ui.xul.jface.tags.JfaceMenuitem.access$100(JfaceMenuitem.java:43)
at org.pentaho.ui.xul.jface.tags.JfaceMenuitem$1.run(JfaceMenuitem.java:106)
at org.eclipse.jface.action.Action.runWithEvent(Action.java:498)
at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:545)
at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:490)
at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:402)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1297)
at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7801)
at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9130)
at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:638)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.pentaho.commons.launcher.Launcher.main(Launcher.java:151)
Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)
Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:573)
at org.pentaho.di.core.database.Database.normalConnect(Database.java:410)
... 43 more
Caused by: java.sql.SQLException: Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration
at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:107)
at org.apache.hive.jdbc.HiveDriver.callWithActiveDriver(HiveDriver.java:121)
at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:132)
at java.sql.DriverManager.getConnection(Unknown Source)
at java.sql.DriverManager.getConnection(Unknown Source)
at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:555)
... 44 more
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:105)
... 49 more
Caused by: java.lang.RuntimeException: Unable to load JDBC driver of type: hive2
at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:108)
... 54 more
Caused by: java.lang.Exception: JDBC driver of type 'hive2' not supported
at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:104)
... 54 more
上述报错的解决方法如下:
1.找到%KETTLE_HOME%/plugins/pehtaho-big-data-plugin/plugin.properties文件
2.修改plugin.properties文件中的值:active.hadoop.configuration=hdp13
3.修改后重启kettle
4.配置完成后,即可连接上对应的库
如果要使用hadoop-20,则需要添加如下jar包:
hadoop-core-1.2.1.jar
hive-common-0.13.0.jar
hive-jdbc-0.13.0.jar
hive-service-0.13.0.jar
libthrift-0.9.1.jar
slf4j-api-1.7.5.jar
httpclient-4.2.5.jar
httpcore-4.2.5.jar
Ⅶ Kettle spoon 下的ftp功能报错,大家给看看这该怎么配置啊
FTPS一般端口是22吧,先测试下是否连接成功 test connection
Ⅷ kettle清除orcl表数据报错
1、先确定kettle所在机器能够telent oracle数据库的1521端口,说明数据库监听正常。
2、如果不能正常telnet,则检查数据库服务器监听。
3、如果监听可以正常,看看本地tns配置是否正常 。
Ⅸ kettle连接sql server2008报错。报不存在实例yss_pc,但是启动SQL Server Management Studio存在实例yss_pc
错误说明是说你的链接数据库时报错啊~
链接驱动异常啊~
你最好是先检查一下你的链接语句,在确认你的链接端口之类的,在看看数据驱动是否有问题啊
Ⅹ kettle如何连接mongodb
点test时...