我最近开发了一个maven项目,想使用spark读取/写入greenplum的数据,但是由于jdbc的传输速度限制。所以想采用greenplum-spark connect这个连接器。当我使用--jars将项目和这个依赖包一起提交上去的时候出现了jar包冲突 报错:classnotfound。 同时自己搭建了一套开源集群,相同的步骤 spark读取/写入greenplum 并且也使用这个连接器--jars提供第三方依赖包,正常读取数据。 所以我想有没有办法忽略集群中的依赖。只使用fat-jar和--jar提供的
yd_235664071
发表于2024-03-13 14:54:40
2024-03-13 14:54:40
最后回复
113