nmc_met_io icon indicating copy to clipboard operation
nmc_met_io copied to clipboard

未能直接连接MICAPS4后端的Cassandra数据库

Open longtsing opened this issue 3 years ago • 2 comments

我看源代码是从MICAPS4后端的GDServer下载的数据,不是直连Cassandra数据库的,请问下有直接连接Cassandra数据库的版本的么?

longtsing avatar Feb 02 '22 00:02 longtsing

GDServer与直接读取Cassandra数据库相比有几个不一样的地方;GDServer通过http协议下载数据,再经过protobuf解压缩,后再次用struct或numpy转成所需要的数据格式;Cassandra数据库直接通过python cassandra driver读取数据库后,再用gzip.decompress解压缩,后再次用struct或numpy转成所需要的数据格式。 目前各省局对GDServer做了限制,只能下载三天以内的数据,即使在Cassandra数据库中存在也无法下载,只能通过直接读取Cassandra数据库来解决。 而且业务用的Cassandra内核代码改动过,与通用版本的Cassandra有区别,读取还需要一定的技巧。

longtsing avatar Feb 03 '22 18:02 longtsing

目前还暂不支持直接读取Cassandra数据库,有样例代码吗?如果有,我们可以参照加上。

NMC-DAVE avatar Jun 01 '22 16:06 NMC-DAVE