nmc_met_io
nmc_met_io copied to clipboard
未能直接连接MICAPS4后端的Cassandra数据库
我看源代码是从MICAPS4后端的GDServer下载的数据,不是直连Cassandra数据库的,请问下有直接连接Cassandra数据库的版本的么?
GDServer与直接读取Cassandra数据库相比有几个不一样的地方;GDServer通过http协议下载数据,再经过protobuf解压缩,后再次用struct或numpy转成所需要的数据格式;Cassandra数据库直接通过python cassandra driver读取数据库后,再用gzip.decompress解压缩,后再次用struct或numpy转成所需要的数据格式。 目前各省局对GDServer做了限制,只能下载三天以内的数据,即使在Cassandra数据库中存在也无法下载,只能通过直接读取Cassandra数据库来解决。 而且业务用的Cassandra内核代码改动过,与通用版本的Cassandra有区别,读取还需要一定的技巧。
目前还暂不支持直接读取Cassandra数据库,有样例代码吗?如果有,我们可以参照加上。