帮助文档
专业提供香港服务器、香港云服务器、香港高防服务器租用、香港云主机、台湾服务器、美国服务器、美国云服务器vps租用、韩国高防服务器租用、新加坡服务器、日本服务器租用 一站式全球网络解决方案提供商!专业运营维护IDC数据中心,提供高质量的服务器托管,服务器机房租用,服务器机柜租用,IDC机房机柜租用等服务,稳定、安全、高性能的云端计算服务,实时满足您的多样性业务需求。 香港大带宽稳定可靠,高级工程师提供基于服务器硬件、操作系统、网络、应用环境、安全的免费技术支持。
服务器资讯 / 香港服务器租用 / 香港VPS租用 / 香港云服务器 / 美国服务器租用 / 台湾服务器租用 / 日本服务器租用 / 官方公告 / 帮助文档
【学习记录】服务器上用Python代码下载ERA5 Hourly 数据
发布时间:2024-03-05 16:43:10   分类:帮助文档
【学习记录】服务器上用Python代码下载ERA5 Hourly 数据

一、问题背景
需要下载至少20年的多个变量不同pressure level的ERA5 hourly数据,其中单一变量31层、4个时刻的数据约为245MB,所有数据下下来约有8T。在对比了网上现有的下载ERA5数据的方法考虑到储存问题,决定借助服务器利用python脚本下载数据,将单个变量的每日的结果存成一个文件。
ERA5数据下载(三种方式) - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/611543405Python脚本使用CDSAPI批量下载ERA5气象数据_cdsapi怎么安装_Toblerone_Wind的博客-博客https://blog..net/qq_42276781/article/details/129131784
二、如何下载
1、申请账号
哥白尼数据中心(cds.climate.copernicus.eu/#!/home)有大量的气候数据,其中包括了我们想要的ERA5数据集,想要下载这些数据,首先需要拥有一个账号。
2、利用API下载数据前的准备工作
数据中心出具了官方文档(How to use the CDS API | Copernicus Climate Data Store)教我们怎么使用数据接口下载数据,我需要在服务器上下载,所有主要关注“For linux users”这部分内容。

安装CDS API

在服务器里创建.cdsapirc 文件,  文件中的内容直接复制上图中黑色方框中的内容。图上展示的是未登陆账号时的状态,如果登陆自己的账号会出现个人的uid和api-key信息。下载ERA5的数据需要用户先向数据中心提出申请,将.cdsapirc 文件放在HOME目录下相当于把账号和密码存在了服务器上,方便下数据时使用你的账户。

vim $HOME/.cdsapirc

 安装cdsapi库包

官方给出的利用API下载数据的python代码中用到了cdsapi库,需要我们用pip命令自己安装好。

CDS API访问数据

选择要下载的变量信息(变量名,时间,空间范围),让官方生成API request,然后再在上面修改。
3、修改python代码
我希望将单个变量每一日的数据存成一个文件,勾选时选择了下载specific humidity,所有高度层,2011-01-01,四个时刻的数据。生成的代码中variable、year、month、day,和储存的文件名是需要变化的。利用循环语句,更改这些变量即可。

网上有很多提供代码参考的帖子:
linux系统批量下载ERA5日数据_cds api-博客https://blog..net/LHgwei/article/details/127807676?spm=1001.2014.3001.5502
4、在服务器上跑代码
修改好download.py文件后先在服务器上用python download.py命令进行试运行,等开始下载才说明这个代码改对了。
接着可以将这个代码放在后台运行:

nohup python download.py &



香港云服务器租用推荐
服务器租用资讯
·广东云服务有限公司怎么样
·广东云服务器怎么样
·广东锐讯网络有限公司怎么样
·广东佛山的蜗牛怎么那么大
·广东单位电话主机号怎么填写
·管家婆 花生壳怎么用
·官网域名过期要怎么办
·官网邮箱一般怎么命名
·官网网站被篡改怎么办
服务器租用推荐
·美国服务器租用
·台湾服务器租用
·香港云服务器租用
·香港裸金属服务器
·香港高防服务器租用
·香港服务器租用特价