2000-2020年中国地面气象数据：从NOAA到分省面板

    import os
    import csv
    
    dir = "/.../Data/"
    # isd 文件存储路径
    
    headline = ['year','mon','day','hour','air_temperature','dew_point_temperature',
            'sea_level_pressure','wind_direction','wind_speed','cloud_cover',
            'precipitation_depth_one_hour','precipitation_depth_six_hour','station']
    # 标题行
    
    def transisd2csv(year):
    g = os.walk(dir + "china_isd_lite_%s"%year)
    # 遍历指定年份isd文件夹内所有文件
    isExists = os.path.exists(dir + "Aggregate%s/" % year)
    if not isExists:
        os.makedirs(dir + "Aggregate%s/" % year)
    # 如果没有指定年份 Aggregate 文件夹，则创建一个
    for path, dir_list, file_list in g:
        for file_name in file_list:
            if file_name!=".DS_Store":
                station = file_name.split("-")[0]
                # 从每个 isd 文件名中提取气象站 id
                csvFile = open(dir + "Aggregate%s/r%s.csv" % (year, station[:2]), "a", newline='', encoding='utf-8')
                # 命名一个以气象站id前两位命名的csv文件，如果没有则创建一个，存储到前面创建的 Aggregate 文件夹中
                writer = csv.writer(csvFile)
                writer.writerow(headline)
                # 写入标题行
                f = open(dir + "china_isd_lite_%s/" % year + file_name, "r")
                # 逐个打开指定年份isd文件夹中的每个文件
                for line in f:
                  	# 对于每个打开的 isd 文件，逐行读取数据
                    csvRow = line.split()
                    # 对于每一行，以空格分割，得到该行数据的 list 形式
                    csvRow.append(station)
                    # 每列末尾加上气象站 id
                    writer.writerow(csvRow)
                    # 向之前创建的 csv 文件里写入每行数据
    
    
    for year in range(2000,2021):
    transisd2csv(year)
    print("Year %s completed"%year)

    forvalues i = 2000/2020{
    	* 遍历年份
    	
    	local add= "/.../Data/Aggregate"+"`i'/"
    	cd "`add'"
    	* 切换到指定年份的 Aggregate 文件夹
    
    	* 将之前预处理过的 csv 文件转换成相同命名的 dta 文件
    	local ff : dir . files "*.csv"
    	foreach f of local ff {
    		clear
    		dis "`f'"
    		local filename = substr("`f'",1,ustrrpos("`f'",".")-1)
    		if "`filename'"!=""{
    			dis "`filename'" 
    			import delimited "`f'", delimiter(comma) varnames(1)
    			save "`filename'", replace emptyok
    		}
    	}
    
    	* 合并指定年份所有的 stata 文件
    	use r45,replace
    	local ff : dir . files "*.dta"
    	foreach f of local ff {
    		append using `f'
    	}
    	
    	local saveadd="/.../Data/Aggregate2000-2020/chinaclimate"+"`i'"
    	dis "`saveadd'"
    	
    	* 将指定年份所有的 isd 数据存储到一个 dta 文件里
    	save "`saveadd'", replace emptyok
    }

    forvalues i = 2000/2020{
    	* 遍历每个年份的 isd 数据
    	use chinaclimate`i'
    	drop if year=="year"
    	* 删除多余的标题行
    	replace station=substr(station, 1, 5)
    	* 保留 stationid 的前五位，便于与 linktable 配对
    	sort station
    	merge station using linktable
    	keep if _merge==3
    	drop _merge
    	* 与 linktable 配对，得到每个气象站对应的省份
    
    	rename precipitation_depth_one_hour precipitation_one_hour
    	rename precipitation_depth_six_hour precipitation_six_hour
    
    	sort year mon day station hour
    	local vars air_temperature-precipitation_six_hour
    	destring `vars',replace
    	* 转换为数值型变量
    
    	global vars air_temperature dew_point_temperature sea_level_pressure wind_direction wind_speed cloud_cover precipitation_one_hour precipitation_six_hour
    
    	foreach v of global vars{
    		replace `v'=. if `v'==-9999
    		* 对于每个变量，将值为 -9999 的观测替换为缺失值
    		by year mon day station: egen dayave_`v'=mean(`v')
    		* 对于每个观测站每个日期，求每个变量的日平均
    		drop `v'
    		* 只保留求日平均之后的变量
    	}
    
    	drop hour
    	duplicates drop year mon day station,force
    	* 对于每个观测站的每个日期，保留唯一观测
    	
    	foreach v of global vars{
    		replace dayave_`v'=. if dayave_`v'==-9999
    		* 对于每个日平均变量，将值为 -9999 的观测替换为缺失值
    		bys year province: egen yearave_`v'=mean(dayave_`v')
    		* 对于每个省份每个年份，求每个变量的年平均
    		drop dayave_`v'
    		* 只保留年平均变量
    	}
    
    	keep year province clouday yearave*
    	duplicates drop year province,force
    	* 对于每个观测站每个年份，保留唯一观测
    	save yearclimate`i'
    	* 将省份-年平均 isd 数据存储到相应年份命名的 dta 文件中
    }

    clear
    set obs 0
    save yearclimate2000-2020, emptyok
    local ff : dir . files "*.dta"
    	foreach f of local ff {
    		local tag = (substr("`f'",1,11)=="yearclimate")
    		* 识别出文件夹内所有以 yearclimate 开头的 dta 文件并将其合并到一个 dta 文件里
    			dis `tag'
    			if `tag'==1{
    				append using `f'
    			}
    	}
    save yearclimate2000-2020, replace