行业知识
利用python批量将.shp文件转换坐标生成.geojson文件,再将.geojson转换成.csv文件,最后将csv文件插入数据库表
2026-11-02 13:48:31
来源:互联网转载
第一步:.shp批量转.geojson
# author: JMY# 创建时间: 2024/2/26 17:12# 批量将.shp文件生成geojson文件并转换坐标为3857import osimport geopandas as gpd# 定义输入和输出文件夹路径input_folder = 'shp文件'output_folder = 'geojson文件'# 定义输入和输出坐标系out_proj = 'EPSG:3857'# 获取输入文件夹下所有的 Shapefile 文件shapefiles = [f for f in os.listdir(input_folder) if f.endswith('.shp')]# 循环处理每个 Shapefile 文件for index, shapefile in enumerate(shapefiles): print('转换第%d条数据...' % (index+1)) # 读取 Shapefile 文件 gdf = gpd.read_file(os.path.join(input_folder, shapefile)) # 对几何数据进行坐标系转换 gdf.to_crs(out_proj, inplace=True) # 构造输出文件名,将 '.shp' 替换为 '.geojson' output_file = os.path.splitext(shapefile)[0] + '.geojson' # 保存为 GeoJSON 文件 gdf.to_file(os.path.join(output_folder, output_file), driver='GeoJSON')print('Shapefile 转换为包含 EPSG:3857 坐标系的 GeoJSON 完成!') 第二步:.geojson批量转.csv
# author: JMY# 创建时间: 2024/2/23 15:16# 批量将geojson文件生成csv文件import osimport geopandas as gpdimport json# 定义一个函数,用于从几何信息中提取坐标def extract_coordinates(geom): if geom: return json.dumps(geom.__geo_interface__['coordinates']) else: return None# 输入目录和输出目录路径input_dir = 'geojson文件' # GeoJSON 文件所在目录路径output_dir = 'csv文件' # CSV 文件保存目录路径# 获取输入目录下的所有 GeoJSON 文件名file_names = [f for f in os.listdir(input_dir) if f.endswith('.geojson')]# 初始化ID计数器id_counter = 0for index,file_name in enumerate(file_names): print('插入第%d条数据...' % (index+1)) input_file = os.path.join(input_dir, file_name) # 读取 GeoJSON 数据并创建 GeoDataFrame 对象 data = gpd.read_file(input_file) # 在DataFrame中插入一个自增的'id'列作为第一列,并累加ID计数器 data.insert(0, 'id', range(1 + id_counter, len(data) + id_counter + 1)) data.insert(1, 'cun_id', -1) # 提取 'coordinates' 和 'type' 信息 data['type'] = data['geometry'].apply(lambda geom: geom.geom_type if geom else None) data['coordinates'] = data['geometry'].apply(extract_coordinates) # 删除原始的 'geometry' 列 data = data.drop('geometry', axis=1) # 更新ID计数器 id_counter += len(data) # 将所有字段中的空值设置为 null data = data.fillna(value='null') # 指定输出文件名(与原始文件同名,只改变后缀名) output_file = os.path.splitext(os.path.basename(input_file))[0] + '.csv' output_full_path = os.path.join(output_dir, output_file) # 导出为 CSV 文件 data.to_csv(output_full_path, index=False)print("输出完成......") 第三步:.csv批量插入数据库表
# author: JMY# 创建时间: 2024/2/23 16:35# 多个csv文件导入数据库同一张表中import osimport globimport pandas as pdimport mysql.connector# 建立与MySQL数据库的连接conn = mysql.connector.connect( host='', # 主机ip user='', # 账号 password='', # 密码 database='' # 数据库)# CSV目录路径csv_directory = 'csv文件'# 获取目录中的所有CSV文件csv_files = glob.glob(os.path.join(csv_directory, '*.csv'))# 创建游标对象cursor = conn.cursor()# 循环处理每个CSV文件for index,csv_file in enumerate(csv_files): print('插入第%d条数据...'%(index+1)) # 读取CSV文件 data = pd.read_csv(csv_file, encoding='utf-8') # 根据实际情况指定编码 # 将除了'id'和'cun_id'外的其他字段转换为字符串类型 for column in data.columns: if column not in ['id','cun_id']: data[column] = data[column].astype(str) # 构建SQL插入语句 table_name = 'village_yjjbnt' # 表名 columns = ', '.join(data.columns) values = ', '.join(['%s'] * len(data.columns)) insert_query = f"INSERT INTO {table_name} ({columns}) VALUES ({values})" # 批量插入数据 records = data.values.tolist() cursor.executemany(insert_query, records)# 提交事务conn.commit()# 关闭游标和连接cursor.close()conn.close()print("数据导入mysql成功...") ()()