2017县级shp数据处理实战：坐标系、拓扑检查与Python清洗指南

简介这份2017县级行政区SHP数据来自1100万基础地理数据库以1:100万比例尺呈现全国县级行政边界面向GIS开发者、地理信息专业学生及城乡规划、环保、交通等领域从业者可直接作为基础底图用于地图制图、空间分析与决策支持。压缩包总计7个文件大小约46.33MB涵盖几何主文件.shp、属性表.dbf、坐标系定义.prj及sbn/sbx/shx索引文件xml元数据则记录数据来源与生成信息。其中.prj采用CGS_WGS_1984坐标系兼顾国内定位与全球通用性索引文件可显著提升大数据量下的查询与渲染效率整体结构规范兼容ArcGIS、QGIS、Python GeoPandas等主流工具。目前已有615人学习下载。借助这套数据用户可以快速提取县域边界结合人口、经济、气象等专题信息进行叠加分析也可用于制作专题地图、计算区域面积、进行可达性研究等是教学与实战都很有价值的基础地理资产。1. 1100万基础地理数据库里的县级shp先别急着打开画图先搞清楚这份数据到底能不能用做GIS的人拿到一份“1100万基础地理数据库_2017县级行政区shp文件”时第一反应往往是解压、拖进ArcGIS或QGIS然后对着全国县级边界开始配图。这个习惯在大多数项目里都会翻车你看到的轮廓不一定完整属性表里的代码不一定能对上业务系统更麻烦的是不同来源的县级面数据在省界、海岸线、飞地上经常互相“打架”。我经手的几次项目凡是跳过前置检查直接用的后面都折在边界对不上、代码补不全、面积算不准这些坑里返工成本远超重新找数据。这篇笔记围绕这份数据的实际落地展开2017年的县级行政区划在基础地理数据库里是什么结构、shp文件拿到手先查哪些东西、怎么把面要素清洗成能直接做分析和出图的状态以及我踩过的几个典型坑。适合刚入行的GIS数据处理人员也适合要拿这份数据做统计、制图、选址分析的工程师——我不写教科书式的概念只写你打开软件之前和之后真正要做的动作以及每个动作背后的判断依据。2. 从1100万基础地理数据库到县级面图层数据规格、文件组成与坐标系选型2.1 基础地理数据库的分层逻辑与县级行政区在其中的定位“1100万基础地理数据库”这类成果核心不是一张图而是一个按要素类型分层的集合。常见分层里行政区、居民地、交通、水系、地貌、植被等各占一层县级行政区划属于行政边界层通常以面要素Polygon存储每个要素对应一个县级行政单元。这里要注意这个层在不同批次成果里的精度、时点、作业依据不完全一致2017年这个时点意味着它反映的是那一年全国县级行政区划的法定边界状态不是最新状态。如果你要用它做现状分析就得先确认项目基准年是否和数据时点匹配。拿到“shp文件”之前先有个基本概念Shapefile不是单个文件它至少由三个文件组成。.shp存几何、.shx存几何索引、.dbf存属性缺一个都打不开另外还经常带.prj坐标系信息、.cpg字符编码、.sbn/.sbx空间索引。我和别人交接数据时习惯先看一眼目录里文件后缀是否齐全如果只有.shp和.dbf多半是被人为精简过的版本后续做空间连接、拓扑检查都会碰到莫名其妙的报错。属性表里一般会带有县级行政区代码和名称字段不同批次命名不一样常见的像PAC、CODE、XZQMC、NAME之类。拿到数据第一步不是画图而是打开属性表看字段名和记录数确认是不是全国县级全覆盖还是只覆盖了某个省。曾经有个项目用了这份数据做全国汇总跑完发现总量少了一百多个县排查半天才发现那份shp只切了华中区域属性表里完全没有标识数据范围。2.2 坐标系是第一道分水岭CGCS2000、WGS84与投影坐标的差别县级shp文件在数据库里通常以地理坐标系存储常见的是CGCS2000地理坐标系也有直接给WGS84的版本。这两者在多数应用场景下经纬度数值差异极小但在做长度、面积计算时如果不做投影转换结果会明显偏离实际。比如在北京这个纬度上直接用经纬度算面积误差可能在百分之几到百分之十几对需要精确统计的耕地面积、建设用地规模项目来说这种误差完全不能接受。我的习惯是拿到shp先看.prj文件或者用GIS软件查看图层属性里的坐标系描述。如果显示的是GCS_CGCS2000或GCS_WGS_1984说明是地理坐标系适合做定位展示和空间分析前的过渡不适合直接算面积如果要出图、算面积、做叠加分析就把它投影到对应区域的投影坐标系国内常用Albers等积圆锥投影中央经线按区域选或高斯-克吕格投影按3度带/6度带分带。选哪个取决于你的分析类型算面积用等积投影做小范围高精度制图用高斯投影。这里有个容易忽略的细节很多从网络渠道下载的shp.prj文件内容是错的或缺失的。表现出来就是软件能打开但叠加到别的数据上时位置偏了几公里甚至几十公里。排查方法是随便取一个已知地物的经纬度和在线地图或者权威数据对比对不上就去确认坐标系到底是不是真的CGCS2000。坐标系信息属于数据的基本元数据这一步错了后面所有分析都是白做而且越做越离谱。坐标系类型常见描述用途注意点地理坐标系GCS_CGCS2000 / GCS_WGS_1984数据存储、定位展示不能直接算面积和长度投影坐标系等积Albers / Lambert等积变体面积统计、密度分析中央经线和双标准纬线按区域选择合适的参数投影坐标系等角高斯-克吕格 3度带/6度带高精度制图、工程测量带号选错会导致横向偏移对大多数做县级尺度分析的人来说最稳妥的路径是原始数据保持不动在工程文件里动态设置投影。换坐标系不要直接改写源数据避免破坏原始成果也方便后续回溯对比。3. 用脚本把县级shp跑通数据读取、字段清洗与拓扑自检3.1 用Python快速读取shp并输出结构信息在动手分析之前我习惯先用Python脚本把这份shp的几何类型、要素数量、字段列表、坐标系描述一次性读出来比人工在GIS软件里点来点去快得多也能留下检查记录。这里用geopandas来完成它是目前处理矢量数据最顺手的Python库底层依赖shapely和fiona/pyogrio。import geopandas as gpd # 读取shp文件注意路径不要带中文避免某些环境下编码报错 gdf gpd.read_file(county_2017.shp) # 打印几何类型、要素数量、坐标系描述 print(几何类型, gdf.geom_type.unique()) print(要素数量, len(gdf)) print(坐标系, gdf.crs) # 打印字段名和前5行记录确认字段内容 print(字段列表, gdf.columns.tolist()) print(gdf.head())这段代码里geom_type.unique()会显示所有要素的几何类型正常情况下应该是Polygon或MultiPolygon如果出现LineString或Point说明数据不是纯行政区面可能混入了其他图层内容。len(gdf)就是县级要素总数可以粗略核对是不是覆盖了预期范围。gdf.crs会输出一个类似EPSG:4490的标识这是CGCS2000地理坐标系的常见编码如果输出None说明.prj缺失坐标系需要靠经验去判读。字段列表和head输出能直接看出这份数据的属性结构比如县级代码字段叫什么、名称字段是否存在、是否还有面积字段。顺便说一句某些版本的shp属性表里会带一个_AREA字段这是数据生产时的计算面积只做参考因为它的底图和投影方式未知不要直接拿来做统计口径。3.2 字段标准化行政区代码补零、名称去空格与非法值处理县级行政区代码在业务系统里通常是6位数字但shp属性表里的代码字段可能是字符串、整数或者带小数点的浮点数。最常见的问题是大量代码前导零丢失比如“110101”变成了“110101.0”或者代码短的被存成了整数直接少了前导零。这种情况必须修复否则后面做属性连接时左连接右连接全对不上。import pandas as pd # 把代码字段统一转成6位字符串去掉小数点 gdf[code] gdf[PAC].astype(str).str.split(.).str[0].str.zfill(6) # 名称字段清洗去掉首尾空格和全角空格 gdf[name] gdf[XZQMC].astype(str).str.replace( , ).str.replace( , ) # 找出代码异常的值比如长度不是6位或包含非数字 bad gdf[~gdf[code].str.match(r^\d{6}$)] print(异常记录数, len(bad)) print(bad[[code, name]])astype(str)先把字段强制转成字符串否则整数类型的代码无法做字符串操作。split(.)[0]是为了去掉浮点数的“.0”尾巴。zfill(6)把不足6位的左侧补零。名称字段清洗是因为很多原始数据里带着肉眼看不见的空格直接join或匹配时就会出现“北京市”和“北京市 ”匹配失败的问题。最后的正则匹配是兜底检查把代码异常的记录单列出来逐一处理。这里需要特别说明的是行政区代码在2017年这个时点有它自己的编码规则和现在的代码体系可能不完全一致。比如有些地区在后续年份做了区划调整代码已经失效如果你拿到的业务数据用的是新代码直接关联会大面积失败。处理方式是保留一份代码对照表把2017年代码映射到当前版本这个工作虽然繁琐但躲不掉。3.3 拓扑自检面与面之间的缝隙、重叠和自相交县级shp最大的隐患在几何层面相邻县界之间可能有缝隙也可能有重叠还有可能存在自相交的“折返边”。这些几何问题在视觉上很难发现但做空间分析时会出现面积重复计算或者查不到归属的问题。用geopandas配合shapely做一轮快速自检可以提前暴露大部分问题。from shapely.validation import make_valid # 检查几何是否有效valid统计无效要素 invalid gdf[~gdf[geometry].is_valid] print(无效几何数量, len(invalid)) # 对无效几何尝试修复常见的自相交问题可以用make_valid处理 gdf[geometry] gdf[geometry].map(lambda x: make_valid(x) if not x.is_valid else x) # 检查修复后是否还存在无效要素 print(修复后无效几何数量, len(gdf[~gdf[geometry].is_valid]))is_valid是shapely的几何有效性判断它会检测自相交、环不闭合等基础拓扑错误。make_valid是自动修复函数对自相交和部分无效环能自动拆解或重组。需要注意make_valid对某些“连续重复点导致无效”的情况有效但对“面边界缺失导致绘图错误”这类问题无能为力那种需要回到源头重新获取数据。做完这一步再用一个简单方法检查重叠把这份shp按代码字段合并成一个整体Geometry算一下整体面积和所有要素面积之和的差值。如果面积之和远大于整体面积说明有大量重叠反之如果有明显空隙说明存在缝隙。对县级行政区数据来说微小的缝隙通常可以接受但大面积重叠一定要排查尤其是河流、湖泊周边的县界那是重叠高发区。4. 县级shp数据的6个经典坑与排查记录这一章的每一条都是我从实际项目里总结出来的按“现象→原因→解决”来写。有些问题第一次遇到时根本想不到源头查了半天发现自己被数据的表象误导了。4.1 面要素“缺一块”沿海县的岛屿和飞地凭空消失现象某沿海省份的县级图层沿海县看着轮廓正常但和海岛县重叠的区域总感觉少了什么做面积统计时某县面积比统计年鉴少了一大截。原因这份2017年县级shp中的海岛面要素有时单独存储或者因为数据生产时比例尺精度原因小岛和飞地没有合并进所属县的面要素。还有一种情况是飞地县比如省内的“插花地”在空间上并不和其隶属县相连如果按“县代码连接面要素”的逻辑处理飞地容易被漏掉。解决先做一次“每个县对应多个面片”的检查把同一个县的多个Polygon找出来。用gdf.groupby(code).size()就能看出哪些县有多个要素。对这些县逐一核对岛屿和飞地是否包含在内。如果不包含需要从原始数据库里的“岛屿”图层或“飞地”图层单独提取并合并到所属县。这个操作看起来简单但合并后必须重新做拓扑自检因为手工合并极易产生重叠边。4.2 属性表里全是“北京市”和“北京市 ”不可见字符与编码之谜现象用代码关联业务数据时总有一部分县匹配不上打印出来看两边都一样但用Excel对比时发现某个字段末尾多了个不可见字符。还有一种情况是dbf属性表里中文全是乱码类似“?????”或者乱序字符。原因shp的dbf属性表在写入时用的字符编码不统一常见的有GBK、GB2312和UTF-8。如果.cpg文件缺失或标注错误GIS软件按默认编码解析就会出现乱码。名称字段来自数据生产流程原始输入里夹杂了空格、全角空格甚至制表符都是历史遗留问题。解决先用文本方式读取dbf的编码描述或者直接用支持编码选择的GIS软件打开Python这边用gpd.read_file(..., encodingutf-8)尝试读取乱码就换成encodinggbk。读到正确内容后马上把所有字符串字段做一次strip清洗并重新保存一份干净版本。清洗后还要留意“北京市”和“北京”这种名称不统一的情况光靠清理空格解决不了要建别名映射。4.3 位置偏了几公里坐标系被“无中生有”现象把县级shp和另一份高精度数据叠在一起县界边缘错位2-5公里个别区域偏移更大但单独看shp内部的相对位置又是合理的完全看不出问题。原因数据源头在导出时丢失了.prj文件或者有人用常见坐标系强行赋予了一个“看起来差不多”的描述。2017年县级shp在网络上流通的版本里坐标值可能是经纬度也可能是某种投影坐标的直接落库如果被误标成另一个椭球或另一种投影方式就会整体漂移。解决先从坐标值判断数据形态。如果坐标范围是73-135、18-53附近大概率是经纬度如果是带带号的几百到上千数量级大概率是高斯投影坐标。再取一个你熟知的地标比如某市中心广场在线查看其经纬度与shp里同一地物的坐标对比。偏差很大时尝试用“定义投影”功能重新赋予正确坐标系而不是做动态投影转换。定义错了后面的操作全是错的。4.4 面积算出来比统计年鉴少百分之十几面积字段陷阱现象县面积汇总后和公开统计年鉴对不上少的部分恰好集中在西部地势起伏大的区域。原因常见原因是直接用了属性表里的面积字段而这个字段生产时用了某种特定投影方式或者直接在地理坐标系下用经纬度做了球面面积计算投影方式和数据底图不匹配误差被放大了。起伏大的区域平面面积和地表实际面积本来就有差异。解决不要看属性表里的面积字段自己按统一投影重算。我用Albers等积投影把整个全国数据投影后重算面积和年鉴数字对比误差降到1%以内。重算时要保证所有要素用同一投影不能一个省一个投影再汇总。这里的“统一”是关键不同投影算出的面积数值不可直接相加。# 全国县级数据统一用Albers等积投影重算面积单位平方千米 albers_crs projaea lat_125 lat_247 lat_00 lon_0105 datumCGCS2000 gdf_proj gdf.to_crs(albers_crs) gdf_proj[area_km2] gdf_proj.geometry.area / 1_000_000这段代码里to_crs会把几何从原始坐标系转换到指定的Albers投影坐标系。参数“lat_125lat_247lon_0105”是一套覆盖全国范围的常用参数适合做全国尺度的面积统计。如果你的研究对象是某个省或某个区域标准纬线应根据区域纬度范围调整否则边缘省份的面积误差会变大。4.5 省界两侧的县“互相渗透”相邻县边界不重合现象相邻省份的两个县理论上边界应该共用一条线但实际叠加上去后边界错开了一段距离导致沿线区域出现“你中有我、我中有你”的窄条重叠或者空隙。原因各省的数据生产时采用了不同的遥感底图或者数字化精度县界在省界处没有做统一接边处理。2017年全国数据如果是按省拼接的这种问题几乎必然存在只是严重程度不同。解决对跨省分析来说先接受这个误差然后在做空间操作时统一采用“先融合后处理”的方式。比如要统计某个流域范围内的县先把县级面按流域边界做空间相交相交部分以流域面为基准切割而不是以县界为基准做裁剪。这样即使省界有偏差最终统计结果也不会被边界错位主导。如果必须消除接边缝只能在ArcGIS里用拓扑工具做边匹配Edge Match这个操作对数据量大的图层来说耗时较久且可能引入新的几何变形要谨慎。4.6 打开shp后图形是“满屏乱线”几何单位错乱现象打开shp后图形不是正常的中国地图轮廓而是满屏占据视野的细长线条地图显示完全失真缩放也没用。原因数据在存储时把经纬度当成了平面坐标直接写入或者坐标值本身被整体放大了若干倍例如把度分秒的“度”写成了“分”坐标变成原来的60倍。这类问题几何上不一定报错但显示效果就是一团乱麻。解决先看坐标范围如果范围值异常巨大比如超过几百考虑用ArcGIS的“定义投影”先把坐标系纠正为正确的投影再执行“投影”转换到正确的坐标系。如果是度分秒问题需要用坐标批量计算还原成十进制度。这类数据修复要看具体坐标特征没有通用命令但判断逻辑就是从“坐标值的取值范围是否合理”入手。5. 让这份2017县级shp真正可用做一个干净的“生效版本”经历以上清洗之后我一般会再花半小时把这份shp整理成一个可直接复用的“生效版本”以后任何项目都优先从这个版本复制数据不再碰原始文件。我的做法是把原始shp复制一份放在单独目录文件名加上“_raw_2017”后缀表示永不修改然后新建一个“_clean”版本把所有清洗和修复后的结果写进去。清洗版本里增加三个字段source标记数据来源check_date标记自检日期geom_ok标记几何是否有效。这三个字段对团队协作很重要——别人拿到数据时能一眼看出这份数据经历过什么处理不会重复踩坑。# 写入清洗后的几何和字段另存为一个新shp gdf_clean gdf[[code, name, area_km2, geometry]].copy() gdf_clean[source] 基础地理数据库_2017 gdf_clean[check_date] 2025-01-01 gdf_clean[geom_ok] gdf_clean.geometry.is_valid gdf_clean.to_file(county_2017_clean.shp, encodingutf-8, driverESRI Shapefile)to_file的参数里encodingutf-8保证中文属性能正常被后续读取但要注意有些旧版GIS软件不支持UTF-8编码的dbf如果你要和较老的系统对接可能需要存成encodinggbk。driverESRI Shapefile指定输出格式如果不指定geopandas会根据文件后缀自行推测。做到这一步这份数据已经可以用来做县级尺度的大部分分析了比如人口密度计算、区划对比、地图制图。如果后续要叠加更新的区划调整信息可以以这个版本为底图做局部更新而不是从头再来。我的一个习惯是凡是2017年这类带时点属性的基础数据都会在交付说明里把“数据时点”和“已知边界偏差”写清楚避免一两年后使用者拿着它做现状分析时产生误判。最后说一句处理这类数据最怕的是把数据本身当成“权威答案”。shp只是地表行政区划的一份几何表达精细程度受生产比例尺、底图时相、坐标参考的影响你要做的不是让数据变得完美而是让它在你自己的分析场景中达到“够用、可解释、可回溯”的状态。这句话是我吃了多次亏以后才真正理解的希望帮到你。本文还有配套的精品资源点击获取