awesome-public-datasets 实战指南：10 分钟找到一份能用的公开数据集

awesome-public-datasets 实战指南10 分钟找到一份能用的公开数据集【免费下载链接】awesome-public-datasetsA topic-centric list of HQ open datasets.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-public-datasetsawesome-public-datasets 是一份按主题分类整理的高质量公开数据集目录覆盖生物学、金融、气候、政府开放数据等 40 多个领域仓库里还附带了一份泰坦尼克号样例数据。下面讲两件事怎么从目录里挑出靠谱的数据以及拿到数据后怎么跑起来。 这个项目到底是什么把它理解成一册数据集索引书README.rst里每条记录对应一个可获取的开放数据集标注了主题分类、一句话说明并挂了一份元数据描述文件。它不存储数据本身Datasets/目录里的样例除外价值在于帮你把散落各处的数据源聚到一个地方。典型适用场景学 pandas、机器学习缺一份练手数据做项目前找特定主题的数据源天气、股票、地震、政府统计给团队维护一份可持续更新的数据清单目录中每个条目前的状态图标值得一看图标文案含义使用建议I am well数据源近期可正常访问优先选这类条目Please fix me链接可能失效或待修复用之前先手动验证提示挑数据时先按分类 状态双重过滤能省掉大量点开死链的时间。 上手克隆仓库并认识三个文件git clone https://gitcode.com/GitHub_Trending/aw/awesome-public-datasets cd awesome-public-datasets仓库只有三个核心成员README.rst主目录按 Agriculture、Biology、Finance、Government 等主题分节Datasets/随仓库附带的样例数据titanic.csv.zipLICENSEMIT 协议没有安装步骤、没有依赖打开 README 就能开始选货。场景一按主题检索10 分钟定位数据集假设你要做一份城市天气的时间序列分析。打开README.rst直接搜索ClimateWeather分节里面按字母排列着各气象数据源。筛选逻辑就三步找到主题分节用CtrlF搜分类名即可优先看标着 I am well 的条目点条目后的 Meta 链接看元数据确认字段、时间跨度和下载方式其他常见主题与分节对应关系你想做的事去哪个分节找分类/回归练手DataChallenges收录各大 Kaggle 比赛数据金融时间序列Finance如 St Louis Federal 宏观数据库地理空间分析GIS 与 EarthScience政府统计、人口普查Government场景二用自带泰坦尼克号数据跑通第一轮分析仓库里唯一随附的完整数据集是泰坦尼克号样例891 行、12 列字段覆盖乘客舱位、票价、年龄、是否生还等非常适合当第一个练习对象。第一步不落盘直接解压读取import zipfile import pandas as pd with zipfile.ZipFile(Datasets/titanic.csv.zip) as z: df pd.read_csv(z.open(titanic.csv)) print(df.shape) # (891, 12) print(df.isna().sum()) # 各列缺失数量输出会告诉你Age缺 177 个、Cabin缺 687 个、Embarked缺 2 个。这是真实数据的常态不是数据坏了。第二步先做一个最简单的分组统计感受一下数据能说什么# 各舱位等级1 头等 / 3 三等的生存率 print(df.groupby(Pclass)[Survived].mean().round(3))结果大致是一等舱 0.63、二等舱 0.47、三等舱 0.24——舱位与票价对生存率的影响一眼可见。第三步可选补全缺失后训练一个最简单的预测模型from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier df[Age] df[Age].fillna(df[Age].median()) # 中位数填充 X, y df[[Pclass, Age, Fare]], df[Survived] X1, X2, y1, y2 train_test_split(X, y, test_size0.2, random_state7) m DecisionTreeClassifier(max_depth4).fit(X1, y1) print(f测试集准确率: {m.score(X2, y2):.2f}) # 通常约 0.77到这里读数据 → 清洗 → 统计 → 建模的完整链路就走通了。⚠️ 几个容易踩的坑别直接改 README。它由上游元数据仓库自动生成文件开头写明了请勿手动修改想贡献新数据集应提交对应的元数据描述YAML再走审核流程。目录是索引不是数据仓库。除Datasets/里的泰坦尼克号外其余数据都要按条目里的原始地址自行下载且各数据源的许可协议各不相同。注意数据体量。同一分节里既有几 MB 的 CSV也有 TB 级的大对象如 CommonCrawl 网页集动手前先确认规模。FIXME 条目先验证。图标只是社区维护的快照状态使用前的最终确认还得靠你自己打开链接试一次。做完之后可以往哪走把 README 解析成结构化清单分类、名称、链接、状态存进 SQLite做成可查询的本地数据目录挑一个你项目相关的分节对全部 I am well 条目做一轮可达性巡检顺便体验批量请求与结果去重用自己爬取/整理的数据集按项目规范补一份元数据描述并提交让目录多一份可用资源这个项目的价值不在数据本身而在于让数据变得可被找到。下次缺数据时先打开 README 搜一个你感兴趣的主题分类挑一份 well 状态的条目把它读进 DataFrame——剩下的事代码会接住。项目代码与目录遵循 MIT 协议详见 LICENSE每个数据集的版权归各自原作者商用前请以数据源自身的许可条款为准。【免费下载链接】awesome-public-datasetsA topic-centric list of HQ open datasets.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-public-datasets创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考