Google Datasets Search 数据集搜索 - 找到高质量的数据集，并免费下载使用

站内搜了下，发现上次分享 Google Datasets Search 已是 2018 年，当时刚上线测试，2020 年结束了 BETA 版。现在地址也变了，所以重新写入 Wiki 节点。

Google 数据集搜索 (Dataset Search) 是 Google 推出的一项免费服务，旨在帮助研究人员、数据科学家和其他需要数据的人员更容易地发现和访问公共数据集。 可以把它看作是数据集的 Google 搜索引擎。

产品特点：

• 全面性： 索引了来自各种领域的数据集，包括科学、经济、社会科学等。
• 易用性： 界面简单，使用方便，只需输入关键词即可搜索。
• 信息丰富： 提供数据集的描述信息、来源、格式、更新频率等。
• 免费： 免费使用。
  

工作原理：

Google 数据集搜索通过抓取互联网上符合特定模式的数据集描述页面 (使用 schema.org 词汇表等) 来建立索引。 它不会实际存储数据集本身，而是存储数据集的元数据，例如标题、描述、作者、发布者、格式、许可等。 当用户搜索时，它会返回指向数据集原始来源的链接。

为什么要使用它？

• 节省时间： 不用再在各个网站上大海捞针式地寻找数据集。
• 发现新数据源： 可能会发现之前不知道的、有用的数据集。
• 提高研究效率： 快速找到所需的数据，加速研究进程。
• 促进数据共享： 提高数据集的可见性，促进数据共享和重用。
  

典型用例：寻找气候变化对农业影响的数据集，用于预测玉米产量。

背景：小李是一位农业经济学博士生，他的研究方向是气候变化对农业生产的影响。他想研究气候变化对美国玉米产量的影响，并构建一个预测模型，以便帮助农民更好地应对气候变化带来的挑战。他需要找到足够丰富、质量可靠的数据集，包含历史气候数据和玉米产量数据。

问题：小李需要找到以下数据：

• 历史气候数据： 包括降水量、气温（最高、最低、平均）等，时间跨度最好足够长（例如：30 年以上），覆盖美国主要的玉米产区。
• 玉米产量数据： 美国各地区的玉米产量数据，需要与气候数据的时间和空间范围匹配。
• 其他相关数据： 例如，土地利用类型、施肥量、种植技术等，这些数据可能对玉米产量产生影响。
  

使用 Google 数据集搜索的步骤：

1、明确关键词： 小李首先需要确定搜索的关键词。考虑到他的研究方向，他尝试了以下关键词组合：

• US corn yield （美国玉米产量）
• US climate data （美国气候数据）
• climate change agriculture （气候变化 农业）
• historical weather data corn production （历史天气数据 玉米生产）
  

2、使用 Google 数据集搜索： 小李打开 Google 数据集搜索，并在搜索框中输入不同的关键词组合。

3、筛选和排序结果： Google 数据集搜索返回了大量的搜索结果。小李需要根据以下标准进行筛选和排序：

• 相关性： 数据集是否与玉米产量和气候变化相关？
• 时间跨度： 数据集的时间范围是否足够长？
• 地理范围： 数据集是否覆盖美国主要的玉米产区？
• 数据质量： 数据集是否来自可靠的来源？数据集是否有详细的元数据描述？
• 可用性： 数据集是否可以免费下载？数据集的格式是否易于处理？
  

4、发现有用的数据集： 在筛选过程中，小李发现了一些非常有用的数据集：

• USDA National Agricultural Statistics Service (NASS)： 这个数据集包含美国各州的玉米产量数据，时间跨度长，数据质量高。
• NOAA National Climatic Data Center (NCDC)： 这个数据集包含美国各地的历史气候数据，包括降水量、气温等，时间跨度长，数据质量高。
• Daymet： Daymet是针对北美大陆连续的，每日地表气象参数的计算机模型。该模型在空间上进行了空间显式校准，以产生在日尺度上分辨率为1公里的气象表面。Daymet数据集包含了对小李有用的气象数据。
  

5、访问和下载数据集： 小李点击搜索结果中的链接，访问数据集的原始页面。他仔细阅读数据集的描述文档，了解数据集的详细信息，包括数据的来源、变量的定义、数据的质量等等。确认数据集符合他的需求后，他下载了数据集。

6、数据清洗和整合： 小李将 USDA NASS 的玉米产量数据与 NOAA NCDC 的气候数据进行整合。他使用了 Python 编程语言和 Pandas 库进行数据清洗和处理。他需要确保两个数据集的时间和空间范围一致，并且需要处理缺失值和异常值。

7、构建预测模型： 小李使用处理后的数据，构建了一个预测模型，用于预测气候变化对玉米产量的影响。他使用了机器学习算法，例如线性回归、支持向量机、神经网络等。他通过交叉验证来评估模型的性能。

8、分析和解释结果： 小李对模型的预测结果进行了分析和解释。他发现气候变化对玉米产量产生了显著的影响，例如降水量增加可以提高玉米产量，而气温升高则会降低玉米产量。他将研究结果撰写成论文，并发表在学术期刊上。

结论：通过 Google 数据集搜索，小李成功地找到了所需的数据集，并利用这些数据集构建了一个预测模型，用于预测气候变化对玉米产量的影响。这个模型可以帮助农民更好地了解气候变化带来的挑战，并采取相应的措施来提高玉米产量。

相关参考：
[1] Discovering millions of datasets on the web -Natasha Noy (Research Scientist, Google Research)

感谢分享 不粗的资源