数据工程堆栈-收集、转换和可视化地理空间数据

Question

我正在做一个附带的项目，在那里我收集地理空间数据通过网络报废和从OSM API。我从简单的Java应用程序开始，但是，我想让它成为一个数据流，纯粹是为了学习目的。

不幸的是，我对工具的了解，主要是它们之间的联系，是很低的。

我的目标是什么？

作为最后的结果，我想可视化地图上废弃的地理空间点和连接它们的道路(来自OSM)。

电流：

在独立的Java应用程序中，我正在删除地理空间点的数据。有一个客户端正在使用OSM来获取所需的数据。

我认为可能有用的是：

使用Apache来收集和转换数据。然后以某种方式使用GeoSpark或Geotrellis和齐柏林飞艇来可视化数据。我也在考虑用ES + Kibana来做地理数据，但看起来齐柏林飞艇已经足够了。

我觉得使用Java (然后是Scala )很舒服。

你认为如何？有什么更好的工具可以用吗？我错过什么了吗？

Answer 1

你可以这样做，这样你现在做的事情就更容易了。

对于数据抓取，使用任何让你高兴的东西。在我的例子中，我将使用Uipath或python，这取决于复杂性。但这取决于你，你只是想要一个适合你的格式的数据集。

一旦你有了你的数据，你就想把它可视化。这是一项经典的数据科学任务。我来自python军队，所以我建议去python。如果你对Java很在行，那么这个转变就像切片黄油一样。

有一些好的库对你有很大的帮助。在这里，我建议了一些我在过去使用过的软件包，它们将极大地帮助您。

1. 叶叶
2. 测地线
3. 叶介绍(再一次)

在我的例子中，我可能会坚持使用Foliumm，因为在互联网上有大量的代码可重用，而且这是小菜一碟。

这是我个人对我将要做的事情的看法。可能还有其他工具和语言..。

Answer 2

OpenStreeMap有透视图API来获取这些数据。它们提供了一个由节点、方法和关系组成的特定数据模型，您可以将这些节点、方式和关系转换为点和其他几何图形，以及您习惯于操作的首选数据结构。

如果您想要在python的帮助下这样做，我最近实现了地猎人，它是这个数据模型的解析器，用于geopandas的GeoDataFrame (当今python中最常用的空间数据结构)。然后，您可以导出用于GeoJSON或shapefile的geojson，并通过简单的to_file('points.geojson', driver='GeoJSON')调用导入java应用程序，或者使用to_json()将gdf转储到geojson字符串中。

您还可以将结果放入mongodb中，mongodb与geojson有一个非常好的接口。

这是一个如何使用geohunter在GeoDataFrame中获取OSM数据的示例。

import geohunter
api = geohunter.osm.Eagle()

# Get the city df you want to analyze
city = api.get(bbox='(-8.02, -41.01, -3.0, -33.0)',
               largest_geom=True,
               name='Natal')

# Get some points from the map features available on OSM
poi = api.get(city,
              amenity=['school', 'hospital'],
              highway='primary',
              natural='*')

要知道OSM有哪些映射功能(数据类型)可用，请参阅它们的文档。

地理猎人可能有一些错误来解析某些几何学。如果它发生在你身上，打开一个问题，让我们来讨论它。