”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > 使用 Uber hndexes 和 PostgreSQL 进行栅格分析

使用 Uber hndexes 和 PostgreSQL 进行栅格分析

发布于2024-08-24
浏览:640

嗨,在这篇博客中,我们将讨论如何使用 h3 索引轻松进行栅格分析。

客观的

为了学习,我们将计算出由 ESRI 土地覆盖确定的聚落区域中有多少建筑物。让我们针对矢量和栅格的国家级数据进行目标。

我们先找到数据

下载栅格数据

我已从 Esri Land Cover 下载了定居点区域。

  • https://livingatlas.arcgis.com/landcover/

让我们下载2023年,大小约362MB

Raster Analysis Using Uber hndexes and PostgreSQL

下载尼泊尔 OSM 建筑

来源:http://download.geofabrik.de/asia/nepal.html

wget http://download.geofabrik.de/asia/nepal-latest.osm.pbf

预处理数据

让我们在实际的 h3 单元计算之前对数据进行一些预处理
我们将在这一步中使用 gdal 命令行程序。在你的机器上安装 gdal

转换为云优化的 Geotiff

如果您不知道 cog,请在此处查看:https://www.cogeo.org/

  • 检查gdal_translate是否可用
gdal_translate --version

它应该打印您正在使用的 gdal 版本

  • 将栅格重新投影到 4326

您的栅格可能有不同的源 srs ,相应地更改它

gdalwarp esri-settlement-area-kathmandu-grid.tif esri-landcover-4326.tif -s_srs EPSG:32645 -t_srs EPSG:4326
  • 现在让我们将 tif 转换为云优化的 geotif
gdal_translate -of COG esri-landcover-4326.tif esri-landcover-cog.tif

将重新投影的 tiff 转换为 geotiff 大约需要一分钟

将osm数据插入postgresql表

我们正在使用 osm2pgsql 将 osm 数据插入到我们的表中

osm2pgsql --create nepal-latest.osm.pbf -U postgres

osm2pgsql 总共花费了 274 秒(4m 34​​ 秒)。

如果您有任何使用 ogr2ogr 的文件,您也可以使用 geojson 文件

ogr2ogr -f PostgreSQL  PG:"dbname=postgres user=postgres password=postgres" buildings_polygons_geojson.geojson -nln buildings

ogro2gr 对驱动程序有广泛的支持,因此您可以非常灵活地选择输入内容。输出是 Postgresql 表

计算h3指数

PostgreSQL

安装

pip install pgxnclient cmake
pgxn install h3

在您的数据库中创建扩展

create extension h3;
create extension h3_postgis CASCADE;

现在让我们创建建筑物表

CREATE TABLE buildings (
  id SERIAL PRIMARY KEY,
  osm_id BIGINT,
  building VARCHAR,
  geometry GEOMETRY(Polygon, 4326)
);

向表中插入数据

INSERT INTO buildings (osm_id, building, geometry)
SELECT osm_id, building, way
FROM planet_osm_polygon pop
WHERE building IS NOT NULL;

日志和计时:

Updated Rows    8048542
Query   INSERT INTO buildings (osm_id, building, geometry)
    SELECT osm_id, building, way
    FROM planet_osm_polygon pop
    WHERE building IS NOT NULL
Start time  Mon Aug 12 08:23:30 NPT 2024
Finish time Mon Aug 12 08:24:25 NPT 2024

现在让我们使用 centroid 计算这些建筑物的 h3 索引。这里 8 是我正在研究的 h3 分辨率。在此处了解有关分辨率的更多信息

ALTER TABLE buildings ADD COLUMN h3_index h3index GENERATED ALWAYS AS (h3_lat_lng_to_cell(ST_Centroid(geometry), 8)) STORED;

光栅操作

安装

pip install h3 h3ronpy rasterio asyncio asyncpg aiohttp

确保重新投影的齿轮处于静态/

mv esri-landcover-cog.tif ./static/

运行存储库中提供的脚本以从 raster 创建 h3 像元。我正在按模式方法重新采样:这取决于您拥有的数据类型。对于分类数据模式更适合。在此处了解有关重采样方法的更多信息

python cog2h3.py --cog esri-landcover-cog.tif --table esri_landcover --res 8 --sample_by mode

日志 :

2024-08-12 08:55:27,163 - INFO - Starting processing
2024-08-12 08:55:27,164 - INFO - COG file already exists: static/esri-landcover-cog.tif
2024-08-12 08:55:27,164 - INFO - Processing raster file: static/esri-landcover-cog.tif
2024-08-12 08:55:41,664 - INFO - Determined Min fitting H3 resolution: 13
2024-08-12 08:55:41,664 - INFO - Resampling original raster to : 1406.475763m
2024-08-12 08:55:41,829 - INFO - Resampling Done
2024-08-12 08:55:41,831 - INFO - New Native H3 resolution: 8
2024-08-12 08:55:41,967 - INFO - Converting H3 indices to hex strings
2024-08-12 08:55:42,252 - INFO - Raster calculation done in 15 seconds
2024-08-12 08:55:42,252 - INFO - Creating or replacing table esri_landcover in database
2024-08-12 08:55:46,104 - INFO - Table esri_landcover created or updated successfully in 3.85 seconds.
2024-08-12 08:55:46,155 - INFO - Processing completed

分析

让我们创建一个函数来获取多边形中的 h3_indexes

CREATE OR REPLACE FUNCTION get_h3_indexes(shape geometry, res integer)
  RETURNS h3index[] AS $$
DECLARE
  h3_indexes h3index[];
BEGIN
  SELECT ARRAY(
    SELECT h3_polygon_to_cells(shape, res)
  ) INTO h3_indexes;

  RETURN h3_indexes;
END;
$$ LANGUAGE plpgsql IMMUTABLE;

让我们获取我们感兴趣的区域中被确定为建筑面积的所有建筑物

WITH t1 AS (
  SELECT *
  FROM esri_landcover el
  WHERE h3_ix = ANY (
    get_h3_indexes(
      ST_GeomFromGeoJSON('{
        "coordinates": [
          [
            [83.72922006065477, 28.395029869336483],
            [83.72922006065477, 28.037312312532066],
            [84.2367635433626, 28.037312312532066],
            [84.2367635433626, 28.395029869336483],
            [83.72922006065477, 28.395029869336483]
          ]
        ],
        "type": "Polygon"
      }'), 8
    )
  ) AND cell_value = 7
)
SELECT *
FROM buildings bl
JOIN t1 ON bl.h3_ix = t1.h3_ix;

查询计划:

Raster Analysis Using Uber hndexes and PostgreSQL

如果在建筑物的 h3_ix 列上添加索引,可以进一步增强此功能

create index on buildings(h3_ix);

拍摄计数时:我所在的地区有 24416 座建筑,其建筑等级属于 ESRI

确认

让我们验证输出是否为真:让我们将建筑物获取为 geojson

WITH t1 AS (
  SELECT *
  FROM esri_landcover el
  WHERE h3_ix = ANY (
    get_h3_indexes(
      ST_GeomFromGeoJSON('{
        "coordinates": [
          [
            [83.72922006065477, 28.395029869336483],
            [83.72922006065477, 28.037312312532066],
            [84.2367635433626, 28.037312312532066],
            [84.2367635433626, 28.395029869336483],
            [83.72922006065477, 28.395029869336483]
          ]
        ],
        "type": "Polygon"
      }'), 8
    )
  ) AND cell_value = 7
)
SELECT jsonb_build_object(
  'type', 'FeatureCollection',
  'features', jsonb_agg(ST_AsGeoJSON(bl.*)::jsonb)
)
FROM buildings bl
JOIN t1 ON bl.h3_ix = t1.h3_ix;

我们也获取 h3 细胞

with t1 as (
  SELECT *, h3_cell_to_boundary_geometry(h3_ix)
  FROM esri_landcover el
  WHERE h3_ix = ANY (
    get_h3_indexes(
      ST_GeomFromGeoJSON('{
        "coordinates": [
          [
            [83.72922006065477, 28.395029869336483],
            [83.72922006065477, 28.037312312532066],
            [84.2367635433626, 28.037312312532066],
            [84.2367635433626, 28.395029869336483],
            [83.72922006065477, 28.395029869336483]
          ]
        ],
        "type": "Polygon"
      }'), 8
    )
  ) AND cell_value = 7
)
SELECT jsonb_build_object(
  'type', 'FeatureCollection',
  'features', jsonb_agg(ST_AsGeoJSON(t1.*)::jsonb)
)
FROM t1

Raster Analysis Using Uber hndexes and PostgreSQL

增加 h3 分辨率后可以提高精度,并且还取决于输入和重采样技术

清理

删除我们不需要的表

drop table planet_osm_line;
drop table planet_osm_point;
drop table planet_osm_polygon;
drop table planet_osm_roads;
drop table osm2pgsql_properties;

可选 - 矢量平铺

为了可视化图块,我们可以使用 pg_tileserv 快速构建矢量图块

  • 下载pg_tileserv 从上面提供的链接下载或使用 docker
  • 导出凭证
export DATABASE_URL=postgresql://postgres:postgres@localhost:5432/postgres
  • 授予我们的表选择权限
GRANT SELECT ON buildings to postgres;
GRANT SELECT ON esri_landcover to postgres;
  • 让我们在 h3 索引上创建几何图形以进行可视化(如果您手动从 st_asmvt 构建图块,则可以直接通过查询执行此操作)
ALTER TABLE esri_landcover 
ADD COLUMN geometry geometry(Polygon, 4326) 
GENERATED ALWAYS AS (h3_cell_to_boundary_geometry(h3_ix)) STORED;
  • 在该 h3 geom 上创建索引以有效地可视化它
CREATE INDEX idx_esri_landcover_geometry 
ON esri_landcover 
USING GIST (geometry);
  • 跑步
  ./pg_tileserv

Raster Analysis Using Uber hndexes and PostgreSQL

  • 现在您可以根据图块值或任何您想要的方式可视化这些 MVT 图块,例如:maplibre!您还可以可视化处理结果或与其他数据集结合。 这是我根据 QGIS 中的 cell_value 对 h3 索引进行的可视化 Raster Analysis Using Uber hndexes and PostgreSQL

源代码库:https://github.com/kshitijrajsharma/raster-analysis-using-h3

参考 :

  • https://blog.rustprooflabs.com/2022/04/postgis-h3-intro
  • https://jsonsingh.com/blog/uber-h3/
  • https://h3ronpy.readthedocs.io/en/latest/
版本声明 本文转载于:https://dev.to/krschap/raster-analysis-using-uber-h3-indexes-and-postgresql-57g9?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 增强您的 Web 动画:像专业人士一样优化 requestAnimationFrame
    增强您的 Web 动画:像专业人士一样优化 requestAnimationFrame
    流畅且高性能的动画在现代 Web 应用程序中至关重要。然而,管理不当可能会使浏览器的主线程过载,导致性能不佳和动画卡顿。 requestAnimationFrame (rAF) 是一种浏览器 API,旨在将动画与显示器的刷新率同步,从而确保与 setTimeout 等替代方案相比更流畅的运动。但有效...
    编程 发布于2024-11-06
  • 为什么MySQL服务器在60秒内就消失了?
    为什么MySQL服务器在60秒内就消失了?
    MySQL 服务器已消失 - 恰好在 60 秒内在此场景中,之前成功运行的 MySQL 查询现在遇到了60 秒后超时,显示错误“MySQL 服务器已消失”。即使调整了 wait_timeout 变量,问题仍然存在。分析:超时正好发生在 60 秒,这表明是设置而不是资源限制是原因。直接从 MySQL ...
    编程 发布于2024-11-06
  • 为什么带有“display: block”和“width: auto”的按钮无法拉伸以填充其容器?
    为什么带有“display: block”和“width: auto”的按钮无法拉伸以填充其容器?
    了解具有“display: block”和“width: auto”的按钮的行为当您设置“display: block”时一个按钮,它会调整其布局以占据可用的整个宽度。但是,如果将其与“width: auto”结合使用,则按钮会出现意外行为,并且无法拉伸以填充其容器。此行为源于按钮作为替换元素的基本...
    编程 发布于2024-11-06
  • 为 Bluesky Social 创建机器人
    为 Bluesky Social 创建机器人
    How the bot will work We will develop a bot for the social network Bluesky, we will use Golang for this, this bot will monitor some hashtags ...
    编程 发布于2024-11-06
  • 为什么 PHP 的浮点运算会产生意外的结果?
    为什么 PHP 的浮点运算会产生意外的结果?
    PHP 中的浮点数计算精度:为什么它很棘手以及如何克服它在 PHP 中处理浮点数时,这一点至关重要了解其固有的准确性限制。如代码片段所示:echo("success");} else {echo("error");} 您可能会惊讶地发现,尽管值之间的差异小于 ...
    编程 发布于2024-11-06
  • Python中可以通过变量ID逆向获取对象吗?
    Python中可以通过变量ID逆向获取对象吗?
    从 Python 中的变量 ID 检索对象引用Python 中的 id() 函数返回对象的唯一标识。人们很容易想知道是否可以反转此过程并从其 ID 获取对象。具体来说,我们想要检查取消引用变量的 ID 是否会检索原始对象:dereference(id(a)) == a理解解引用的概念及其在 Pyth...
    编程 发布于2024-11-06
  • Go 的 Defer 关键字如何在函数执行顺序中发挥作用?
    Go 的 Defer 关键字如何在函数执行顺序中发挥作用?
    了解 Go 的 Defer 关键字的功能使用 Go 时,了解 defer 关键字的行为至关重要。该关键字允许开发人员推迟函数的执行,直到周围的函数返回。但是,需要注意的是,函数的值和参数在执行 defer 语句时进行评估。示例:评估 Defer Order为了说明这一点,请考虑以下内容代码:pack...
    编程 发布于2024-11-06
  • WordPress Gutenberg 全局状态管理初学者指南
    WordPress Gutenberg 全局状态管理初学者指南
    构建复杂的 WordPress 块编辑器 (Gutenberg) 应用程序时,有效管理状态变得至关重要。这就是 @wordpress/data 发挥作用的地方。它允许您跨 WordPress 应用程序中的不同块和组件管理和共享全局状态。 如果您不熟悉管理全局状态或使用@wordpress/data,...
    编程 发布于2024-11-06
  • 亚马逊解析简单且完全由您自己完成
    亚马逊解析简单且完全由您自己完成
    I came across a script on the Internet that allows you to parse product cards from Amazon. And I just needed a solution to a problem like that. I wrac...
    编程 发布于2024-11-06
  • React JSX 如何在幕后转换为 JavaScript
    React JSX 如何在幕后转换为 JavaScript
    当您编写 React 时,您会经常看到 JSX – 一种在 JavaScript 代码中看起来像 HTML 的语法。但你有没有想过这段代码在浏览器中是如何运行的? 神奇之处在于:JSX 不是有效的 JavaScript!浏览器无法直接理解它。在幕后,像 Babel 这样的工具介入将 JSX 转换(或...
    编程 发布于2024-11-06
  • 如何通过 CSS 变换实现倾斜:两侧倾斜
    如何通过 CSS 变换实现倾斜:两侧倾斜
    使用 CSS 变换实现倾斜:倾斜两侧提供的图像展示了一种有趣的倾斜效果,该效果使元素的两个角都形成角度。要使用 CSS 转换重新创建此效果,请按照下列步骤操作:应用透视倾斜:要添加透视,请使用以下 CSS 属性:transform: perspective(distance) rotateY(ang...
    编程 发布于2024-11-06
  • Express.js 基础知识:初学者指南 - Node.js 教程系列 - 第 10 部分
    Express.js 基础知识:初学者指南 - Node.js 教程系列 - 第 10 部分
    介绍: 嘿!如果您是 Node.js 新手,您可能听说过 Express.js——一个用于构建 Web 服务器和 API 的轻量级、快速且灵活的框架。在本指南中,我将引导您了解 Express 的基础知识,并向您展示入门是多么容易。 准备好?让我们开始吧! 1.安装...
    编程 发布于2024-11-06
  • Python:未来的语言
    Python:未来的语言
    在不断发展的技术领域,某些编程语言已经占据主导地位,并塑造了我们构建软件和与软件交互的方式。其中,Python 脱颖而出,它不仅获得了巨大的普及,而且还将自己定位为未来技术的关键工具。其简单性、多功能性和强大的库使 Python 成为从 Web 开发到数据科学、人工智能、自动化等各种应用程序的首选语...
    编程 发布于2024-11-06
  • 如何在 PHP 中将 PDF 文件存储为 MySQL BLOB(带有代码示例)?
    如何在 PHP 中将 PDF 文件存储为 MySQL BLOB(带有代码示例)?
    使用 PHP 将 PDF 文件存储为 MySQL BLOB使用 PHP 在 MySQL 中将 PDF 文件存储为 BLOB(二进制大对象)时,建议考虑在数据库中存储二进制数据的潜在缺点。但是,如果您选择这样做,可以采用以下方法:首先,定义一个包含整数 ID 字段和名为 DATA 的 BLOB 列的表...
    编程 发布于2024-11-06
  • 使用 React Router v6 在 React 中实现面包屑
    使用 React Router v6 在 React 中实现面包屑
    面包屑在网页开发中非常重要,因为它们为用户提供了一种方法来跟踪他们在我们网页中的当前位置,并帮助我们的网页导航。 在本指南中,我们将使用 React-router v6 和 Bootstrap 在 React 中实现面包屑。 React-router v6 是 React 和 React Nati...
    编程 发布于2024-11-06

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3