首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 空间索引技术

    1.核心数学原理1.1核心思想通过对三维空间中的模型、点云、瓦片等数据进行结构化划分与索引编码,建立空间位置与数据的映射关系,快速检索、定位目标数据,降低大规模场景数据的查询与调度开销,核心是“空间分区 =∅(i=j)Q:父节点空间,Q1​−Q4​:4个象限子节点,无重叠、无遗漏终止条件:节点内数据量≤500条,或节点边长≤预设阈值(5-10m)1.2.2八叉树索引(3D场景/模型适配)将三维空间递归划分为 ≤0.1ms;批量更新(1000条)≤100ms空间利用率索引节点空间利用率≥70%,无大量冗余节点3.工程化处理流水线3.1输入要求空间数据:点云(PLY/PCD)、网格模型(OBJ/glTF)、3DTiles ,存储索引结构索引优化:裁剪冗余节点,调整节点划分阈值,提升检索效率与空间利用率检索测试:模拟各类空间查询(点查询、范围查询),验证检索效率与准确性动态适配:配置索引动态更新策略,适配数据新增、删除、更新场景 统一坐标的空间数据(点云/网格/瓦片)、场景空间范围、检索需求中间:索引构建日志、MBR坐标表、节点映射表、优化报告输出:空间索引文件(JSON/BIN)、配置文件、检索接口文档坐标:与场景数据一致,右手系

    17410编辑于 2026-05-14
  • 来自专栏全栈程序员必看

    Mongodb地理空间索引

    LBS地理空间索引 关于LBS相关项目,一般存储每一个地点的经纬度的坐标, 假设要查询附近的场所,则须要建立索引来提升查询效率。 Mongodb专门针对这样的查询建立了地理空间索引。 2d和2dsphere索引。 2. 创建索引 建立places集合,来存放地点, loc字段用来存放地区数据GeoJSON Point。 coordinates: [ -73.88, 40.78 ] }, name: "La Guardia Airport", category : "Airport" } ) 建立索引 还能够建立组合索引。 db.places.ensureIndex( { loc : "2dsphere" , category : -1, name: 1 } ) 3.

    86510编辑于 2022-07-12
  • 来自专栏枕边书

    空间索引 - 各数据库空间索引使用报告

    空间索引 索引我们都用过,它是一种特殊的存储结构,就像图书馆里书的分类存放策略或是现代化图书馆里的图书查询系统,能帮助我们快速找到自己需要的书。 空间索引通过 四叉树、R 树等数据结构,还有 GeoHash 算法将二维数据转化为一维使用普通B树索引 来实现,它们都能实现对空间范围内的快速搜索。 可是,今天的主题不在这里,我们的首要目标是要解决问题,这些空间索引的实现改日专门写文章来实现。本文来说一说现有的数据库中对空间索引的支持情况,希望能帮助跟我一样的 GIS 小白进行技术选型。 而 InnoDB 则在5.7.4 labs版本中才添加对空间索引的支持。 它们都是通过 R 树来实现空间索引。 使用 Mysql 中空间索引使用时要注意: 对空间索引的字段首先要设置为field geometry NOT NULL; 使用建立空间索引 SPATIAL KEY `idx_fld` (`geom`)来创建一列空间索引

    8.7K81发布于 2018-01-04
  • 来自专栏全栈程序员必看

    oracle删除索引释放空间,oracle 索引迁移,释放磁盘空间

    1.查看索引空间 具有那些数据文件 select file_id,file_name,tablespace_name,bytes/1024/1024 M,blocks from dba_data_files 179200 63 D:\ORACLE\ORADATA\INNETDB\USERINDEX12.DBF USERINDEX 1400 179200 2.创建新的索引空间 ,(除去clob类型的索引,clob索引存放在user表空间) (分区索引存放在dba_segments表里,普通索引信息放在dba_indexes表里) SELECT ‘alter index gbos USERINDEX空间迁移到INDEXTBS空间。 5.将索引空间数据文件脱机(非归档模式下 需要drop) alter database datafile ‘D:\ORACLE\ORADATA\INNETDB\USERINDEX01.DBF’ offline

    2.5K10编辑于 2022-10-03
  • 来自专栏Java架构师必看

    mysql 空间索引 性能_mysql数据可用空间

    今天说一说mysql 空间索引 性能_mysql数据可用空间,希望能够帮助大家进步!!! Mysql的空间扩展主要提供一下几个方面的功能: 表示空间数值的数据类型 操作空间数值的函数 空间索引,用于提供访问空间列的速度 其中前两点对InnoDB,MyISAM,NDB,ARCHIVE等mysql 创建空间列以及空间索引的语句如下: CREATE TABLE geom (g GEOMETRY NOT NULL SRID 4326, SPATIAL INDEX(g)); Mysql空间数据类型 Mysql 建立空间索引需要对应列NOT NULL且有具体的SRID,没有SRID属性的列称为非SRID约束,会接收任何SRID坐标系的值,但是优化器不能再这样没有SRID的列上使用空间索引 空间索引只能建立在空间数据类型上 如果在不支持空间索引的存储引擎中对非空间列建立索引,则会建立B树索引,可以用于精确查找空间位置,但是不能范围查找(把空间数据列当成字符串去建立索引)

    3.4K10编辑于 2022-08-18
  • 来自专栏mythsman的个人博客

    GeoHash空间索引算法简述

    背景 在空间索引类问题当中,一个最普遍而又最重要的问题是:”给定你某个点的坐标,你如何能够在海量的数据点中找到他所在的区域以及最靠近他的点”? (如果是直接用数据库索引的话,由于数据库通常是B树索引和Hash索引,因此查找效率并没有提高。) 通常情况下我们会用R树、Kd树或者是四叉树之类的数据结构来存储这些点从而高效的做到临近点的查找。 但是这些数据结构通常都会存在数据冗余,以及不稳定的查改效率;况且抛开他们的时间效率、空间效率以及算法复杂度不谈,用了这些数据结构也就意味这我们放弃了使用现成强大的数据库而自己编写数据查改系统,这显然是繁琐而又没有必要的过程 只是后来被广泛的应用到空间检索方面、尤其是之前提到的POI查询中。这个服务一直在http://geohash.org上,上面还有一些具体的介绍。 GeoHash可以与当前的任何一种数据库管理系统结合使用,不仅可以享受数据库的优化,而且还可以利用NoSQL数据库非常轻松的实现分布式存储和查找;R树则一般是在内存中进行查找,虽然现今大多数数据库也有空间索引的引擎

    1.4K30编辑于 2022-11-14
  • 来自专栏仙士可博客

    空间索引-geohash算法实现

    算法简介 geohash是实现空间索引的一种算法,其他实现空间索引的算法有:R树和其变种GIST树、四叉树、网格索引等 算法基本原理 geohash算法将地球理解为一个二维平面,将平面递归分解成更小的子块 当需要查询附近某个区域块点时,只需要,就可以查出该区域块所有数据 select * from dm_gps where geohash like "wskme%" (记得加索引) 用法补充: 当碰到需要渲染一整个地图

    2.3K20发布于 2019-12-18
  • 来自专栏站长的编程笔记

    MySQL 哈希索引空间数据索引、全文索引

    本小节重点介绍哈希索引空间数据索引、全文索引。 1.哈希索引 哈希索引基于哈希表实现,仅支持精确匹配索引所有列的查询。对于每行数据,存储引擎都会对所有的索引列计算出一个哈希码。 2.空间数据索引 R-Tree 常见的存储引擎中,MyISAM 存储引擎支持空间索引,主要用作地理数据存储。空间索引会从所有维度来索引数据,查询时,可以使用任意维度来组合查询。 这点和 B-Tree 索引不同,空间索引不需要前缀查询。MySQL 的 GIS 支持其实并不完善,一般情况并不建议在 MySQL 中使用空间索引。 3.全文索引 全文索引查找的是文本中的关键词,并不是直接比较索引中的值,它是一种特殊类型的索引。全文索引和其他索引的匹配方式完全不一样,更类似于搜索引擎,并不是简单的 where 条件匹配。 4.小结 本小节介绍了哈希索引空间数据索引、全文索引这三种索引类型。重点介绍了哈希索引的存储结构、适合哈希索引的查询类型和相关限制。

    1.8K40编辑于 2023-03-08
  • 来自专栏枕边书

    空间索引 - 四叉树

    四元树常应用于二维空间数据的分析与分类。它将数据区分成为四个象限。 分类 四叉树常见的应用有图像处理、空间数据索引、2D中的快速碰撞检测、稀疏数据等,今天我们很纯粹地只介绍它在空间索引方面的应用。 如此,可以保证每个结点内都存储着数据,避免了内存空间的浪费。 以下是一个非满点四叉树的实现: 附上 GitHub 仓库地址:枕边书-空间索引 代码实现 首先是数据结构的定义: 树结点: struct QuadTreeNode { int depth; // 看过我上一篇空间索引(详见:空间索引 - GeoHash算法及其实现优化)文章的小伙伴可能会说,这不就是 GeoHash 么?

    3.3K100发布于 2018-01-04
  • 来自专栏仙士可博客

    空间索引-geohash编码解码类

    php关键字-trait 下一篇: 空间索引

    1.3K10发布于 2019-12-19
  • 来自专栏renhailab数据分析

    什么是空间索引(Spatial Index)?

    此时空间索引的介入显得尤为重要:它可以将比较次数降至数万次,极大地提升了效率。 空间索引数据结构 常见的空间索引类型有 R 树、Quad 树、以及 Uber 开发的 H3 等。 H3-地球空间索引示意图 空间索引简单来说,就是将地球划分为规则的网格,通过网格编码对位置进行精准的描述。 空间索引的优势 那么,空间索引为什么如此受欢迎?因为它高效、灵活且易于扩展。对于处理大型地理数据集的企业,空间索引带来了全新的解决方案。 空间索引的优点除了速度快、易于储存、更清晰,还更灵活,易于后续分析,可扩展性强。 空间索引对地理分析的影响 空间索引不仅提升了地理数据分析的效率,也改变了我们理解空间的方式。 空间索引在生活中的应用 对大多数人来说,空间索引的概念或许有些陌生,但它已经悄然融入到我们的生活中。

    1.3K10编辑于 2024-10-14
  • 来自专栏程序猿牧场

    玩转mongoDB(七):索引,速度的引领(全文索引、地理空间索引

    本篇博文主要介绍mongoDB中一些常用的特殊索引类型,主要包括:用于简单字符串搜索的全文本索引;用于球体空间(2dsphere)的地理空间索引用于二维平面(2d)的地理空间索引。 全文索引与“普通”的多键索引不同,全文本索引中的字段顺序不重要:每个字段都被同等对待,可以为每个字段指定不同的权重来控制不同字段的相对重要性。 db.news.find({$text:{$search:"flotation"}}) 结果如下图所示:图片二、2dsphere索引 2dsphere索引是mongoDB最常用的地理空间索引之一 : db.mapinfo.ensureIndex({"loc":"2dsphere"}) 地理空间查询的类型有三种:交集(intersection)、包含(within)、接近(nearness) 2d索引也是mongoDB最常用的地理空间索引之一,用于游戏地图。

    1.8K31编辑于 2023-01-17
  • 来自专栏性能与架构

    Mysql 查看表及索引空间大小

    查看数据库占用空间 SELECT CONCAT(ROUND((sum(DATA_LENGTH)+sum(INDEX_LENGTH))/(1024*1024),2),'M') as 'Datebase Size ' FROM information_schema.TABLES where TABLE_SCHEMA='数据库名称'; 查看表占用空间 SELECT CONCAT(ROUND(SUM(DATA_LENGTH 2), ' MB') AS 'Total Table Size' FROM information_schema.TABLES WHERE table_schema LIKE '数据库名称'; 查看索引占用空间 Index Size' FROM information_schema.TABLES WHERE table_schema LIKE '数据库名称'; 查看库中表详细信息 结果包括:表名、记录数、此表占用空间 、此表索引占用空间、此表总占用空间 SELECT CONCAT(table_schema,'.'

    5.3K50发布于 2018-04-02
  • 来自专栏bisal的个人杂货铺

    预估表和索引空间容量的方法

    (文档 ID 1585326.1)》,其中介绍了一些存储过程,可以用来估算表和索引空间,用起来比较方便,所以做一些实验说明下,会有用武之地,当然之前就说过,工具是用来方便执行一些功能,但前提是需要从原理上理解 其次,对于索引空间的预算,使用的是CREATE_INDEX_COST存储过程, ? 其中参数DDL为需要创建的索引,此处为a和b字段建索引,显示使用的字节数为3800000,分配的字节数为6291456, ? 创建实际索引,检索user_segments视图,其占用索引空间容量为6291456,说明上面的存储过程,预计的结果是准确的, ? 总结: 1. 对于表和索引空间的预估,可以使用DBMS_SPACE包的CREATE_TABLE_COST和CREATE_INDEX_COST存储过程,虽然没有看这两个存储过程的实现,但猜测平均行长算法,会根据预计行数

    2.1K50发布于 2019-01-30
  • 来自专栏bisal的个人杂货铺

    对象迁移空间索引状态的影响

    user_indexes中保存两条TBL_ABLE的记录,一条是LOB类型的SYS_IL0000124396C00002$$,一条是主键索引SYS_C0055438,都存储于TEST_TBS表空间。 $$的状态仍是VALID,但主键索引SYS_C0055439的状态变为了UNUSABLE,且两者所处的表空间仍是TEST_TBS。 此时INSERT操作会提示: ORA-01502:索引’SYS_C0055439’或这类索引的分区处于不可用状态 3.移动索引对象 ALTER INDEX SYS_C0055439 REBUILD TABLESPACE USERS; 将主键索引移至USERS表空间,且此时状态是VALID,LOB对象SYS_IL0000124401C00002$$没有改变,状态仍是VALID。 总结: 对于对象移动表空间的操作,要关注索引等附属信息的有效性,对于LOB对象的移动,也可能会导致索引状态的失效。

    82810发布于 2019-01-29
  • 来自专栏枕边书

    空间索引 - GeoHash算法及其实现优化

    前言 上篇博客中提到了空间索引的用途和多种数据库对空间索引的支持情况,那么在应用层以下,好学的小伙伴应该会考虑空间索引的实现原理了。 目前空间索引的实现有 R树和其变种GIST树、四叉树、网格索引等。 网格索引不再多提,使用普通的hash表存储地点和风格之间的映射来实现。 今天要介绍的GeoHash算法实现的空间索引,虽然是以B树实现,但我认为它也借用网格索引的一部分思想。 GeoHash 原理 GeoHash 算法的原理说起来是很简单的,如下图: ? 方法当然有的,我们将二进制GeoHash码直接索引就可以,但很长的索引长度会导致 B树 索引查询效率会迅速下降。 放上GitHub源码地址:空间索引-GeoHash 数据入库: 将经纬度通过 GeoHash 算法获取到二进制 GeoHash 码,并将其转成十进制作为这个点的 score 存入 Redis 的 sorted

    2.5K90发布于 2018-01-04
  • 来自专栏青梅煮码

    网络空间索引擎ZoomEye

    概述 : ZoomEye 是一个跟shodan一样面向网络空间的搜索引擎。 网址::https://www.zoomeye.org/ ZoomEye 支持公网设备指纹检索和 Web 指纹检索。 ZoomEye 使用 Xmap 和 Wmap :两个能获取 Web 服务和公网设备指纹的强大的爬虫引擎定期全网扫描,抓取和索引公网设备指纹。

    3K20编辑于 2023-01-31
  • 来自专栏分享/效率/工具/软件

    geohash之2d 地理空间索引

    个人博客:https://suveng.github.io/blog/​​​​​​​ 2d 地理空间索引 概述 2D地理空间索引可以将文档与二维空间中的位置(例如地图上的点)相关联。 本文档介绍了如何在文档中存储位置数据以及如何创建地理空间索引。有关查询存储在地理空间索引中的数据的信息,请参阅使用2d索引查询地空间。 创建地理空间索引 重要 MongoDB只支持每个集合一个地理空间索引。 要创建地理空间索引,请使用值为2d的ensureIndex方法作为集合的位置字段。 复合地理空间索引 如果只有具有位置数据的字段是第一个字段,则第二个地理空间索引可能是复合的。复合地理空间索引可以构建主要在基于位置的字段上选择的查询,也可以选择第二个条件。 给定点的散列标识符中的“比特”越多,散列可以描述的可能区域越小,地理空间索引的分辨率越高。 地理空间索引和分片 你不能使用地理空间索引作为片键分片集合时。

    3.4K40发布于 2019-09-17
  • 来自专栏JMCui

    MongoDB系列五(地理空间索引与查询).

    Volvo Today, Volvo announced its first electric truck for commercial use, called the Volvo FL electric. It's specifically designed for use in cities, intended for distribution and waste management in urban

    1.1K20发布于 2018-04-19
  • 来自专栏腾讯数据库技术

    InnoDB索引物理空间使用率统计

    为帮助用户解决何时optimize table的烦恼,CDB开发了InnoDB索引物理空间使用率功能。鉴于索引物理空间使用率本质上是指导用户重建表行为的提示数据。 「第二部分 页面使用空间统计方法」 InnoDB中一棵Btree对应一个索引。因此索引空间统计等价于Btree空间统计。下图左侧是一棵Btree树的结果,分为多层,每层的节点通过双向链表相连。 「第三部分 方案讨论」 索引级别和表级别的物理空间使用率统计方法有两种:增量统计方案和全量统计方案。 我们首先讨论增量统计方案:在内存中维护每个表、索引的物理空间使用率整体值。 当有相应页面刷盘时,根据页面的改动情况更新索引级别和表级别的物理空间使用率的值。 这种方案的弊端很明显,如果用户数据量很大,短时间内对所有用户表进行物理空间使用率全量统计将消耗大量IO资源。 找一个地方记录各表、各索引的物理空间使用率整体值。这种方案将带来兼容性问题。

    88462发布于 2020-09-08
领券