首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏桥路_大数据

    实时数仓:流式数据建模

    流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的,在实时流式数据处理中也一样。实时建模与离线建模类似,数据模型整体上分为5层(ODS、DWD、DWS、ADS、DIM)。 ? ODS层实时进入的数据,会进行去重、清洗等任务,适度做一些维度退化工作,清洗后的数据会存放到DWD层中,DWD数据明细层的数据会回流到消息队列中,从而实时同步到下游实时任务中,同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中,供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样,分为事实表和维度表。 但在进行指标计算时,事实数据实时进行订阅,使用到的维度表数据不会进行实时更新获取,而使用的是T-2的离线数据。且维度表数据会存储在DIM层中,在计算时进行获取。 这里的计算流向是:Kafka作为ODS层,存储实时数据;实时流计算任务从ODS获取数据进行计算,计算结果作为DWD层数据,写入到Kafka中存储,供下游实时计算,并且为了与离线系统保持一致,也会推送到离线系统中进行存储

    1.9K20发布于 2021-01-06
  • 来自专栏好奇心Log

    GIS专辑 | 数据是GIS的血液

    1.数据是GIS的血液 数据是GIS的血液,为什么这么说呢?GIS作为一种生产工具,没有数据相当于没有材料,更别提产品了,俗话说“巧妇难为无米之炊”,就是这个道理。 导出图纸以后可以使用“硕光PDF转换器”,将其转换成tiff格式图片,然后将图片加载于arcgis中,使用地理配准,将图片配准到合适的位置,然后就是GIS专业第一节课:矢量化栅格图层。

    5.7K00发布于 2020-12-22
  • 来自专栏听雨堂

    Gis链接

    GIS空间站(http://www.gissky.net/bbs/ ) 5. 南大小百合(http://GIS@bbs.nju.edu.cn/) 6. 北大未名(http://GIS.bdwm.net ) 9. IDL世界论坛(Http://www.idlworld.com/forum/wwwroot/dvbbs/index.asp) 10. 『经纬驿站』(http://hellogis.126.com) 11. gis empire(http://www.gisempire.com/bbs/) 12. 中地GIS论坛 http://www.mapgis.com.cn/myforum/main.asp 22. fbId=17 36.GIS与交通论坛: http://www.tranbbs.com/bbs/list.asp?

    3K100发布于 2018-01-23
  • 来自专栏GEE数据专栏,GEE学习专栏,GEE错误集等专栏

    GIS知识简介

    简介 GIS 或地理信息系统是对地理或空间数据的收集、可视化和分析。在本节中,我们将介绍 GIS 应用程序中常用的数据类型。

    72410编辑于 2024-02-02
  • 来自专栏《C++与 AI:个人经验分享合集》

    怎样利用 MATLAB 进行实时系统的建模与仿真?

    要利用MATLAB进行实时系统的建模与仿真,您可以按照以下步骤进行操作: 确定系统的建模方法:根据实际情况,选择适合的建模方法,如:微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码:利用MATLAB的建模工具,编写系统的模型代码。您可以使用ODE函数求解微分方程,使用tf函数创建传递函数模型,使用ss函数创建状态空间模型等。 需要注意的是,MATLAB可以进行离散时间仿真和连续时间仿真,对于实时系统的仿真,通常采用离散时间仿真。在进行离散时间仿真时,需要注意设置适当的采样时间,以保证仿真结果的准确性。

    57810编辑于 2024-12-09
  • 快速开发通用GIS应用SDK,提高GIS开发效率

    怎样快速开发通用GIS应用SDK,提高GIS开发效率在GIS(地理信息系统)开发领域,面对繁多的功能需求和复杂的技术实现,开发人员常常需要花费大量时间和精力去处理重复性的工作。 为了提高GIS项目的开发效率,促进GIS开发的标准化,开发一款通用的GIS应用SDK(软件开发工具包)显得尤为重要。 本文将详细介绍如何快速开发通用GIS应用SDK,并探讨如何利用SDK提高GIS开发效率。 一、明确需求与目标在开发通用GIS应用SDK之前,首先要明确需求和目标。 如何利用SDK提高GIS开发效率1. 减少重复开发:通过使用通用GIS应用SDK,开发者可以避免在多个项目中重复开发相同的功能模块,从而节省大量时间和精力。2. 总之,开发通用GIS应用SDK是提高GIS开发效率和促进GIS开发标准化的重要途径。

    73821编辑于 2024-12-13
  • 来自专栏GEE遥感大数据学习社区

    30 GIS Software Applications

    30 GIS Software Applications [2020Rankings] 什么是GIS软件? GIS软件是用于检查地理模式,趋势和关系的基于计算机的工具。 绘制GIS软件格局 ArcGIS,QGIS,GRASS GIS,SuperGIS,SAGA GIS,JUMP GIS… 那里的GIS软件选项似乎无穷无尽。 不用担心 因为今天,您可以窥见该行业采用的顶级GIS软件包。 从最好到最坏,它们是: 声明:本文仅用于知识传播和学习交流,如有侵权联系删除。图片来源于网络。

    1.6K10编辑于 2022-09-20
  • 来自专栏数字孪生可视化

    GIS数据漫谈(三)

    • 森城市支持不同类型城市数据的插入和自动融合,并提供友好而强大的场景编辑能力和性能处理能力,无需具备GIS建模等专业技能,就可以轻松DIY自己的酷炫城市三维场景。

    2.3K20编辑于 2022-07-12
  • 来自专栏MySQL解决方案工程师

    MySQL的GIS功能

    MySQL的GIS(空间信息系统)功能从8.0开始进行了大幅改进,包括支持空间数据参照系统,空间数据索引等等新功能和新特性。

    3.7K31发布于 2020-09-28
  • 来自专栏代码编写世界

    GIS前沿技术

    无论是初步接触到GIS的学生,还是对GIS已经有一定的了解的从业者,肯定都非常关心两个问题:GIS有没有发展前景,GIS有哪些应用价值? 接下来,让我们具体了解一下这些GIS最新的前沿技术,以及它们的应用场景。这些技术有的是GIS技术本身的延申和发展,有的是GIS与其他领域最前沿技术的结合,它们可能也代表了GIS的发展方向。 1 三维GIS 三维GIS很早就一直GIS行业的热点,随着计算机图形技术、VR/AR技术、测绘技术等各种理论和技术的不断发展,三维GIS取得了长足的进步。 2 数字孪生 数字孪生是用数字化手段创建物理实体的虚拟镜像,并使两者之间保持同步,以实现实时监控、仿真分析和预测预警等功能。 数字孪生要求实现对物理实体高度写实和同步的镜像,传统的应用中往往通过高精度建模来实现,但这样人力成本、时间成层都非常高,往往只能应用于范围较小的场景。

    88310编辑于 2024-12-14
  • 来自专栏LET

    游戏引擎与GIS

    Geospatial Data in Unreal Engine 这个是UE举办的Webinar,只有40分钟,内容主要包括: 概括了UE对GIS数据的理解 这一年在这方面主要做了哪些事情,UE5会在GIS 总结 从Webinar中看到,UE主要还是专注在如何利用GIS的数据,因此资助了很多团队为其开发数据导入的插件,让UE4可以加载主要的GIS数据服务,确保UE平台在渲染和仿真上的优势,并借助VR,AR这些 毕竟,从技术角度,GIS不是UE的核心。 其中,ESRI今年收购了nFrames,具备了城市级别的三维建模能力,加上之前的产品系列,在矢量数据,栅格,点云和3D模型都具备了构建和读取的能力,真的应了那句‘model the world’,这也算是其在领域内的定位 其次,我有时会想GIS技术上的核心是什么,很多核心技术都属于图形学的范畴,目前GIS只是把这些技术应用在地理相关的领域。

    5.9K40发布于 2021-01-05
  • 来自专栏全栈程序员必看

    gis中char是什么字段_gis中字段类型char

    I x 向集合中插入一个字符串 x; Q x 询问一个字符串在集合中出现了多少次。 共有 N 个操作,输入的字符串总长度不超过 105,字符串仅包含小写英文字母。

    2.4K20编辑于 2022-09-22
  • 来自专栏爱编码

    GIS处理工具Geotools

    我家门口的那条河 前 特别提醒:没GIS相关的知识的就不要看了,不想浪费您的时间!! 最近工作上需要用到geotools工具进行开发,发现资料真的少得可怜,可能很少人用吧。

    7.3K30发布于 2019-08-23
  • 来自专栏EpiHub

    GIS 地图shp资源

    介绍 为了方便GIS地图处理,这里有一些指向地理空间数据和其他与GIS相关的东西的重要资源的链接,您可能会觉得有用: leaflet 数据下载 shapefile格式由Esri作为(主要是开放的)规范进行开发和管理 将数据存储为sf和sp软件包格式的.rds文件,Geopackage(.gpkg)格式, GADM maps and data 15994437012223.jpg Reference see GIS

    2.1K20编辑于 2022-10-25
  • 来自专栏跟牛老师一起学WEBGIS

    我的GIS

    所以,也可以说,GIS相关的工作基本上都接触过,此处,总结一下自己的观点。 GIS行业: 在我的意识形态中,还是将GIS划分为了三个部分:GIS和遥感应用、GIS开发、测绘。 1、GIS与遥感应用 遥感作为数据源,以GIS为工具或者手段,为各个行业提供地图制图、分析决策等相关的服务。 2、GIS开发 GIS开发包括桌面端、移动端和web端三个方面。 其中,GIS的分析和计算也会交给云端服务器去处理。 3、服务已经过时,行业解决方案越显重要 以前,认为GIS的核心价值是服务,随着工作的接触,对服务是GIS核心价值的观点越来越淡,作为一个GIS行业的从业者,我们应该深入到行业内部,去了解行业的具体需求 5、效率优先 效率优先体现在:高效、高精度、实时监测、分析能力、高产能等方面。

    2.2K30发布于 2018-10-23
  • 来自专栏DevOps

    GIS:postgresql( posgis)索引操作

    32210编辑于 2024-03-29
  • 来自专栏跟牛老师一起学WEBGIS

    GIS的核心价值——服务

    为什么我认为GIS的核心价值是“服务”,GIS的服务在那些方面有体现,下面就该问题我做一个个人观点的阐述。     我并不是一个和事老,或者是一个两面派,我个人理解,GIS如果少了“Systems”和“ Science”任何一个,GIS的概念就不再完整,系统和科学的关系是相互依赖,相互存在的。 在介绍了GIS的概念之后,具体的来说说GIS的服务在生活中方方面面的体现:1、日常生活。 GIS的应用领域很多,从传统的如军事、政府、教育等到发展中的领域金融服务、交通物流、房地产等再到新型领域SOHO(小型办公)、个人应用与安全等,都是与GIS息息相关的,GIS在中间相当于一个工具,为行业的应用与发展提供了各种的 综上,GIS不论是从门外汉到专业人士,都是在提供着服务,他的侧重点在应用,所以,我个人认为GIS的核心价值在于服务。

    1.9K60发布于 2018-10-23
  • 来自专栏好奇心Log

    GIS数据读取与转换

    GIS数据读取与转换 前面给大家分享了GIS格式总结,今天讲一下GIS数据的读取和转换,主要基于ArcGIS和QGIS这两个用的最广泛的GIS软件平台来讲。 关于GIS数据格式请参阅:史上最全GIS数据格式总结,看完这个应该没啥不认识的了 ArcGIS 在ArcGIS里面数据的读取和转换分为两部分,一部分是可以直接读取和转换的,另一部分是需要借助ArcToolbox

    3.4K20发布于 2021-05-28
  • 来自专栏bit哲学院

    python 各类GIS分析包

    参考链接: Python中的探索性数据分析 文章目录  shapely-开源GIS库Pysal-空间计量库Geopandas-空间数据分析库Arcpy-arcgis python接口Arcgis API for pythonGeoplot-高阶地理数据可视化接口 shapely-开源GIS库  Shapely是在笛卡尔平面对几何对象进行操作和分析的Python工具包。 可用于GIS分析。  官方用户手册中文版用户手册投影操作等查询  Pysal-空间计量库  Pysal是一个面向地理空间数据科学的开源跨平台库,重点是用python编写的地理空间矢量数据。 它支持空间分析高级应用程序的开发,例如  空间簇、热点和异常点的检测从空间数据构建图形地理嵌入网络的空间回归与统计建模空间计量经济学探索性时空数据分析  官方手册中文文档空间计量综述  Geopandas

    3.6K20发布于 2020-12-25
  • 来自专栏python与大数据分析

    关于GIS数据分类方式

    GIS数据有很多种分类方式,按照数据结构可分为矢量数据、栅格数据、DEM数据,还可以再细致的分为数据库格式、点云格式、3D格式,也可以按照各厂家和标准类别来分等等。 笔者也是GIS小白,在这里把收集到的素材略加整理,万一碰到形形色色的GIS文件,不至于显得太意外。 一、栅格数据 栅格数据由像素组成。它们通常间隔规则且呈方形,但不必如此。 GeoTIFF(标签图像文件格式): 具有地理参考的TIFF文件,广泛用于光栅图像和航空摄影,已成为GIS和卫星遥感应用的行业图像标准文件 GeoTIFF主要包括.TIF、.TIFF、.OVR等文件类型

    2K30编辑于 2023-10-06
领券