首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏游戏开发之旅

    Unity本地化数据处理

    Unity本地化数据处理 unity开发中,我们经常会遇到一些数据需要暂时保存起来,以便下次程序开始时继续使用,这时我们会用到PlayerPrefs数据处理,这里拿我前面开发登录账号的文章举例子说一下, 那时开发我们用到的是将用户的信息写入文件中进行保存,需要的时候再读取出来,更改的时候也要读取对应的数据,然后再将修改好的数据重新写入文件中,这些操作相当频繁,很消耗性能。

    1.3K50发布于 2019-12-03
  • 来自专栏Spark生态圈

    数据本地化及延迟调度

    前言 Spark数据本地化即移动计算而不是移动数据,而现实又是残酷的,不是想要在数据块的地方计算就有足够的资源提供,为了让task能尽可能的以最优本地化级别(Locality Levels)来启动,Spark ) PROCESS_LOCAL:进程本地化,代码和数据在同一个进程中,也就是在同一个executor中;计算数据的task由executor执行,数据在executor的BlockManager中,性能最好 NODE_LOCAL:节点本地化,代码和数据在同一个节点中;比如说,数据作为一个HDFS block块在节点上,而task在节点上某个executor中运行;或者是数据和task在一个节点上的不同executor 中,数据需要在进程间进行传输 NO_PREF:对于task来说,数据从哪里获取都一样,没有好坏之分,比如说SparkSQL读取MySql中的数据 RACK_LOCAL:机架本地化数据和task在一个机架的两个节点上 ,数据需要通过网络在节点之间进行传输 ANY:数据和task可能在集群中的任何地方,而且不在一个机架中,性能最差 这些Task的本地化级别其实描述的就是计算与数据的位置关系,这个最终的关系是如何产生的呢

    1.5K20发布于 2018-09-04
  • 来自专栏信息无障碍

    无障碍工具本地化安装部署

    无障碍工具部署步骤: 以信息无障碍公共服务平台为例,地址:localhost:8080/index.html 步骤一:将canyou文件夹放到 localhost:8080/ 站点指向的服务器目录下 ( 链接代码如下: 无障碍阅读 测试部署是否成功 alt", "网站logo链接").attr("tabindex", "0"); })(); 选择器(selector)路径定位方法,按浏览器f12 注意选择器以.rrbay_body开头 第一种:纯蓝工具条 script> 或者 <script id="rrbayJs" src="/canyou/js/wza.min.js" referrerpolicy="origin"></script> 第二种:黑白黄工具条 bw" referrerpolicy="origin"></script> 第三种:蓝色工具条(历史版本,停止维护升级) 查看效果,打开 localhost:8080/index5.html , 点击顶部进入无障碍通道

    32300编辑于 2024-10-29
  • 来自专栏架构驿站

    【性能分析】大数据分析工具

    数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。 在大数据和大数据分析,他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。 该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。 “Drill”项目其实也是从谷歌的Dremel项目中获得灵感:该项目帮助谷歌实现海量数据集的分析处理,包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等 BI 平台包含组件和报表,用以分析这些流程的性能。目前,Pentaho的主要组成元素包括报表生成、分析数据挖掘和工作流管理等等。

    1.7K50编辑于 2022-03-25
  • 来自专栏FreeBuf

    Python工具分析风险数据

    小安前言 随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理 数据分析工具介绍 工欲善其事,必先利其器,在此小安向大家介绍一些Python数据分析的“神兵利器“。 Python中著名的数据分析库Panda Pandas库是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建,也是围绕着 Series 和 DataFrame 两个核心数据结构展开的,其中Series 我们有了这些“神兵利器“在手,下面小安将带大家用Python这些工具对蜜罐代理数据作一个走马观花式的分析介绍。 1 引入工具–加载数据分析包 启动IPython notebook,加载运行环境: ? 当然了用Pandas提供的IO工具你也可以将大文件分块读取,再此小安测试了一下性能,完整加载约21530000万条数据也大概只需要90秒左右,性能还是相当不错。

    2.2K90发布于 2018-02-24
  • 来自专栏网罗开发

    数据分析工具篇——数据读写

    数据分析的本质是为了解决问题,以逻辑梳理为主,分析人员会将大部分精力集中在问题拆解、思路透视上面,技术上的消耗总希望越少越好,而且分析的过程往往存在比较频繁的沟通交互,几乎没有时间百度技术细节。 因此,熟练常用技术是良好分析的保障和基础。 笔者认为熟练记忆数据分析各个环节的一到两个技术点,不仅能提高分析效率,而且将精力从技术中释放出来,更快捷高效的完成逻辑与沟通部分。 本文基于数据分析的基本流程,整理了SQL、pandas、pyspark、EXCEL(本文暂不涉及数据建模、分类模拟等算法思路)在分析流程中的组合应用,希望对大家有所助益。 2、分批读取数据: 遇到数据量较大时,我们往往需要分批读取数据,等第一批数据处理完了,再读入下一批数据,python也提供了对应的方法,思路是可行的,但是使用过程中会遇到一些意想不到的问题,例如:数据多批导入过程中 如上即为数据的导入导出方法,笔者在分析过程中,将常用的一些方法整理出来,可能不是最全的,但却是高频使用的,如果有新的方法思路,欢迎大家沟通。

    4K30发布于 2021-04-07
  • 来自专栏ShowMeAI研究中心

    图解数据分析 | 数据分析工具地图

    ,各界也出现了许多好用的功能种类丰富的数据分析工具。 下方是数据分析常用R库: 方向 R库 数据处理 lubridata,dplyr,ply,reshape2,string,formatR,mcmc 统计 方差分析 aov anova 密度分析 density www.bilibili.com/video/BV1uL411s7bt B站视频教程:https://www.bilibili.com/video/BV1Jg411F7cS Microsoft Excel是数据分析中使用最广泛的工具之一 六、Apache Spark 官网:https://spark.apache.org/ 最大的大型数据处理引擎之一,该工具在Hadoop集群中执行应用程序的内存速度快100倍,磁盘速度快10倍,该工具数据管道和机器学习模型开发中也很流行 七、SAS 官网:https://www.sas.com/zh_cn/home.html SAS是用于数据处理和分析的编程语言和环境,该工具易于访问,并且可以分析来自不同来源的数据

    1.4K51编辑于 2022-02-25
  • 来自专栏BI8ESZ

    docker 安装MySQL及数据本地化

    -p 3306:3306 --name mysql57 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7 # 查看运行容器 docker ps 2 . docker安装且数据本地化 # 删除容器 ctrl+p+q # 退出容器 docker stop tempMysql # 停止容器 docker rm tempMysql # 删除容器 # 可选(复制数据进新数据

    98440发布于 2019-10-21
  • 来自专栏cwl_Java

    数据库PostrageSQL-本地化

    本地化 本章从管理员的角度描述可用的本地化特性。PostgreSQL支持两种本地化方法: 利用操作系统的区域(locale)特性,提供对区域相关的排序顺序、数字格式、 翻译过的信息和其它方面。 默认情况下,initdb将会按照它的执行环境的区域设置初始化数据库集簇; 因此如果你的系统已经设置为你的数据库集簇想要使用的区域, 那么你就没有什么可干的。 一些区域分类的值必需在数据库被创建时的就被固定。你可以为不同的数据库使用不同的设置,但是一旦一个数据库被创建,你就不能在数据库上修改这些区域分类的值。 LC_COLLATE和LC_CTYPE设置都是在数据库创建时决定的,并且在除了创建数据库之外的操作中都不能被更改。 那些通过分析错误消息来处理服务器端错误的客户端应用很明显会有问题,因为服务器来的消息可能会是以不同语言表示的。 我们建议这类应用的开发人员改用错误代码机制。

    1.2K10发布于 2020-12-16
  • 来自专栏SAP升级

    技术干货 | SAP数据迁移与脱敏实战:SNP TDO工具如何满足数据本地化合规?

    SNPTDO工具是一款功能强大的SAP数据刷新&脱敏的解决方案,通过SNP安全、高效且灵活的技术方式。将源系统的数据按照客户的希望刷新到目标系统。 可以灵活地实现数据本地化要求,满足跨国企业数据落地当地国家的要求。 价值实现方法论:是否拥有清晰的“价值路线图”工具,能将SAP功能点与具体的业务指标(如停机窗口时间减少、交付周期缩短)改善挂钩,并提供上线后的持续服务? SNP特有的实施工具Kyano平台和专业的实施方法论BLUEFIELDTM帮助企业进行数字化转型,包括包括SAP系统升级、SAP系统拆分、系统上云、SAP数据归档、SAP数据集成等等,该方法论可以大幅缩短项目实施周期和停机时间 SNP多款软件已获得SAP认证,包括专业的系统扫描分析工具CrystalBridgeAnalysisExtractor,用于停用旧系统的精益解决方案KyanoDatafridge和自动化归档历史数据的SNPOutboardERPArchiving

    15410编辑于 2026-02-02
  • 来自专栏ShowMeAI研究中心

    Python数据分析 | 数据分析工具库Pandas介绍

    Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。 Pandas是Python中最常用到的数据操作和分析工具包,它构建在Numpy之上,具备简洁的使用接口和高效的处理效率。 数据科学、机器学习AI应用过程,涉及数据清洗和分析的操作也频繁使用到Pandas。 当我们提到python数据分析的时候,大部分情况下都会使用Pandas进行操作。 成熟的 IO 工具:读取文本文件(CSV 等支持分隔符的文件)、Excel 文件、数据库等来源的数据,利用超快的 HDF5 格式保存 / 加载数据; 时间序列:支持日期范围生成、频率转换、移动窗口统计

    2.1K51编辑于 2022-02-25
  • 来自专栏叕鰦座

    SAP 数据分析工具-1

    数据收集(目前只支持json格式) ? ? 2种方式: API方式:GET/POST获取基础数据 url为服务地址,在服务地址下依次从PLATFORM(平台)/PLATTYPE(分类)/DO_TYPE(活动数据)获取所需的基础数据 RFC方式: 根据约定的sessionid 对应 PLATFORM(平台)/PLATTYPE(分类)/DO_TYPE(活动数据)获取所需的基础数据 ? 存储方式:由一张表实现所有数据类型的加密存储(任意JSON转为内表后存储) ? 程序架构: SAP部分: ? 展示结果: ?

    80130发布于 2021-03-11
  • 来自专栏BI工具

    如何选择数据分析工具

    一个得心应手的数据分析工具,是每一位从业人员做数据分析的利器。 面对浩如烟海的数据,如何选择合适的数据分析工具,成为运营、产品、市场等职能部门人员的一个难题,运用用数据分析工具,企业可以整合多种渠道的数据,快速完成和完善数据分析。那么如何选择数据分析工具呢? 所以,在选择数据分析工具时,最好选择一种详尽、全面的工具分析指标,使结果更具深度,这样才能满足用户的要求,才能借助数据分析工具挖掘出所有数据背后的真正意义。 (4)跨部门合作 对大型企业来说,数据分析工具必须支持跨部门合作才行。数据分析工具在不同的部门有不同的需求和用途。 (5)性价比和维护成本 大多数工具(特别是企业级数据分析工具)在使用之前都需要花费一些费用。所以在选择数据分析工具时,我们需要考虑购买初期的费用和后期的维护费用。

    1.4K1614发布于 2020-10-12
  • 来自专栏AI

    AI大模型本地化部署的工具和框架

    AI大模型本地化部署涉及一系列工具和框架,它们旨在简化部署流程、优化性能并确保兼容性。以下是一些关键工具和框架。1. OpenVINO: Intel开发的开源工具包,用于优化和部署AI推理。 它支持多种硬件平台,包括CPU、GPU和VPU。2. 本地部署工具:Ollama: 一个轻量级的AI推理框架,支持本地运行LLM(大型语言模型)。它使得在本地运行大型语言模型变得非常简单。 选择工具和框架的注意事项:硬件兼容性: 确保所选工具和框架与本地硬件兼容。模型格式: 验证工具是否支持要部署的模型格式。性能要求: 根据应用需求,选择提供所需性能水平的工具。 易用性: 考虑工具的易用性和文档,以简化部署和维护。通过利用这些工具和框架,开发者可以更有效地将AI大模型部署到本地环境,从而实现各种应用场景。

    1.9K10编辑于 2025-03-10
  • 来自专栏数据科学与人工智能

    【大数据分析】大数据分析方法 及 相关工具

    数据分析的五个基本方面 PredictiveAnalyticCapabilities (预测性分析能力) 数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析数据挖掘的结果做出一些预测性的判断 通过标准化的流程和工具数据进行处理可以保证一个预先定义好的高质量的分析结果。 AnalyticVisualizations ( 可视化 分析) 不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。 SemanticEngines (语义引擎) 我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。 比较典型算法有用于聚类的 K-Means 、用于统计学习的 SVM和用于分类的 Naive Bayes ,主要使用的工具有 Hadoop 的 Mahout 等。

    4.8K80发布于 2018-02-27
  • 来自专栏全栈程序员必看

    Unity Excel转Json工具实现多语言本地化

    创建脚本文件,继承自EditorWindow public class LocalizationTool : EditorWindow 添加至工具栏; [MenuItem("Tools/LocalizationTool

    93020编辑于 2022-09-02
  • 来自专栏R语言___生物信息

    rSeq工具:RNA-Seq数据分析工具

    rSeq: RNA-Seq Analyzer rSeq是一组RNA-Seq数据分析工具。它可以处理RNA-Seq数据分析的许多方面,如参考序列生成序列映射,基因和同种型表达式(RPKMs)计算等。

    1.1K40发布于 2018-06-19
  • 来自专栏数据挖掘与AI算法

    数据可视化分析工具:Matplotlib

    绘图是数据分析工作中的重要一环,是进行探索过程的一部分。 Matplotlib是当前用于数据可视化的最流行的Python工具包之一,它是一个跨平台库,用于根据数组中的数据制作2D图,主要用于绘制一些统计图形,例如散点图、条形图、折线图、饼图、直方图、箱型图等。 1.散点图 散点图通常用在回归分析中,描述数据点在直角坐标系平面上的分布图。散点图表示因变量随自变量而变化的大致趋势,据此可以选择合适的函数对数据点进行拟合。下面是绘制散点图的例子。 3.折线图 折线图是排列在工作表的列或行中的数据可以绘制到折线图中。折线图可以显示随时间(根据常用比例设置)而变化的连续数据,因此非常适用于显示在相等时间间隔下数据的趋势。 ---- 以上内容来自《Python广告数据挖掘与分析实战》

    2.5K10发布于 2021-06-24
  • 来自专栏PPV课数据科学社区

    工具】大数据在线分析利器:Hue

    Hue百科: Hue 是一种基于Apche hadoop基础平台的在线开源数据分析接口,参见 gethue.com Hue的主要功能: 提供SQL 接口:Hive, Impala, MySql, PostGres ; 提供浏览界面:YARN, HDFS, Hive table Metastore, HBase, ZooKeeper; 提供 Sqoop2编辑器、 Oozie 流编辑器和控制面板; 提供Hadoop数据加载向导 build/env/bin/hue test specific impala.tests:TestMockedImpala.test_basic_flow 开发环境需求 你的系统里需要安装和运行如下的程序包和工具

    3.3K60发布于 2018-04-24
  • 数据库锁等待分析工具

    常用的数据库锁等待分析工具需结合不同数据库(如MySQL、Oracle、PostgreSQL、SQL Server)的锁机制设计,核心分为数据库自带工具(无需额外安装,适合快速排查)和第三方专业工具(功能更全面 以下按数据库类型分类,详细说明工具的适用场景、核心功能及关键操作:一、MySQL 锁等待分析工具(InnoDB 引擎为主)MySQL 锁等待主要集中在 InnoDB 行锁/表锁、死锁,常用工具覆盖“实时排查 二、Oracle 锁等待分析工具Oracle 锁机制复杂(行锁、表锁、闩锁等),常用工具覆盖“实时查询”“历史分析”“可视化监控”三类场景:1. AWR 报告(Automatic Workload Repository):核心功能:记录数据库每小时的性能数据,包含锁等待的“等待次数”“等待时长”,适合长期趋势分析。 五、工具选择总结数据库临时排查工具(快速定位)长期监控工具(企业级)复杂问题分析工具(历史/深度)MySQLshow engine innodb status、information_schemaPercona

    44110编辑于 2025-11-04
领券