首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏BI工具

    盘点7款常用的数据分析工具

    一款好的数据分析工具可以让你事半功倍,瞬间提高学习工作效率。在此,笔者列出了被提及频率最高且使用最多的几种数据分析工具。 1、EXCEL Excel作为入门级的工具,是最基础也是最主要的数据分析工具。 Excel具备多种强大功能,比如创建表单,数据透视表,VBA等,Excel的系统如此庞大,以至于没有任何一项分析工具可以超越它,确保了大家可以根据自己的需求分析数据。 总而言之,要想入行数据分析,SQL是必要技能。 7、BI工具 商业智能BI是为数据分析而生的,它诞生的起点很高。其目的是缩短从商业数据到商业决策的时间,并利用数据来影响决策。 BI工具都是按照数据分析流程设计的。先是数据处理,数据清洗,然后是数据建模,最后是数据可视化,用图表来识别问题并影响决策。

    14.1K20发布于 2020-08-25
  • 来自专栏算法channel

    分享7数据分析的有用工具

    选自TowardsDataScience 作者:Perter Nistrup 机器之心编译 参与:魔王 如何提升数据分析能力?Peter Nistrup 根据自身经验列出了 7 个有用工具。 本文列举了一些提升或加速日常数据分析工作的技巧,包括: 1. Pandas Profiling 2. 使用 Cufflinks 和 Plotly 绘制 Pandas 数据 3. 在 Jupyter(或 IPython)中使一个单元同时有多个输出 7. 为 Jupyter Notebook 即时创建幻灯片 “ 1. Pandas Profiling ” 该工具效果明显。 使用该工具只需安装和导入 Pandas Profiling 包。 使用 Cufflinks 和 Plotly 绘制 Pandas 数据 ” 「经验丰富的」数据科学家或数据分析师大多对 matplotlib 和 pandas 很熟悉。

    1.6K20发布于 2019-10-29
  • 来自专栏全栈程序员必看

    Windows日志分析工具_Windows7激活工具

    应用程序日志、系统日志和安全日志 系统日志:%SystemRoot%\System32\Winevt\Logs\System.evtx 记录操作系统组件产生的事件,主要包括驱动程序、系统组件和应用软件的崩溃以及数据丢失错误等 1.手工日志分析 1.日志文件位置 控制面板→ 管理工具 → 事件查看器 或者win + R:eventvwr.msc 2.EVENT ID含义 对于Windows事件日志分析,不同的EVENT 事件日志服务已停止 6009 信息 EventLog 按ctrl、alt、delete键(非正常)关机 查看下6009 当然也可以一直查看6005-6009 2.Log Parser等工具使用日志分析 /mlichtenberg.wordpress.com/2011/02/03/log-parser-rocks-more-than-50-examples/ LogParser是微软公司提供的一款日志分析工具 Log Explorer 下载地址:https://event-log-explorer.en.softonic.com/ Event Log Explorer是一款非常好用的Windows日志分析工具

    1.9K10编辑于 2022-10-03
  • 来自专栏深度学习与python

    7个顶级静态代码分析工具

    作者丨Saif Sadiq 策划丨田晓旭 静态代码分析或源代码分析是指使用静态代码分析工具对软件的“静态”(不运行的) 代码进行分析的一种方法,找出代码中潜在的漏洞。 在知道了什么是静态代码分析之后,接下来就有必要了解一下市场上有哪些好用的静态代码分析工具。废话不多说,让我们来看看现在比较流行的静态代码分析工具7Veracode Veracode 是一种流行的静态代码分析工具。它只针对安全问题,跨管道执行代码检查,以便发现安全漏洞,并将 IDE 扫描、管道扫描和策略扫描作为其服务的一部分。 Reshift 减少了查找和修复漏洞、识别数据泄露的潜在风险以及帮助软件公司实现合规性和法规要求的成本和时间。 原文链接 https://dzone.com/articles/top-7-static-code-analysis-tools

    4.5K50发布于 2021-01-07
  • 来自专栏CDA数据分析师

    玩转数据分析,必知必会的7款Python工具

    ,可嵌入解释器加载到任意一个自有工程里 简单易用,用于并行计算的高性能工具数据分析总监,Galvanize 专家 Nir Kaldero 提供。 这有一些关于 GraphLab Greate 的特点: 可以在您的计算机上以交互的速度分析以 T 为计量单位的数据量。 在单一平台上可以分析表格数据、曲线、文字、图像。 Pandas pandas 是一个开源的软件,它具有 BSD 的开源许可,为 Python 编程语言提供高性能,易用数据结构和数据分析工具。 整合了劲爆的 IPyton 工具包和其他的库,它在 Python 中进行数据分析的开发环境在处理性能,速度,和兼容方面都性能卓越。 Scikit-Learn 是一个简单有效地数据挖掘和数据分析工具(库)。关于最值得一提的是,它人人可用,重复用于多种语境。它基于 NumPy,SciPy 和 mathplotlib 等构建。

    1.3K80发布于 2018-02-05
  • 来自专栏游戏开发之旅

    Unity本地化数据处理

    Unity本地化数据处理 unity开发中,我们经常会遇到一些数据需要暂时保存起来,以便下次程序开始时继续使用,这时我们会用到PlayerPrefs数据处理,这里拿我前面开发登录账号的文章举例子说一下, 那时开发我们用到的是将用户的信息写入文件中进行保存,需要的时候再读取出来,更改的时候也要读取对应的数据,然后再将修改好的数据重新写入文件中,这些操作相当频繁,很消耗性能。

    1.3K50发布于 2019-12-03
  • 来自专栏Spark生态圈

    数据本地化及延迟调度

    前言 Spark数据本地化即移动计算而不是移动数据,而现实又是残酷的,不是想要在数据块的地方计算就有足够的资源提供,为了让task能尽可能的以最优本地化级别(Locality Levels)来启动,Spark ) PROCESS_LOCAL:进程本地化,代码和数据在同一个进程中,也就是在同一个executor中;计算数据的task由executor执行,数据在executor的BlockManager中,性能最好 NODE_LOCAL:节点本地化,代码和数据在同一个节点中;比如说,数据作为一个HDFS block块在节点上,而task在节点上某个executor中运行;或者是数据和task在一个节点上的不同executor 中,数据需要在进程间进行传输 NO_PREF:对于task来说,数据从哪里获取都一样,没有好坏之分,比如说SparkSQL读取MySql中的数据 RACK_LOCAL:机架本地化数据和task在一个机架的两个节点上 ,数据需要通过网络在节点之间进行传输 ANY:数据和task可能在集群中的任何地方,而且不在一个机架中,性能最差 这些Task的本地化级别其实描述的就是计算与数据的位置关系,这个最终的关系是如何产生的呢

    1.5K20发布于 2018-09-04
  • 来自专栏信息无障碍

    无障碍工具本地化安装部署

    无障碍工具部署步骤: 以信息无障碍公共服务平台为例,地址:localhost:8080/index.html 步骤一:将canyou文件夹放到 localhost:8080/ 站点指向的服务器目录下 ( 链接代码如下: 无障碍阅读 测试部署是否成功 alt", "网站logo链接").attr("tabindex", "0"); })(); 选择器(selector)路径定位方法,按浏览器f12 注意选择器以.rrbay_body开头 第一种:纯蓝工具条 script> 或者 <script id="rrbayJs" src="/canyou/js/wza.min.js" referrerpolicy="origin"></script> 第二种:黑白黄工具条 bw" referrerpolicy="origin"></script> 第三种:蓝色工具条(历史版本,停止维护升级) 查看效果,打开 localhost:8080/index5.html , 点击顶部进入无障碍通道

    33500编辑于 2024-10-29
  • 来自专栏架构驿站

    【性能分析】大数据分析工具

    数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。 在大数据和大数据分析,他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。 该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。 “Drill”项目其实也是从谷歌的Dremel项目中获得灵感:该项目帮助谷歌实现海量数据集的分析处理,包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等 多层次的数据视图,确保有效和透明的数据 7. 图形用户界面的互动原型 8. 命令行(批处理模式)自动大规模应用 9. Java API(应用编程接口) 10. 简单的插件和推广机制 11.

    1.7K50编辑于 2022-03-25
  • 来自专栏FreeBuf

    Python工具分析风险数据

    小安前言 随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理 数据分析工具介绍 工欲善其事,必先利其器,在此小安向大家介绍一些Python数据分析的“神兵利器“。 Python中著名的数据分析库Panda Pandas库是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建,也是围绕着 Series 和 DataFrame 两个核心数据结构展开的,其中Series 我们有了这些“神兵利器“在手,下面小安将带大家用Python这些工具对蜜罐代理数据作一个走马观花式的分析介绍。 1 引入工具–加载数据分析包 启动IPython notebook,加载运行环境: ? 当然了用Pandas提供的IO工具你也可以将大文件分块读取,再此小安测试了一下性能,完整加载约21530000万条数据也大概只需要90秒左右,性能还是相当不错。

    2.2K90发布于 2018-02-24
  • 来自专栏网罗开发

    数据分析工具篇——数据读写

    数据分析的本质是为了解决问题,以逻辑梳理为主,分析人员会将大部分精力集中在问题拆解、思路透视上面,技术上的消耗总希望越少越好,而且分析的过程往往存在比较频繁的沟通交互,几乎没有时间百度技术细节。 因此,熟练常用技术是良好分析的保障和基础。 笔者认为熟练记忆数据分析各个环节的一到两个技术点,不仅能提高分析效率,而且将精力从技术中释放出来,更快捷高效的完成逻辑与沟通部分。 本文基于数据分析的基本流程,整理了SQL、pandas、pyspark、EXCEL(本文暂不涉及数据建模、分类模拟等算法思路)在分析流程中的组合应用,希望对大家有所助益。 7) converters={'a': fun, 'b': fun}:对a和b两列做如上fun函数的处理。 如上即为数据的导入导出方法,笔者在分析过程中,将常用的一些方法整理出来,可能不是最全的,但却是高频使用的,如果有新的方法思路,欢迎大家沟通。

    4K30发布于 2021-04-07
  • 来自专栏ShowMeAI研究中心

    图解数据分析 | 数据分析工具地图

    png] 基于数据分析目前良好的发展前景,各界也出现了许多好用的功能种类丰富的数据分析工具。 下方是数据分析常用R库: 方向 R库 数据处理 lubridata,dplyr,ply,reshape2,string,formatR,mcmc 统计 方差分析 aov anova 密度分析 density B站视频教程:https://www.bilibili.com/video/BV1Jg411F7cS Microsoft Excel是数据分析中使用最广泛的工具之一,常用函数、数据透视表、VLookUp 六、Apache Spark 官网:https://spark.apache.org/ 最大的大型数据处理引擎之一,该工具在Hadoop集群中执行应用程序的内存速度快100倍,磁盘速度快10倍,该工具数据管道和机器学习模型开发中也很流行 七、SAS 官网:https://www.sas.com/zh_cn/home.html SAS是用于数据处理和分析的编程语言和环境,该工具易于访问,并且可以分析来自不同来源的数据

    1.4K51编辑于 2022-02-25
  • 来自专栏数据科学与人工智能

    【Python环境】玩转数据分析,必知必会的7款Python工具

    ,可嵌入解释器加载到任意一个自有工程里 简单易用,用于并行计算的高性能工具数据分析总监,Galvanize 专家 Nir Kaldero 提供。 这有一些关于 GraphLab Greate 的特点: 可以在您的计算机上以交互的速度分析以 T 为计量单位的数据量。 在单一平台上可以分析表格数据、曲线、文字、图像。 Pandas pandas 是一个开源的软件,它具有 BSD 的开源许可,为 Python 编程语言提供高性能,易用数据结构和数据分析工具。 整合了劲爆的 IPyton 工具包和其他的库,它在 Python 中进行数据分析的开发环境在处理性能,速度,和兼容方面都性能卓越。 Scikit-Learn 是一个简单有效地数据挖掘和数据分析工具(库)。关于最值得一提的是,它人人可用,重复用于多种语境。它基于 NumPy,SciPy 和 mathplotlib 等构建。

    1.2K80发布于 2018-02-26
  • 来自专栏数据科学与人工智能

    【Python环境】玩转数据分析,必知必会的7款Python工具

    ,可嵌入解释器加载到任意一个自有工程里 简单易用,用于并行计算的高性能工具数据分析总监,Galvanize 专家 Nir Kaldero 提供。 这有一些关于 GraphLab Greate 的特点: 可以在您的计算机上以交互的速度分析以 T 为计量单位的数据量。 在单一平台上可以分析表格数据、曲线、文字、图像。 Pandas pandas 是一个开源的软件,它具有 BSD 的开源许可,为 Python 编程语言提供高性能,易用数据结构和数据分析工具。 整合了劲爆的 IPyton 工具包和其他的库,它在 Python 中进行数据分析的开发环境在处理性能,速度,和兼容方面都性能卓越。 Scikit-Learn 是一个简单有效地数据挖掘和数据分析工具(库)。关于最值得一提的是,它人人可用,重复用于多种语境。它基于 NumPy,SciPy 和 mathplotlib 等构建。

    1.1K50发布于 2018-02-26
  • 来自专栏BI8ESZ

    docker 安装MySQL及数据本地化

    -p 3306:3306 --name mysql57 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7 # 查看运行容器 docker ps 2 . docker安装且数据本地化 # 删除容器 ctrl+p+q # 退出容器 docker stop tempMysql # 停止容器 docker rm tempMysql # 删除容器 # 可选(复制数据进新数据

    98640发布于 2019-10-21
  • 来自专栏cwl_Java

    数据库PostrageSQL-本地化

    本地化 本章从管理员的角度描述可用的本地化特性。PostgreSQL支持两种本地化方法: 利用操作系统的区域(locale)特性,提供对区域相关的排序顺序、数字格式、 翻译过的信息和其它方面。 默认情况下,initdb将会按照它的执行环境的区域设置初始化数据库集簇; 因此如果你的系统已经设置为你的数据库集簇想要使用的区域, 那么你就没有什么可干的。 一些区域分类的值必需在数据库被创建时的就被固定。你可以为不同的数据库使用不同的设置,但是一旦一个数据库被创建,你就不能在数据库上修改这些区域分类的值。 LC_COLLATE和LC_CTYPE设置都是在数据库创建时决定的,并且在除了创建数据库之外的操作中都不能被更改。 那些通过分析错误消息来处理服务器端错误的客户端应用很明显会有问题,因为服务器来的消息可能会是以不同语言表示的。 我们建议这类应用的开发人员改用错误代码机制。

    1.2K10发布于 2020-12-16
  • 来自专栏SAP升级

    技术干货 | SAP数据迁移与脱敏实战:SNP TDO工具如何满足数据本地化合规?

    SNPTDO工具是一款功能强大的SAP数据刷新&脱敏的解决方案,通过SNP安全、高效且灵活的技术方式。将源系统的数据按照客户的希望刷新到目标系统。 可以灵活地实现数据本地化要求,满足跨国企业数据落地当地国家的要求。 价值实现方法论:是否拥有清晰的“价值路线图”工具,能将SAP功能点与具体的业务指标(如停机窗口时间减少、交付周期缩短)改善挂钩,并提供上线后的持续服务? SNP特有的实施工具Kyano平台和专业的实施方法论BLUEFIELDTM帮助企业进行数字化转型,包括包括SAP系统升级、SAP系统拆分、系统上云、SAP数据归档、SAP数据集成等等,该方法论可以大幅缩短项目实施周期和停机时间 SNP多款软件已获得SAP认证,包括专业的系统扫描分析工具CrystalBridgeAnalysisExtractor,用于停用旧系统的精益解决方案KyanoDatafridge和自动化归档历史数据的SNPOutboardERPArchiving

    19110编辑于 2026-02-02
  • 来自专栏数据分析师小熊

    数据分析7大能力:梳理数据需求

    今天分享数据分析师必备的工作能力——需求梳理。需求梳理很不起眼,甚至很多小伙伴感受不到他的存在。但它结结实实影响到大家的下班时间和绩效。 一、什么是数据需求? 顾名思义,数据需求,就是业务部门对数据分析产出的需求。有小伙会说:这还有需求呀,我们公司都是一通电话:“歪!给我个XX数据,快!”就完事了,根本不存在啥需求。 确实有这种无脑公司。 管得了期望时间,才好体现数据分析的业绩。 如是临时发明的,需说清楚指标的计算公式 分类维度:按XXX维度区分数据。 思路清晰的业务部门,自然不用多说。碰到思路混乱的,可以这么引导 你要分析的是人?货?还是场? 八、小结 满足了5w的,就是一个完整的数据分析需求了。梳理数据分析需求,不但能减少重复工作,更可以为数据分析师发现项目机会,提高BI使用率,体现工作业绩打下坚实的基础。至于具体如何做,下篇再分享。

    1.3K21编辑于 2022-04-22
  • 来自专栏平也

    PHP7内核:源码分析的环境与工具

    本文主要介绍分析源码的方式,其中包含环境的搭建、分析工具的安装以及源码调试的基本操作。 一、工具清单 PHP7.0.12 GDB CLion 二、源码下载及安装 $ wget http://php.net/distributions/php-7.0.12.tar.gz $ tar zxvf 3.1 安装 本文介绍两款调试工具,分别是GDB和CLion,前者为命令行调试工具,后者为图形界面调试工具,后者依赖前者。 在debug时可能会出现以下错误,主要是因为没有操作php目录权限的缘故,我们赋予/usr/local/php7权限即可。 /local/php7/lib/php/extensions/debug-non-zts-20151012/ cp: /usr/local/php7/lib/php/build/#INST@82468#

    1.3K20发布于 2020-04-03
  • 来自专栏ShowMeAI研究中心

    Python数据分析 | 数据分析工具库Pandas介绍

    Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。 Pandas是Python中最常用到的数据操作和分析工具包,它构建在Numpy之上,具备简洁的使用接口和高效的处理效率。 数据科学、机器学习AI应用过程,涉及数据清洗和分析的操作也频繁使用到Pandas。 当我们提到python数据分析的时候,大部分情况下都会使用Pandas进行操作。 成熟的 IO 工具:读取文本文件(CSV 等支持分隔符的文件)、Excel 文件、数据库等来源的数据,利用超快的 HDF5 格式保存 / 加载数据; 时间序列:支持日期范围生成、频率转换、移动窗口统计

    2.2K51编辑于 2022-02-25
领券