- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据分析师小熊
数据分析7大能力：梳理数据需求
今天分享数据分析师必备的工作能力——需求梳理。需求梳理很不起眼，甚至很多小伙伴感受不到他的存在。但它结结实实影响到大家的下班时间和绩效。 一、什么是数据需求？ 顾名思义，数据需求，就是业务部门对数据分析产出的需求。有小伙会说：这还有需求呀，我们公司都是一通电话：“歪！给我个XX数据，快！”就完事了，根本不存在啥需求。 确实有这种无脑公司。 管得了期望时间，才好体现数据分析的业绩。 如是临时发明的，需说清楚指标的计算公式 分类维度：按XXX维度区分数据。 思路清晰的业务部门，自然不用多说。碰到思路混乱的，可以这么引导 你要分析的是人？货？还是场？ 八、小结 满足了5w的，就是一个完整的数据分析需求了。梳理数据分析需求，不但能减少重复工作，更可以为数据分析师发现项目机会，提高BI使用率，体现工作业绩打下坚实的基础。至于具体如何做，下篇再分享。
1.3K21编辑于 2022-04-22 - 来自专栏锦小年的博客
Python数据分析(7)-numpy数组操作
('b 数组为：',b) c = np.concatenate((a,b)) print(c) 输出： a 数据为： [[ 0 1 2 3] [ 4 5 6 7] [ 8 9 10 print('b 数组为：',b) c = np.concatenate((a,b),axis=1) print(c) 输出： a 数据为： [[ 0 1 2 3] [ 4 5 6 7 import numpy as np a = np.arange(4) a.shape=(2,2) print('a 数据为：',a) b = np.array([[5,6],[7,8]]) print ('b 数组为：',b) c = np.stack((a,b),axis=0) print(c) 输出： a 数据为： [[0 1] [2 3]] b 数组为： [[5 6] [7 8]] [[[ ：',a) # b = np.array([[5,6],[7,8]]) # print('b 数组为：',b) c = np.split(a,3) print(c) 输出： a 数据为： [[ 0
1.1K40发布于 2019-05-26 - 来自专栏IT从业者张某某
7-点击流数据分析项目-数据预处理
文章目录 7-点击流数据分析项目-数据预处理 1.数据集介绍 原始数据样式： 待生成的页面点击流模型Pageviews表 待生成的点击流模型Visits表 数据清洗 2.采集日志数据到HDFS上 创建目录 MR-Reducer类ClickStreamVisitReducer 生成Visits访问数据MR-Driver类ClickStreamVisitDriver 导入HDFS 总结 7-点击流数据分析项目 当WEB日志转化成点击流数据的时候，很多网站分析度量的计算变得简单了，这就是点击流的“魔力”所在。 基于点击流数据我们可以统计出许多常见的网站分析度量 数据清洗 时间格式无效 响应状态码》400 静态页面删除（js、css资源） 2.采集日志数据到HDFS上 创建目录 # 创建 /sx/clickstream true : false, fields[1], fields[2], fields[3], fields[4], fields[5], fields[6], fields[7], fields[8])
1.2K31编辑于 2022-11-12 - 来自专栏加米谷大数据
技术分享：数据分析的7个步骤
如何对数据进行分析显得尤为重要，那么数据分析该如何进行呢？ 确定问题 在进行真正的数据分析操作之前，要首先分析你的需要，你为什么要进行数据分析，数据分析是为了什么。 一是确定解决或者弄明白为什么的问题，二是确定涉及到的变量或者数据的问题，由此再去基于接下来科学的数据分析去提出策略解决问题。 数据采集 所谓的数据采集是收集被确定为数据需求的目标变量信息的过程。 数据处理 数据处理也可以说是数据的规范化，需要把收集到的数据进行组织，包括根据相关分析工具的要求构建数据。 ? 数据分析 也称为数据建模，完成以上步骤后，结合统计学，计量经济学等学科做定量分析，同时也要结合业务现实做定性分析、对数据进行描述性分析、探索性分析及信度效度的测量，尽可能建立科学准确的模型(如相关性、回归分析 数据可视化 按照要求，将数据分析的结果进行报告输出，所谓的可视化简单来说就是以图表的方式展示出来，让用户更直观的接受理解你的分析结果。 ?
1.1K20发布于 2019-11-06 - 来自专栏BI工具
盘点7款常用的数据分析工具
随着大数据信息化时代的到来，数据分析是各行各业都绕不开的一个话题，企业在发展过程中积累了大量的数据，对这些数据进行专业的分析，能够促进企业更好更精准的发展，能够有效防范企业拍脑袋决策的经营风险。 一款好的数据分析工具可以让你事半功倍，瞬间提高学习工作效率。在此，笔者列出了被提及频率最高且使用最多的几种数据分析工具。 Excel具备多种强大功能，比如创建表单，数据透视表，VBA等，Excel的系统如此庞大，以至于没有任何一项分析工具可以超越它，确保了大家可以根据自己的需求分析数据。 总而言之，要想入行数据分析，SQL是必要技能。 7、BI工具 商业智能BI是为数据分析而生的，它诞生的起点很高。其目的是缩短从商业数据到商业决策的时间，并利用数据来影响决策。 以亿信ABI为例，其融合了ETL数据处理、数据建模、数据可视化、数据分析、数据填报、移动应用等核心功能。
14.1K20发布于 2020-08-25 - 来自专栏嵌入式音视频
【AI】数据分析-数据可视化模块
NumPy(Numerical Python) 是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。 Numpy 是 Python 语言在科学计算领域取得成功的关键之一，如果想通过 Python 语言学习数据科学、人工智能（包括深度学习、语言处理等分支），就必须学习 Numpy。 1,2,3,4,5,6]) print(b) print('b 数组的维度：',b.shape) 执行结果如图 ---- 【示例3】创建二维数组 a=np.array([[1,2,3],[4,5,6],[7,8,9 ---- 【示例6】arange()函数创建数组 import numpy as np x=np.arange(0,6,dtype=int) print(x) 执行结果如图 ---- 【示例 7】 dtype=float) print(x) 执行结果如图 ---- 【示例8】arange()函数创建二维数组 b=np.array([np.arange(1,4),np.arange(4,7)
96320编辑于 2023-03-16 - 来自专栏Dance with GenAI
AI数据分析：集中度分析和离散度分析
在deepseek中输入提示词： 你是一个Python编程专家，要完成一个Python脚本编写的任务，具体步骤如下： 读取Excel表格："F:\AI自媒体内容\AI行业数据分析\toolify月榜\toolify2023 2列第21行-31行； 然后按照上面的计算步骤一直计算到第15列第21行-31行； 计算第2列第1行（设为数据起点）到第15列第1行（设为数据终点）数据组的简单年均增长率，写入第16列第1行，然后计算第 2行，第3行数据，一直计算到第20行； 计算第2列第1行（设为数据起点）到第15列第1行（设为数据终点）数据组的复合年均增长率，然后计算第2行，第3行数据，一直计算到第20行； 注意：每一步都输出信息到屏幕 但是代码要整合在一起 计算复合年均增长率的时候，年数n是固定值:13 源代码： import pandas as pd import numpy as np # 读取Excel文件 file_path = "F:\\AI 自媒体内容\\AI行业数据分析\\toolify月榜\\toolify2023年-2024年月排行榜汇总数据.xlsx" df = pd.read_excel(file_path) # 计算第2列到第15
35710编辑于 2024-06-24 - 来自专栏山行AI
PandasAI——让AI做数据分析
前言 PandasAI是一款数据分析领域的ChatGPT应用，本文对原项目进行翻译旨在进行知识科普和梳理。 这个项目的github地址为：https://github.com/gventuri/pandas-ai PandasAI Pandas AI 是一个 Python 库，它为 Pandas（一款流行的数据分析和操作工具 隐私和安全 为了生成运行的 Python 代码，我们取 dataframe 的head，将其随机化（对敏感数据使用随机生成，对非敏感数据进行打散）并只发送head。 PandasAI对象 我们主要关注一下它的run方法： 环境变量 由于需要借助LLM（大模型）的能力进行分析结果生成，这里需要设置LLM的API key。 usp=sharing [7] : https://colab.research.google.com/drive/1rKz7TudOeCeKGHekw7JFNL4sagN9hon-?
2.3K40编辑于 2023-06-14 - 来自专栏Dance with GenAI
AI数据分析：根据Excel表格数据进行时间序列分析
ChatGPT中输入提示词： 你是一个Python编程专家，要完成一个Python脚本编写的任务，具体步骤如下： 读取Excel表格："F:\AI自媒体内容\AI行业数据分析\toolify月榜\toolify2023 年-2024年月排行榜汇总数据.xlsx" 用matplotlib绘制一个折线图： X轴为单元格B1到单元格O1的表头； Y轴为第1行到第20行的数据，标签为：月访问量； 用每个单元格A2到A21对应的数据绘制折线图 自媒体内容\AI行业数据分析”，图片标题为：2023年Top20 AI应用近一年的发展趋势； 显示图片； 注意：每一步都输出信息到屏幕 源代码： import pandas as pd import matplotlib.pyplot 自媒体内容\AI行业数据分析\toolify月榜\toolify2023年-2024年月排行榜汇总数据.xlsx' try: df = pd.read_excel(file_path) print("Excel 应用近一年的发展趋势') plt.xlabel('月份') plt.ylabel('月访问量') plt.legend() # 保存图片 output_dir = r'F:\AI自媒体内容\AI行业数据分析
58410编辑于 2024-06-24 - 来自专栏DotNet NB && CloudNative
AI应用实战课学习总结（7）聚类算法分析实战
最近入坑黄佳老师的《AI应用实战课》，记录下我的学习之旅，也算是总结回顾。 今天是我们的第7站，一起了解下聚类算法基本概念 以及 通过聚类算法辅助用户画像的案例。 聚类的性能效果则不太好评估，只能通过数据的结构或者额外的信息或者做数据可视化来进行观察。 总结：分类是监督学习，用于预测数据的类别；聚类是无监督学习，用于发现数据的隐藏结构。 、金额、时间等 问题目标： 根据历史数据，给用户的消费能力做一个画像 NOTE：和我们之前的第5站做回归分析案例时使用的是同一个数据集，就让我们“一鱼多吃”吧。 构建用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。 例如，下图是一个咖啡消费者的画像分析： 用户画像聚类代码实战 Step1 读取数据 及 数据预处理 import pandas as pd #导入Pandas df_sales = pd.read_csv
52610编辑于 2025-03-13 - 来自专栏AI篮球与生活
7种最常用数据分析思维，解决95%的分析难题
很多人苦恼，学会了很多数据分析工具和技能，依然做不好数据分析。遇到业务问题时，常常觉得无从下手。其实，掌握技能和工具只是第一步，做好数据分析还必须要有数据分析思维。 数据思维具有框架性引导作用，能够帮助确认分析角度、搭配分析方法、选择指标体系以及得出分析结论。 但要明白，数据思维不是一两周就能锻炼出来的，要不断练习，下面我给大家推荐7种常用的数据分析思维技巧，帮助大家缩短学习时间。 通过假设的数据进行反推，再去制定计划，整个过程是先假设，后验证，再分析结果。 第七种：多维法 多维法主要是通过对数据的切割，分成多个维度，通过立方体的形式进行数据展示。在对数据进行交叉分析的时候，可能会出现辛普森悖论，与之而来的应对方法有钻取、上卷、切片、切块、旋转等。
44210编辑于 2023-03-01 - 来自专栏单细胞天地
OSCA单细胞数据分析笔记7—Feature selection
仅保留高变基因信息（不建议） 4.2 标记高变基因，降维设置subset.row=参数（建议） 5、补充：关于“技术误差”的进一步分解 ---- 1、背景知识 1.1 为什么要挑选特定的基因 单细胞数据分析的主要在于考虑细胞 示例数据集如下，已经质控，标准化处理。 如果数据集中没有外参转录本信息，那么可使用泊松分布近似拟合技术误差曲线。 相关函数如下，具体使用可参考原教程。
2.2K41发布于 2021-05-18 - 来自专栏全栈程序员必看
7道常见的数据分析面试题
InfoQ 内容来自极客时间《数据分析实战 45 讲》 数据分析师近几年在国内互联网圈越来越火，很多开发都因为薪资和发展前景，希望转行到数据分析岗。今天，我们就来聊聊面试数据分析师的那些事。 其实，数据分析能力是每个互联网人的必备技能，哪怕你没有转行数据分析师的计划，也推荐你看看这个专题，提升你的数据能力。 数据分析的能力要求 与数据分析相关的工作有一个特质，就是对数字非常敏感，同时也要求对数据具有良好的思考能力，比如说如何用数据指导业务，如何将数据呈现在报告中。 3、业务能力（数据思维） 数据分析的本质是要对业务有帮助。因此数据分析有一个很重要的知识点就是用户画像。 若是用户画像建模的过程，按照数据流处理的阶段来划分，可以分为：数据层、算法层、业务层。你会发现在不同的层，都需要打上不同的标签。 7 道数据分析笔试题 作为实力检测的一部分，笔试是非常重要的一个环节。
1.6K20编辑于 2022-09-01 - 来自专栏Java架构师必看
spring源码分析7
spring源码分析7 强烈推介IDEA2020.2破解激活，IntelliJ 原文链接：https://gper.club/articles/7e7e7f7ff3g5agc4
32030发布于 2021-04-13 - 来自专栏喔家ArchiSelf
AI 驱动的数据分析：Data Agent
此外，还出现了许多强调数据目录的数据治理解决方案。而今，我们有了更多的工具，强调了与传统数据分析不同的软件工程原则。 那么，AI会应用到数据分析领域的哪些方面呢？ 如果没有AI辅助的数据建模和数据治理，整个方案很可能会失败。 2.1 精确分析 对数据建模的重新强调似乎令数据分析领域形成了闭环。 AI的能力几乎可以即时访问数据并获得新的见解。这种能够精确得到人们所需要的东西的能力称之为 “精确分析”。“有了这么多可能的数据和度量的组合，精确分析允许AI根据用例对数据进行正确的转换。 这些原型允许AI系统建立护栏，并提高 RAG 的精度。 3. AI 驱动的数据分析 我们能够利用AI来解决数据领域的一些基本问题。 AI驱动数据分析的收益 那么，谁能从这样的AI解决方案中受益呢？ 主要受益者是数据团队和业务用户 (即数据使用者)。
2.5K11编辑于 2025-03-17 AI数据投毒技术详解与风险分析
什么是AI投毒？一位计算机科学家为您解释投毒这个词通常与人体和自然环境相关。但它也日益成为人工智能（AI）领域中的一个问题——尤其是对于像ChatGPT和Claude这样的大型语言模型。 事实上，某中心AI安全研究所、艾伦图灵研究所和Anthropic本月早些时候发布的一项联合研究发现，仅需将250个恶意文件插入模型训练数据中的数百万文件里，就能秘密地“毒害”模型。 那么，究竟什么是AI投毒？它带来了哪些风险？什么是AI投毒？一般而言，AI投毒指的是故意向AI模型传授错误知识的过程。其目的是污染模型的知识或行为，导致其表现不佳、产生特定错误或展现出隐藏的恶意功能。 例如，2023年3月，某机构在发现一个漏洞短暂暴露了用户的聊天标题和一些账户数据后，短暂地将ChatGPT下线。有趣的是，一些艺术家已将数据投毒用作一种防御机制，以对抗未经许可抓取其作品的AI系统。 这确保了任何抓取其作品的AI模型都会产生扭曲或无法使用的结果。所有这些都表明，尽管围绕AI的宣传沸沸扬扬，但这项技术远比看上去的更为脆弱。
51710编辑于 2026-01-18生成式AI加速医疗数据分析
通过根据精确的提示词生成可用的分析代码，这些系统显著缩短了处理健康数据所需的时间。为了直接比较性能，研究人员将相同的任务分配给不同的组别。 这种优势源于AI能够基于简短但高度具体的提示编写分析代码。并非所有系统都表现良好。在8个AI聊天机器人中，只有4个生成了可用的代码。尽管如此，那些成功的系统不需要大型专家团队来指导。 “这些AI工具可以缓解数据科学中最大的瓶颈之一：构建我们的分析流程，”某机构的儿科教授、某计算健康科学研究所临时主任兼某机构早产研究中心的首席研究员Marina Sirota博士表示，“对于现在就需要帮助的患者来说 然而，分析如此庞大而复杂的数据集被证明具有挑战性。为了解决这个问题，研究人员求助于一个名为DREAM的全球众包竞赛。Sirota共同领导了三个DREAM妊娠挑战中的一个，重点关注阴道微生物组数据。 AI系统分析了阴道微生物组数据以识别早产迹象，并检查了血液或胎盘样本以估算孕龄。妊娠 dating 几乎总是一个估计值，但它决定了女性在妊娠过程中接受的护理类型。
10310编辑于 2026-04-13- 来自专栏灯塔大数据
每周学点大数据 | No.7大数据规模的算法分析
No.7期 大数据规模的算法分析 Mr. 小可：嗯，听到这里，我理解了如何进行算法的分析和几种记号表示的含义了。 Mr. 王：另外，很多时候，算法的运行时间并不是稳定的，在算法分析的过程中，我们还要考虑算法运行的最好情况、最坏情况和平均情况。 小可：如果有n个元素，在最好情况下，可以以常数时间找到我们所要找的元素，也就是O(1)；在最坏情况下，我们要和最后一个元素进行比较才能得出结论，就是要进行和数据规模n相关的次数比较，也就是O(n)。 内容来源：灯塔大数据
74240发布于 2018-04-09 AI数据分析仪设计原理图：RapidIO信号接入 平板AI数据分析仪
1 、概述本仪器是一款面向工业控制、新能源、震动测量等业务开发的平板AI数据分析仪。基于 Jetson Orin Nano（AI边缘计算）、实现RapidIO接口数据接入，进行AI分析。 RapidIO支持低延时、高带宽数据输入。 图1 产品外观参考2 、原理框图图2 原理框图3、技术指标主处理器AI性能67 TOPSGPU搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPUGPU最大频率 100% 线速数据捕获；支持震动，电力信号的4路RapidIO方式接入软件功能实时分析， 过滤和触发物理性能几何尺寸加固平板设计工作温度范围IP54防护，支持-20℃-60℃宽温工作重量电池工作 北京太速科技标签 : AI数据分析仪, 平板数据分析仪, 数据分析仪, AI边缘计算, 高带宽数据输入
14710编辑于 2025-10-27- 来自专栏量子位
Pandas循环提速7万多倍！Python数据分析攻略
乾明 编译整理 量子位 报道 | 公众号 QbitAI 用Python和Pandas进行数据分析，很快就会用到循环。 但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。 他是一位来自德国的数据分析师，名叫Benedikt Droste。 他说，当自己花了大半个小时等待代码执行的时候，决定寻找速度更快的替代方案。 我们一起来看看~ 标准循环处理3年足球赛数据：20.7秒 DataFrame是具有行和列的Pandas对象。如果使用循环，需要遍历整个对象。 Python不能利用任何内置函数，而且速度很慢。 他说，如果你使用Python、Pandas和Numpy进行数据分析，总会有改进代码的空间。 在对上述五种方法进行比较之后，哪个更快一目了然： ?
2.4K30发布于 2019-09-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号