- 综合排序
- 最热优先
- 最新优先
- 来自专栏python数据分析实践
Python数据分析浅谈(3)
；显著性检验在python中比较隐秘，需要日常积累 在介绍了数据分析的基本概念和几个注意的点后，就可以正式进行数据分析了。 日常数据分析中，我们要积累一些常见的数据清洗方法，例如剔除异常值，可以直接使用3倍标准差判别；重复值和空值可以通过Excel很方便地实现。熟悉这些操作可以大大简化工作量，节约我们的时间。 Step3：描述分析 3.1 统计分析 统计分析是数据分析中最广的分析方法。统计分析就是对数据进行文字描述和指标统计。 一份完整的数据报告，至少需要包含以下几部分内容： （1）分析目的 （2）分析背景和意义 （3）数据来源和方法 （4）结果与分析 （5）结论和建议 事实上数据报告就像是一篇实验报告或作文，把做实验的目的 THE END 本节总结了数据分析的流程，并说明了如何撰写一份数据报告。下一节将更新python数据可视化图表的绘制。
40110编辑于 2023-02-23 - 来自专栏全栈工程师修炼之路
Python3爬虫数据清理分析
[TOC] 0x00 快速入门 0x01 分析博客提取 描述：闲来无事写了一个自己博客的标签云，对于学习爬虫与数据清理还是挺有用的; 生成词云我们需要用到几个库： pip install numoy /usr/bin/env python # -*- coding: utf-8 -*- # @File : blogWordCloud.py # @CreateTime : 2019/7/12 14:52 titlestring = "" #进行标题拼接 for title in titlelist: titlestring += title + " " #对数据进行分词
60520发布于 2020-10-23 - 来自专栏全栈工程师修炼之路
Python3爬虫数据清理分析
[TOC] 0x00 快速入门 0x01 分析博客提取 描述：闲来无事写了一个自己博客的标签云，对于学习爬虫与数据清理还是挺有用的; 生成词云我们需要用到几个库： pip install numoy matplotlib /usr/bin/env python # -*- coding: utf-8 -*- # @File : blogWordCloud.py # @CreateTime : 2019/7/12 14:52 titlestring = "" #进行标题拼接 for title in titlelist: titlestring += title + " " #对数据进行分词
42410编辑于 2022-09-28 - 来自专栏Corley的开发笔记
Python数据分析实战（3）Python实现数据可视化
matplotlib结合使用 三、订单数据分析展示 四、Titanic灾难数据分析显示 一、数据可视化介绍 数据可视化是指将数据放在可视环境中、进一步理解数据的技术，可以通过它更加详细地了解隐藏在数据表面之下的模式 Python提供了很多数据可视化的库： matplotlib 是Python基础的画图库，官网为https://matplotlib.org/，在案例地址https://matplotlib.org/ 二、matplotlib和pandas画图 1.matplotlib简介和简单使用 matplotlib是Python最著名的绘图库，它提供了一整套和Matlab相似的命令API，十分适合 交互式地进行制图 三、订单数据分析展示 主要作图包括订单与GMV趋势、商家趋势、订单来源分布、类目占比，涉及折线图、饼图、堆积柱形图、组合图等类型，目标是综合使用pandas和matplotlib。 四、Titanic灾难数据分析显示 主要过程如下： 导入必要的库 导入数据 设置为索引 绘制展示男女乘客比例的扇形图 绘制展示船票Fare与乘客年龄和性别的散点图 生还人数 绘制展示船票价格的直方图 数据
5.3K20发布于 2020-08-31 - 来自专栏数说戏聊
Python3分析CSV数据
/usr/bin/env python3 import sys import pandas as pd input_file = sys.argv[1] output_file = sys.argv[ /usr/bin/env python3 import csv import sys input_file = sys.argv[1] output_file = sys.argv[2] with open /usr/bin/env python3 import csv import glob # glob模块可以定位匹配于某个特定模式的所有路径名。 Python 的另一个内置模块NumPy 也提供了若干函数来垂直或平行连接数据。通常是将NumPy 导入为np。 因为输出文件中的每行应该包含输入文件名，以及文件中销售额的总计和均值，所以可以将这3 种数据组合成一个文本框，使用concat 函数将这些数据框连接成为一个数据框，然后将这个数据框写入输出文件。
7.9K10发布于 2018-08-02 - 来自专栏数说戏聊
Python3分析Excel数据
/usr/bin/env python3 import sys from xlrd import open_workbook input_file = sys.argv[1] workbook = /usr/bin/env python3 import pandas as pd import sys input_file = sys.argv[1] output_file = sys.argv[ /usr/bin/env python3 import pandas as pd import sys input_file = sys.argv[1] output_file = sys.argv[ /usr/bin/env python3 import pandas as pd import sys input_file = sys.argv[1] output_file = sys.argv[ /usr/bin/env python3 import pandas as pd import sys input_file = sys.argv[1] output_file = sys.argv[
4.4K20发布于 2018-08-02 - 来自专栏技术翻译
大数据Python：3大数据分析工具
Python Pandas 我们将讨论的第一个工具是Python Pandas。正如它的网站所述，Pandas是一个开源的Python数据分析库。 使用Python Pandas和Big Data可以做很多事情。单独使用Python非常适合修改数据并做好准备。现在有了Pandas，您也可以在Python中进行数据分析。 数据科学家通常将Python Pandas与IPython一起使用，以交互方式分析大量数据集，并从该数据中获取有意义的商业智能。查看上面的网站了解更多信息。 这是来自Apache Spark项目的大数据分析库。 PySpark为我们提供了许多用于在Python中分析大数据的功能。它带有自己的shell，您可以从命令行运行它。 原文标题《Big Data Python: 3 Big Data Analytics Tools》 作者：Bill Ward 译者：February 不代表云加社区观点，更多详情请查看原文链接
5K20发布于 2018-12-13 - 来自专栏快学Python
Python数据分析实战（3）Jupyter Notebook使用
可以看到，notebook界面由以下部分组成：（1）notebook名称；（2）主工具栏，提供了保存、导出、重载notebook，以及重启内核等选项；（3）notebook主要区域，包含了notebook 3.Jupyter中使用Python Jupyter测试Python变量和数据类型如下： ? 测试Python函数如下： ? 测试Python模块如下： ? 可以看到，在执行出错时，也会抛出异常。 测试数据读写如下： ? 数据读写很重要，因为进行数据分析时必须先读取数据，进行数据处理后也要进行保存。 ，再通过Robo 3T查看数据库如下： ? 完整Python代码如下： ## 数据读取 f = open('商铺数据.csv', 'r', encoding='utf8') for i in f.readlines()[1:15]: print
6.1K20发布于 2021-08-09 - 来自专栏Python数据科学
安利3个Python数据分析EDA神器！
EDA是数据分析必须的过程，用来查看变量统计特征，可以此为基础尝试做特征工程。东哥这次分享3个EDA神器，其实之前每一个都分享过，这次把这三个工具包汇总到一起来介绍。 1. 样本 可以显示了数据集中的样本行，用于了解数据。 ? 2. Sweetviz Sweetviz是另一个Python的开源代码包，仅用一行代码即可生成漂亮的EDA报告。 Sweetviz的一些优势在于： 分析有关目标值的数据集的能力 两个数据集之间的比较能力 但也有一些缺点： 变量之间没有可视化，例如散点图 报告在另一个标签中打开 个人是比较喜欢Sweetviz的。 3. pandasGUI PandasGUI与前面的两个不同，PandasGUI不会生成报告，而是生成一个GUI（图形用户界面）的数据框，我们可以使用它来更详细地分析我们的Dataframe。 在不同的工作流程中，每个都有自己的优势和适用性，三个工具具体优势如下： Pandas Profiling 适用于快速生成单个变量的分析。 Sweetviz 适用于数据集之间和目标变量之间的分析。
1.6K31发布于 2020-11-11 - 来自专栏AI异构
Python数据分析之matplotlib（3D绘图）
具体含义如下图所示 meshgrid函数的用法 绘制3D曲面图 from matplotlib import pyplot as plt import numpy as np from mpl_toolkits.mplot3d import Axes3D #导入三维绘制工具箱 fig = plt.figure() # 创建一个绘图对象 ax = Axes3D(fig) # #用这个绘图对象创建一个Axes对象(有3D坐标) size=[3,40, 40, 40]) #四维 x, y, z = data[0], data[1], data[2] #x, y, z = data[0,1], data[0,2], data[0,3 ] #取值时需要[0,index] ax = plt.subplot(111, projection='3d') # 创建一个三维的绘图工程 # 将数据点分成三部分画，在颜色上有区分度 ax.scatter (x[:10], y[:10], z[:10], c='y') # 绘制数据点 ax.scatter(x[10:20], y[10:20], z[10:20], c='r') ax.scatter(x
1.2K31发布于 2020-07-29 - 来自专栏数说戏聊
Python3分析MySQL数据库
mysql> SET PASSWORD FOR 'root'@'localhost' = PASSWORD('150428'); Query OK, 0 rows affected (0.01 sec) 创建数据库并查看已有数据库 VARCHAR(20), -> Cost FLOAT, -> Purchase_Date DATE); Query OK, 0 rows affected (0.03 sec) 如果数据库不存在数据表 验证数据表创建正确 显示列名、数据类型和值可否为NULL。 Python会将数据从CSV文件插入到数据表，然后展示表中数据。 4db_mysql_load_from_csv.py #! /usr/bin/env python3 import csv import MySQLdb import sys from datetime import datetime, date # CSV输入文件的路径和文件名
1.4K20发布于 2018-08-02 - 来自专栏全栈程序员必看
Python3对股票数据进行分析
目录 一、量化交易概述 1、量化交易（投资方法） 2、算法交易（自动交易、黑盒交易或机器交易） 3、量化策略 4、量化选股 5、股票回测 二、股票数据 三、股票数据分析 1、导入股票时间序列数据 2、绘制股票成交量的时间序列图 3、绘制股票收盘价和成交量的时间序列图 3、绘制K线图（蜡烛图） （1）K线图理论 （2）K线图绘制 4、股票指标相关性分析 （1）相关关系分析 （2）相关系数（Correlation coefficient 3、量化策略 使用计算机作为工具，通过一套固定的逻辑来分析、判断和决策。量化策略既可以自动执行，也可以人工执行。 4、股票指标相关性分析 （1）相关关系分析 下面挑选了部分代表性的指标，并使用pandas.scatter_matrix()函数，将各项指标数据两两关联做散点图，对角线是每个指标数据的直方图。 Python3对股票数据进行分析源代码和股票数据集资源下载： Python3对股票数据进行分析源代码和股票数据集-机器学习文档类资源-CSDN下载 参考： 1、数据分析实践之路 发布者：全栈程序员栈长，
3.2K21编辑于 2022-07-01 - 来自专栏SeanCheney的专栏
《利用Python进行数据分析》第3版
新版小鼹鼠亮相，新版对初学者更友好了 第三版多了41页内容，Pandas升级为1.4.0、Python升级为3.10。第三版最大的变化是紧贴Pandas升级，主要是新增了方法和特性的内容。 第三版目录略有调整，不如第二版和第一版的变化大： 第4章NumPy基础新增了生成伪随机数； 第7章数据清洗新增了扩展数据类型和分类数据，实际是把第二版中第12章的内容放到新版第7章里了； 第11章时间序列新增了分组时间重采样
5.9K31编辑于 2022-10-05 - 来自专栏c/c++的学习笔记
python数据分析——Python数据分析模块
Python数据分析模块 前言 在当今数字化时代，数据分析已经变得不可或缺。而Python，作为一种通用编程语言，其丰富的库和强大的功能使得它成为数据分析领域的佼佼者。 Python数据分析模块，正是这一领域的核心组成部分，为数据科学家和工程师提供了强大的武器库。 Python数据分析模块的核心库主要包括NumPy、Pandas和Matplotlib。 在医疗研究中，Python数据分析模块可以帮助我们分析病人的医疗数据、基因数据等，从而推动医学的进步。 无论是数据科学家、工程师还是其他领域的专业人士，都可以通过学习和掌握Python数据分析模块来提高工作效率、提升数据分析能力。随着大数据时代的到来，Python数据分析模块的应用前景将更加广阔。 二、Pandas模块 Pandas是Python环境下非常重要的数据分析库。当使用Python进行数据分析时,通常都指的是使用Pandas库作为分析工具对数据进行处理和分析。
1.1K10编辑于 2024-03-20 - 来自专栏python3
python3 对拉勾数据进行可视化分析
上回说到我们如何如何把拉勾的数据抓取下来的，既然获取了数据，就别放着不动，把它拿出来分析一下，看看这些数据里面都包含了什么信息。 三、可视化分析 我们先绘制环状图和柱状图，然后将数据传进去就行了，环状图的代码如下： def draw_pie(dic): labels = [] count = [] python数据分析师的学历大部分要求是本科，占了86%。 ? 从柱状图可以看出，python数据分析师的工作经验绝大部分要求1-5年。 ? 由此可以得出python数据分析的工资为10k-30k的比较多,工资高的估计要求会比较高，所以我们看一下职位要求。 ? 从词云图可看出，数据分析肯定要对数据比较敏感，并且对统计学、excel、python、数据挖掘、hadoop等也有一定的要求。
69320发布于 2020-01-16 - 来自专栏python前行者
《python数据分析与挖掘实战》笔记第3章
文章目录 第3章：数据探索 3.1、数据质量分析 3.2、数据特征分析 3.2.1、分布分析 3.2.2、对比分析 3.2.3、统计量分析 1.集中趋势度量 2.离中趋势度量 3.2.4、周期性分析 代码清单3-2，餐饮销量数据统计量分析代码 #-*- coding: utf-8 -*- #餐饮销量数据统计量分析 from __future__ import print_function import 主要数据探索函数 Python中用于数据探索的库主要是Pandas （数据分析）和Matplotlib （数据可视化）。 表3-11 Python主要统计作图函数 作图函数名 作图函数功能 所属工具箱 plot() 绘制线性二维图，折线图 Matplotlib/Pandas pie() 绘制饼型图 Matplotlib/Pandas 3.4、小结 本章从应用的角度出发，从数据质量分析和数据特征分析两个方面对数据进行探索分析，最后介绍了 Python常用的数据探索函数及用例。
3K20发布于 2021-03-03 - 来自专栏锦小年的博客
Python数据分析(3)-numpy中nd数组的创建
ndarray的内存结构 在这个结构体中有两个对象，一个是用来描述元素类型的头部区域，一个是用来储存数据的数据区域。（事实上大多数数据类型的数据都是这么储存的）。 我们也可以采用更加直接的办法： import numpy as np x = np.arange(0,9).reshape(3,3) print('这个数组是:',x) print('这个数组的数据类型是 import numpy as np x = np.ones([3,3]) print('这个数组是:',x) print('这个数组的数据类型是:',x.dtype) print('这个数组的大小： 当然也可以填充其他的数： import numpy as np x = np.full([3,3],np.inf) print('这个数组是:',x) print('这个数组的数据类型是:',x.dtype 2.2.2 从已存在的数据中创建数组 ?
2.8K80发布于 2018-01-02 - 来自专栏bit哲学院
【利用Python进行数据分析】3-Python的数据结构、函数和文件
参考链接： Python中的等分算法函数bisect 一、数据结构和序列 1.1、元组 1.1.1、定义元组 元组是一个固定长度，不可改变的Python序列对象，创建元组的最简单方式，是用逗号分隔一列值 list函数常用来在数据处理中实体化迭代器或生成器： gen = range(10) gen #range(0, 10) list(gen) # [0, 1, 2, 3, 4, 5, 6, 7, 8, “多重集”数据结构. list(reversed(range(10))) 1.3、字典 1.3.1 、字典访问 字典可能是Python最为重要的数据结构。它更为常见的名字是哈希映射或关联数组。 为了得到一组能用于分析工作的格式统一的字符串，需要做很多事情：去除空白符、删除各种标点符号、正确的大写格式等。
1.2K50发布于 2020-12-24 - 来自专栏Python in AI-IOT
Python数据分析---性能分析
从上亿条的工业物联网数据中快速检索所需要的数据进行算法分析以及可视化，需要大量的科学运算，为了保证整个过程在用户可以忍受的等待时间内(10s)，需要在代码中找到影响性能瓶颈的代码或函数，然后对其优化 下面介绍自己日常经常使用的性能分析手段： 一般上我写代码没有使用Pycharm等高级IDE，而是在Python自带的IDE中编写。 image.png 利用jupyter的%time，%timeit image.png image.png image.png image.png 利用%run -p和%run -t来分析性能和执行时间 需要文件本身是从上到下执行的语句，如果是模块，为其编写main函数 image.png image.png image.png 使用python -m cProfile youcode.py 来对代码进行性能分析,也可以用python -m cProfile youcode.py -o youcode.prof将分析结果保存在文件中 image.png
1K20发布于 2020-05-13 - 来自专栏好奇心Log
Python数据分析 | 相关分析
目前手上有两本书，一本《利用Python进行数据分析》，一本《Python数据科学》。 对于学习什么东西，都有它的「道」和「术」。「道」即原理，「术」即技巧。 它并不会真正的教你如何去分析数据，适合查阅。 而后者呢，更注重数据分析的原理，教我们如何去剖析数据，得到我们想要的结果。 / 01 / 前言 说实话，《Python数据科学》这本书是真的不错。 它不仅提供了大量的专业术语的解释，还有各式各样通俗易懂的案例。 非常适合新手学习，后期一定也给大家争取争取一下送书的福利！ 所以在每篇的前言，我会摘要一些《Python数据科学》的相关内容。 一方面，加深自己对相关知识的印象。 另一方面，也分享给大家，补充一下专业知识。 ,建立评价人数列 for i in df['people']: dom3.append(int(i.replace('人评价', ''))) df['people_num'] = dom3 #
80050发布于 2021-11-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号