首页
学习
活动
专区
圈层
工具
发布

pandas读取日期后格式变成XXXX-XX-XX 00:00:00?(文末赠书)

问了一个Pandas处理Excel的问题。问题如下:pandas读取了XXXX-XX-XX的日期后变成XXXX-XX-XX 00:00:00 有什么方式可以读取时不改变日期格式吗?...二、实现过程 这里【莫生气】问了AI后,给了一个思路:在使用 pandas 读取日期时,如果希望保持日期格式的原样,不自动添加时间部分(如 00:00:00),可以通过以下几种方式来实现: 指定列格式:...在读取 CSV 文件时,可以通过 pandas.read_csv 方法的 parse_dates 参数来指定日期列的格式。...通过这些方法,你可以根据需要读取日期,而不会让 pandas 自动更改日期格式。记住,如果你之后需要进行日期时间运算,可能需要将日期列转换为正确的 datetime 类型。...在将日期数据保存到 Excel 文件时,Pandas 默认会将日期时间保存为完整的日期时间格式,包括小时、分钟和秒。

2.2K10

一根缺失K线,为什么会让我的量化回测结果失真

策略逻辑没有改,参数没有改,手续费也没有改,但回测结果突然比之前高了一截。最开始我以为是代码版本发生了变化。我把策略代码、参数配置、交易成本全部检查了一遍,没有发现异常。于是我开始检查原始K线。...更麻烦的是,这个断层并没有让程序直接报错,因为Pandas仍然可以正常计算均线。这类问题最容易误导人。...二、问题根因分析1.K线缺失,本质上改变了时间序列我后来把问题拆成三个层面。第一层是数据层。...假设我原本拥有:日期收盘价第1天100第2天102第3天101第4天103如果第3天的数据丢失,程序看到的可能变成:日期收盘价第1天100第2天102第4天103对于Pandas来说,这仍然是一个完全合法的时间序列...结果很快发现,数据格式不一致只是最表面的问题。更麻烦的是:时间字段定义不同;股票代码格式不同;复权规则不同;缺失数据处理方式不同。最后我的回测系统里面充斥着各种针对数据源的特殊判断。

31310
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    后端对前台传递的日期类型处理的两种方式

    1、@JsonFormat注解 我之前一直使用这种方式来接收前台传进来的日期类型,当初感觉挺好用的,一直用一直爽,直到有一天,前端传进来的日期类型变了,本来的格式是yyyy-MM-dd HH:mm:ss...,突然有个数据成了yyyy-MM-dd, 就导致后台报错,类型转换异常。...这个时候你可能跟我一样把接收的格式改一下,但是万一前端他传进来的日期格式又变了你该怎么办呢? 所以再给大家说第二种处理方式!...,所以是我扩展新加的,所以通过转化器的这种方式,请求进来进来之后,如果参数中有日期格式,那么首先会进入转换器中进行解析,通过上面的代码大家很容易看出,通过传进来的格式判断日期是哪种格式,然后再进行解析,...但是如果你传进来的日期格式不符合规范或者说没有定义格式,那么在转换的过程中,还是会报错。

    4.8K11

    Python数据分析实战基础 | 初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...05 列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...4、 改: 好事多磨,复杂的针对特定条件和行列的筛选、修改,放在后面结合案例细讲,这里只讲一下最简单的更改:df['旧列名'] = 某个值或者某列值,就完成了对原列数值的修改。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...在实际业务中,一些时候PANDAS会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: ?

    2.6K30

    Python数据分析实战基础 | 初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...05 列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...4、 改: 好事多磨,复杂的针对特定条件和行列的筛选、修改,放在后面结合案例细讲,这里只讲一下最简单的更改:df['旧列名'] = 某个值或者某列值,就完成了对原列数值的修改。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...在实际业务中,一些时候PANDAS会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: ?

    2.7K12

    一文带你快速入门Python | 初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...05 列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...4、 改: 好事多磨,复杂的针对特定条件和行列的筛选、修改,放在后面结合案例细讲,这里只讲一下最简单的更改:df['旧列名'] = 某个值或者某列值,就完成了对原列数值的修改。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...在实际业务中,一些时候PANDAS会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: ?

    2K01

    Python数据分析实战基础 | 初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...05 列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...4、 改: 好事多磨,复杂的针对特定条件和行列的筛选、修改,放在后面结合案例细讲,这里只讲一下最简单的更改:df['旧列名'] = 某个值或者某列值,就完成了对原列数值的修改。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...在实际业务中,一些时候PANDAS会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: ?

    2.3K40

    Python数据分析实战基础 | 初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...05 列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...4、 改: 好事多磨,复杂的针对特定条件和行列的筛选、修改,放在后面结合案例细讲,这里只讲一下最简单的更改:df['旧列名'] = 某个值或者某列值,就完成了对原列数值的修改。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...在实际业务中,一些时候PANDAS会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: ?

    1.9K21

    Python数据分析实战基础 | 初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...05 列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...4、 改: 好事多磨,复杂的针对特定条件和行列的筛选、修改,放在后面结合案例细讲,这里只讲一下最简单的更改:df['旧列名'] = 某个值或者某列值,就完成了对原列数值的修改。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...在实际业务中,一些时候PANDAS会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: ?

    2.3K30

    WorkBuddy | A股公告定向抓取推送(含踩坑)

    这是pandas的已知行为,**写入端单独解决不了**。...光在写入端设number_format='@'不够,pandas读取时会自作聪明转回去。坑2:AKShare源码BUG——早期日期全崩溃现象:首次运行想拉300天历史数据,进度条跑到一半直接抛异常。...这才符合"冷启动"的本意——长期沉寂后突然爆发。教训:设计复合条件时,一定要画时间轴检查窗口之间是不是子集关系。子集条件=死条件。...config.get('thresholds')拿不到值,fallback到代码里写死的默认阈值,改配置等于白改。修复:统一成复数"thresholds"。...七、延伸这套系统的核心价值不在于"省时间",而在于**把模糊的"感觉这只票机构突然多了"变成可量化、可回溯、可复现的信号**。

    54300

    用Python给运营同事做了个Excel自动化工具,从此她再也不加班了

    Python:最终选了Python,Pandas处理表格数据是真的香,配合openpyxl操作Excel格式,matplotlib画图表,最后用pyinstaller打包成exe,完美解决环境问题。...用到的库都是非常成熟的,没有用什么冷门依赖:pandas==1.5.3 # 数据处理openpyxl==3.1.2 # Excel读写和格式设置matplotlib==3.7.1 # 生成图表pyinstaller...解决方案:用pandas自带的转换函数,注意origin要设成1899-12-30,别问为什么,Excel自己有个千年虫bug,少算两天:# 转换Excel日期序列号df['pay_time'] = pd.to_datetime...为系统自带中文字体打包exe后运行闪退相对路径问题,打包后工作目录变了用sys...._MEIPASS处理资源路径写入Excel时原有格式全丢pandas默认会覆盖整个sheet用openpyxl加载原有工作簿,只写入数据区域核心功能实现踩完所有坑之后,核心逻辑其实就几十行代码,我加了详细的注释

    51510

    初识Pandas

    这里有一点需要强调,Pandas和Excel、SQL相比,只是调用和处理数据的方式变了,核心都是对源数据进行一系列的处理,在正式处理之前,更重要的是谋定而后动,明确分析的意义,理清分析思路之后再处理和分析数据...四、列的基本处理方式 这里,我们采用SQL四大法宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。...格式,int64对应的就是int格式,float64对应的就是float格式即可。...以案例数据为例,我们这些渠道数据,是在2019年8月2日提取的,后面可能涉及到其他日期的渠道数据,所以需要加一列时间予以区分,在EXCEL中常用的时间格式是'2019-8-3'或者'2019/8/3',...会把文件中日期格式的字段读取为字符串格式,这里我们先把字符串'2019-8-3'赋值给新增的日期列,然后用to_datetime()函数将字符串类型转换成时间格式: import pandas as pd

    2.2K31

    量化投资中常用python代码分析(一)

    一般,最常用的交易数据存储格式是csv,但是csv有一个很大的缺点,就是无论如何,存储起来都是一个文本的格式,例如日期‘2018-01-01’,在csv里面是字符串格式存储,每次read_csv的时候,...我们如果希望日期以datatime格式存储的时候,都要用pd.to_datetime()函数来转换一下,显得很麻烦。...0都消失了,很显然,原来的股票代码被改变了,会造成很多不方便。      ...此外,如果我们的pandas中的某些地方存储的不是可以被文本化的内容的时候,csv的局限性就更大了。pandas官方提供了一个很好的存储格式,hdfs。...所以笔者建议,凡是pandas格式的数据,想存储下来,就用hdfs格式。       例如下面这样的一个数据: ?

    2.3K20

    Excel数据清洗不想写公式?我用AI十分钟搞定

    上周同事发来一张"惨不忍睹"的Excel:一万多行数据,日期格式五花八门(2024/7/1、2024-7-1、7月1日混着来),姓名列有的带空格有的不带,手机号有的11位有的13位(混入了座机),还有一堆...第2步:AI列出问题清单 AI很快返回了问题清单,比我预想的还全: 列 问题 建议清洗规则 日期 三种格式混用 统一为 yyyy-mm-dd 姓名 前后空格、全角半角混用 去空格、统一半角 手机号 混入座机号...),而不是让它直接改Excel——这样规则可复现、可复查,一万行数据脚本跑一遍只要几秒: import pandas as pd import re df = pd.read_excel("客户表.xlsx...日期统一 df["日期"] = pd.to_datetime(df["日期"]).dt.strftime("%Y-%m-%d") # 2....直接改容易"改坏"而不自知; 给AI"边界":清洗规则里明确"无法判断的标记为待人工确认,不要自作主张乱填"——AI有填补"合理值"的倾向,这在数据清洗里是危险的; 保留原始数据:清洗前先复制一份原始表存档

    16410

    为什么个人量化者总在做数据工程:我踩过的三个坑

    如果数据源突然少了一天,我的rolling计算可能仍然能够执行。这反而更危险。因为程序没有报错,但策略输入已经发生变化。...接口变化需要自己改,数据异常需要自己查,跨市场需要自己统一,定时任务还要考虑失败重试。当股票池从几十只扩大到几百只以后,我发现自己越来越像一个数据运维工程师。...现在我会按照:数据是否存在→日期是否完整→标的是否正确→复权是否一致→字段是否异常→最后才检查策略。这是我目前最推荐的三个工程习惯。...否则几个月后重新跑回测,很容易出现“代码没变,结果变了”的问题。避坑3:对空数据进行显式处理我见过最危险的数据问题不是请求报错,而是请求成功但返回空数据。...我更关注标的代码是否统一、时间范围查询是否方便、批量接口是否完整、是否支持Pandas,以及异常情况下能不能快速定位问题。

    20010

    自媒体数据查完忘记录本地储存数据+导出功能,复盘资料不丢失

    直到有一天,我盯着自己刚写的自动发布脚本突然反应过来既然能用 Python 自动发文章,为什么不能顺便把数据也自动存下来于是,我一口气撸了个本地数据存储+导出系统,后来干脆整合进了「AI智能媒体助理」里...所以我们的需求非常明确✅ 自动采集各平台关键数据✅ 本地持久化存储(不依赖平台保留期)✅ 支持导出为结构化格式(Excel/CSV)✅ 能对比历史趋势,指导运营决策02 我是怎么用技术实现“数据自动化存储...NULL, -- 平台名如「百家号」 account_name TEXT NOT NULL, -- 账号名 date TEXT NOT NULL, -- 统计日期...❓ 问导出 Excel 后怎么分析✅ 答你可以用 Excel 自带的透视表功能,按平台、时间维度看趋势;或者用 Python 的 Pandas 做进一步分析(比如找出阅读量>10000 的爆文特征)。...「AI智能媒体助理」提供私有云源码部署(10,000元),你可以自己改代码、加功能、对接内部系统。技术不该是门槛,而是你高效运营的跳板。别让明明可以自动化的数据记录,继续消耗你本就不多的创作时间。

    62710

    Pandas合并成一张大表用replace把符号替换了还有报错,怎么破?

    一、前言 前几天在Python最强王者交流群【钟爱一生】问了一个Pandas数据处理的问题。...问题如下所示: 各位大佬,我是把12个月的表用concat合并成一张大表了,用replace把符号替换了还有报错,我应该怎么改 代码如下: 报错图如下: 二、实现过程 这里【东哥】给了一个指导,如下所示...: # 方法一 df["日期"] = df["日期"].str.replace("-", "/") df['日期'] = pd.to_datetime(df['日期'], format='%Y/%m/%...方法二 from datetime import datetime def get_time(date_string): date_format = "%Y/%m/%d" # 使用正确的日期格式...这篇文章主要盘点了一个Pandas数据提取的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

    50910

    手把手教你使用Pandas从Excel文件中提取满足条件的数据并生成新的文件(附源码)

    方法一:分别取日期与小时,按照日期和小时删除重复项 import pandas as pd excel_filename = '数据.xlsx' df = pd.read_excel(excel_filename...0 import pandas as pd excel_filename = '数据.xlsx' df = pd.read_excel(excel_filename) # 方法二:把日期中的分秒替换为...SampleTime_new.duplicated() == False] print(df) # 把筛选结果保存为excel文件 df.to_excel('数据筛选结果2.xlsx') 方法五:对日期时间进行重新格式...:对日期时间进行重新格式,并按照新的日期时间删除重复项(会引入新列) df['new'] = df['SampleTime'].dt.strftime('%Y-%m-%d %H') df = df.drop_duplicates...方法六:使用openpyxl处理 这里我本来还想用openpyxl进行实现,但是却卡壳了,只能提取出24条数据出来,先放这里做个记录吧,哪天突然间灵光了,再补充好了。

    5.7K50

    Pandas 快速入门(二)

    有很多种情况,包括部分数据缺失,一些数据的格式不正确,一些数据的标注问题等等。对于这些数据,我们在开始分析之前必须进行必要的整理、清理。...教师 Mr xiao Wang Female 25 教师 Mrs 对于数据量大的情况,有时候不能够在分析之前就发现数据中存在的问题,往往是分析进行到一半,突然发现有的数据格式或者质量有问题...如果是从文件读入的数据,可以使用 parse_dates参数来对日期进行解析。 对于日期型的索引,可以根据日期、月份、年份、日期范围来方便的选择数据。...调用格式pd.pivot_table(data,values,index,columns,aggfunc)。...进行数据分析 2、十分钟搞定pandas 3、Pandas Documentation 4、DataFrame Replace

    1.9K20
    领券