- 综合排序
- 最热优先
- 最新优先
- 来自专栏SeanCheney的专栏
Python数据科学分析速查表
---- 分享一组Python数据分析速查表（呆鸟翻译的）。
70710发布于 2018-09-19 - 来自专栏生信小驿站
使用pandas构建简单直观的数据科学分析流程
数据科学分析流程通常是一系列步骤：数据集必须经过清理、缩放和验证，然后才能准备好被强大的机器学习算法使用。当然，这些任务可以通过Pandas等包提供的许多函数/方法来完成，但更优雅的方法是使用管道。 在数据科学领域，具有管道特性的包的例子是R语言中的dplyr和Python中的Scikit learn。 我们将使用美国房价数据集。 假设机器学习团队和领域专家说，他们认为我们可以安全地忽略用于建模的平均面积房屋年龄数据。因此，我们将从数据集中删除此列。 在这里，我们应用Scikit学习包中的StandardScaler将数据标准化，转换后可以用于聚类或神经网络拟合。
1.2K20发布于 2019-12-11 - 来自专栏程序员的知识天地
最简洁的Python时间序列可视化：数据科学分析价格趋势，预测价格，探索价格
时间序列数据在数据科学领域无处不在，在量化金融领域也十分常见，可以用于分析价格趋势，预测价格，探索价格行为等。 学会对时间序列数据进行可视化，能够帮助我们更加直观地探索时间序列数据，寻找其潜在的规律。 本文会利用Python中的matplotlib【1】库，并配合实例进行讲解。 【工具】Python 3 【数据】Tushare 【注】示例注重的是方法的讲解，请大家灵活掌握。 01 单个时间序列 首先，我们从tushare.pro获取指数日线行情数据，并查看数据类型。 04 多个时间序列 如果想要可视化多个时间序列数据，同样可以直接调用plot()方法。示例中我们从tushare.pro上面选取三只股票的日线行情数据进行分析。 调用.plot.area()方法可以生成时间序列数据的面积图，显示累计的总数。
6.8K40发布于 2019-07-18 - 来自专栏互联网数据官iCDO
Look-alike用户行为模拟建模背后的科学分析
被吹嘘的Look-alike模型和基于行为特征的Look-alike 我之前曾在博客里为“大数据”大唱赞歌。我们曾经讨论过最优化算法和可以利用大数据来揭示的洞见。 唯一的改变是数据的体量和处理这些数据的速度。重要的是，不管你是在处理线性回归，神经网络学，或者什么完全不一样的东西，你都是在做同一件事情。 他们会设置一个数据阈值，比如说10%－15%的容差。他们中的一部分甚至会根据他们想要覆盖的用户数量凭空改变拟合。换句话说他们是在根据想要为你投放的广告数量来定义模型的。 ? 这个模型独立于数据深度就可以起效，我们关注单个的高提升度用户行为，而非试图在模型中找到具有全部特征的用户。 这个模型透明可见，不只是告诉你模型中的单个的行为组分，我们也为你提供工具方便你查阅。
2.5K50发布于 2018-03-02 - 来自专栏行业智慧解决方案及应用
数字赋能电力巡检，智慧提升企业质效
指挥中心通过GIS地图提前对所有巡检作业点可视布控，人员到站自动定位，实时精准位置信息回传，一屏掌握是否到岗；地图实时追踪巡检轨迹、巡检时长、巡检里程等信息，现场数据实时采集，高效核实工作状态，科学监管作业现场 为保证巡检工作的正确性和合规性，提升现场巡检人员工作效能，平台以巡检情景化制定作业标准条目，巡视人员在工作时按照标准化作业指导条目进行巡视，AI智能核验合规，实时智能采集现场图片、视频，确保作业真实无遗漏；工作数据自动入库 通过AI审核条目+人工自检+远程集中复核，实现问题及时整改，让作业一次做对，减免重复进场的协同成本，验收报告自动生成，巡检工作科学分析，作业质量和数量可度量，推动管理改进。 巡检过程中，人员发现线路设备缺陷隐患，问题在线及时提交上报，后台自动科学分析，准确判断缺陷情况，系统自动派单，推送给相关人员进行处置，检修任务许可开工，隐患整改过程实时跟踪，业务闭环管控。
1.3K90编辑于 2022-09-26 - 来自专栏Hadoop实操
Delta Lake - 数据湖的数据可靠性
很多企业使用 Apache Spark 将各种数据导入到数据湖（data lake）中，在这个过程会花费很多money。 但是至少数据都进到数据湖，是不是看起来很美好。 ? 然后渴望使用 Apache Spark 基于数据湖存储的海量数据进行数据科学分析和机器学习（ML）。 开始干活了，是不是真的很美好。 ? OMG，出问题了，一堆数据大部分都是不可靠的，导致大部分项目都失败了。这是因为数据科学分析和机器学习对数据质量要求非常高。 看来，美好只是想想而已，别当真。 数据湖的模样 ? 可能是收集所有的数据，比如客户数据、视频/语音、点击流、传感器数据等 不是传统的 RDBMS，不需要提前设置 Schema 基于数据湖进行科学分析和机器学习，用于推荐引擎、风险/欺诈检测、IoT等 但是问题是 ，但是有没有发现，很难处理以前历史数据，比如一年前的数据分析，以及更新的历史数据情况。
2.1K41发布于 2019-11-21 - 来自专栏生信技能树
【好书共享】《R for Data Science》的中译版
要学什么 数据科学的范围很大，不可能通过这么一本书就能掌握的。通过这本书我们能够为使用绝大部分重要数据科学分析流程打下坚实的基础。 很多数据科学分析流程大概就如下图： ? Program 第一步，导入数据（文本文件、数据库、网页API）。没有数据导入，就没有后续数据科学分析； 第二步，规整数据（每列都是变量，每行都是观测值）。 规整好数据结构，让分析者关注数据问题本身； 第三步，转变数据。整理数据和转变数据合在一起叫做数据整形（wrangle）； 第四步，可视化数据。 高级数据整形包的学习： 使用tibble来替代data.frame；（优点很多，生成的数据框数据每列可以保持原来的数据格式，不会被强制性改变；查看数据时，像head()时不再会一行显示不下，多行显示得非常丑 3：写在最后 看完这本书后，在以后用R进行数据分析绘图会更加高效了，对数据整形、数据可视化在数据挖掘中的重要性有了深刻的认识，当然模型也很重要（我不是没认真看嘛）。
4.9K32发布于 2018-08-16 - 来自专栏大数据应用解读
多地积极建设大数据招商平台，大数据成为产业发展的新动能
国务院在《关于印发大数据发展行动纲要的通知》中指出：大数据产业已成为推动经济转型发展的新动力。不可否认，正是互联网与传统经济的碰撞，才催生出了今天几乎全民关注的大数据，这是时代出现的必然结果。 通过大数据科学分析地区经济发展特色及发展定位。比较优势理论指出，区域之间存在着要素禀赋差异。而科学分析区域要素禀赋，并在此基础上确定区域经济产业发展方向，合理确定发展定位，是一项十分困难的工作。 在大数据技术的支持下，通过分析企业经济数据从而建立适合的经济模型，可以确定合适的撮合条件。对于未来可能投资的企业，通过大数据研究企业的碎片化行为，可以准确判断企业的真实需求。 拓展网络经济空间，推进数据资源开放共享，实施国家大数据战略，超前布局下一代互联网，一个确信无疑的事实是，我们已经身处大数据时代。 当大数据上升到国家战略层面，黑龙江、贵州、惠州等省市和地区纷纷率先运用大数据开展招商引资，依托线上平台的信息共享、数据分析，实现线下的精准招商，大数据已经成为驱动地方产业经济发展的全新动力。
96030发布于 2020-11-03 - 来自专栏智药邦
默克与Saama合作构建机器学习驱动的临床数据层，加强临床开发能力
2022年8月10日，Saama Technologies宣布与默克（Merck & Co，在美国和加拿大以外称为 MSD）达成一项多年协议，利用Saama的生命科学分析云（LSAC）建立和运营一个新的临床数据层 根据协议，默克将把LSAC整合到其临床开发系统中，以提高与数据摄取、管理和转换相关的速度和效率，并促进从多个内部和外部数据源到多个业务平台和分析需求的处理。 Saama的LSAC是一个端对端、支持机器学习（ML）的临床数据管理和认知洞察力平台，旨在加速临床研究结果。 该公司基于云的、由人工智能驱动的解决方案和服务提供了强大的数据聚合、监测、分析和协作能力，因此申办方和CRO可以优化药物开发流程，同时确保缩短周期时间和提高数据质量。 Saama的人工智能模型是用超过一亿的临床数据点训练出来的，很容易嵌入到现有的基础设施和业务工作流程中。
39430编辑于 2022-11-16 - 来自专栏王小雷
Python,Jupyter Notebook，IPython快速安装教程
Python,IPython,Jupyter Notebook快速安装教程 下一篇：IPython、Notebook、qtconsole使用教程 下一篇：Python数据科学安装Numby,pandas ,scipy,matpotlib等（IPython安装pandas） 最近深入Python的数据分析方面，为了进一步优化工具决定自己动手安装，可是看到安装文档基本千篇一律，跟不上版本变更只好看官方文档 ，选择了快速安装，这也省去了新手不少的时间，从而有更多的时间专注于工具的使用和科学分析。 下一篇：IPython、Notebook、qtconsole使用教程 下一篇Python数据科学安装Numby,pandas,scipy,matpotlib等（IPython安装pandas）
1.7K80发布于 2018-01-08 - 来自专栏PPV课数据科学社区
【干货】数据化运营日记：我是这样做数据分析与辅导的！
大数据时代，利用数据进行精细化运营才是商业的长久生存之道。作为一线运营人员，学会商铺数据分析与租户辅导方法，不仅可以最大化挖掘数据背后潜在的商业价值，而且可以提升自己的工作技能，获得更大的发展平台。 一、在进行商铺数据分析前，我要了解哪些问题？ 1、商铺数据收集必须解决的2个问题 ? 2、商铺数据分析的3种理解误区 ? 二、数据收集完毕后，我怎样才能准确分析数据？ 1、数据分析管理的实质 ? 6、常用的几个科学分析方法 ? 7、提高数据分析能力的4要点 ? 三、做完数据分析，我如何对租户进行有效辅导？ 1、新开店铺业绩如何做出有效预测? ? ? 2、如何通过费用控制提升利润？ ? 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、 专注大数据行业人才的培养。每日一课，大数据（EXCEL、SAS、SPSS、Hadoop、CDA）视频课程。大数据资讯，每日分享！数据咖—PPV课数据爱好者俱乐部！
89150发布于 2018-04-20 OpenAI开源GPT模型登陆SageMaker JumpStart平台
这两款模型专长于编程、科学分析和数学推理任务，具有128K上下文窗口和可调节推理级别（低/中/高），支持外部工具集成和代理工作流。 资源清理完成测试后需删除端点避免额外计费：predictor.delete_model()predictor.delete_endpoint()该解决方案为企业用户提供了安全可控的生成式AI部署环境，支持在私有VPC内运行模型，满足企业级数据安全需求
29610编辑于 2025-08-15- 来自专栏python学习教程
Python基础进阶需要掌握哪些知识点？
Python基础进阶知识点： 一、Web开发 同步框架：Django、Flask；异步框架：Tornado、Sanic；Tornado框架；Git版本控制；HTTP方法以及响应码；关系型数据库： MySQL、PostgreSQL、Oracle；非关系型数据库：Redis、Mongo；日志；项目的部署；实战练习。 ：正则、XPath、Beautiful Soup、pyquery；数据持久化；并发下载：aiohttp、async、await、异步I/O 、协程；其他：框架(Scrapy)、Selenium 三、 数据分析 数据整理库：Pandas、Numpy库；数据可视化：matplotlib库、pycharts库 四、人工智能 网络爬虫;爬虫原理与数据抓取；scrapy框架；爬虫分布式集群；大项目三 ：婚恋网站数据采集；大数据科学分析；数据分析；数据可视化；大项目四：婚恋网站数据分析；机器学习；监督学习算法；机器学习框架scikit-learn；大项目五：广告推荐系统； 需要掌握的核心编程：.Linix
59010发布于 2020-09-07 - 来自专栏智慧物联产品＆方案
基于多功能杆的智慧农田监测应用
智慧农田多功能监测杆架构设计感知层：通过搭载各类传感器和摄像头，对监控区域的土壤资源、水资源、环境气候及农情信息等进行全程精准监测和研究；网络层：可通过BMG500智慧杆网关，实现传感器数据的统一采集、 集中汇聚、边缘计算分析，并且可选有线网络、5G/4G无线网络上传至智慧农业云平台；应用层：综合环境大数据、生产大数据的农业物联网云平台，实现大数据分析、设备远程控制和实时视频监控，辅助优化生产决策，提高耕植效率 智慧农田多功能监测杆应用设计综合环境传感监测：集成空气温湿度监测、地块土壤墒情监测、光照监测、风速风向监测、雨量监测、气压监测等，实现对环境数据指标进行全天候监测，为农户提供实时、历史的农情数据科学分析
68220编辑于 2022-10-28 - 来自专栏Python大数据分析
【Python图书优惠】
推荐书单 01 《利用Python进行数据分析》 推荐语：本书由Python pandas项目创始人Wes McKinney亲笔撰写，详细介绍利用Python进行操作、处理、清洗和规整数据等方面的具体细节和基本要点 03 《Python数据分析与数据化运营（第2版）》 推荐语：这是一本将数据分析技术与数据使用场景深度结合的著作，从实战角度讲解了如何利用Python进行数据分析和数据化运营。 04 《Python数据可视化：基于Bokenh的可视化绘图》 推荐语：从图形绘制、数据动态展示、Web交互等维度全面讲解Bokeh功能和使用，不含复杂数据处理和算法，深入浅出，适合零基础入门，包含大量案例 07 《Python3智能数据分析快速入门》 推荐语：本书系统讲解Python3智能数据分析必备知识，配有大量示例代码、数据和教学资源。本书版权已输出至英国Taylor&Francis。 10 《数据科学导论：Python语言实现（原书第2版）》 推荐语：涵盖进行数据科学分析和开发的所有关键要点，包括Python软件及相关工具包的安装和使用。
3.3K30编辑于 2022-04-03 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
NASA数据集——AIRS-CloudSat 云掩模和雷达反射率定位指数 V4.0 (AIRS_CPR_IND)
AIRS-CloudSat cloud mask and radar reflectivities collocation indexes V4.0 (AIRS_CPR_IND) 利用云分类的多传感器水蒸气气候数据记录 简介 4.1 版是数据集的当前版本。 这些数据按 AIRS 6 分钟粒度时间将 CloudSat 剖面索引映射到共用的 AMSU 视场和 AIRS 红外足迹。因此可将其视为 1 级。这些数据是在 MEaSUREs 项目框架内创建的。 这是一个大型科学分析项目，需要使用 SciFlo 技术来发现和组织所有数据集，根据需要移动和缓存数据集，找到成对仪器之间的空间/时间 "匹配"，并处理多年的卫星数据以生成气候数据记录。 该数据集的简称为 AIRS_CPR_IND 简称：AIRS_CPR_IND 长名称:AIRS-CloudSat 云掩蔽和雷达反射率定位指数 V4.0 doi:10.5067/measures/wvcc
26800编辑于 2024-05-24 AI 教学质量监测平台：让课堂质量看得见、改得快
提到 “教学质量监测”，很多老师会想到繁琐的听课记录、堆积的学生作业，管理者则头疼数据零散、评价主观。 而 AI 教学质量监测平台的出现，就像给教学装上了 “智能显微镜”，用技术打破传统监测的痛点，让课堂里的每一个细节都能被精准捕捉、科学分析。 最后是大数据分析技术，负责把零散数据变成 “教学改进指南”。 平台会整合课堂行为数据、作业数据、考试成绩，形成多维度分析报告：比如某老师的课堂互动率很高，但学生作业错误率集中在某个知识点，系统会推测 “讲解深度不足”；某班级学生专注时长呈下降趋势，可能提示 “教学节奏需要调整 它负责处理繁琐的数据统计、细节捕捉，让老师能把更多精力放在教学设计和学生沟通上。
36810编辑于 2025-11-26- 来自专栏企鹅号快讯
北京青年报：用数据说话应是网络强国标配
《中国交通报》和同程旅游近日联合发布《2018年春运大数据报告》，针对人们的春运出行意愿进行系统分析，发现铁路依然是人们春运出行的首选。 从2015年12月开始，人们发现12306的运行更稳定了，经过3年的云化升级，在2017年1月，12306经受住了每天多达250亿次的访问，这是"云查询"的功劳，更准确地说，是数据支持与数据运用的完美结合 每一次技术与服务的进步，都是对数据精准把握的结果。建设网络强国，一方面是保护数据的安全，另一方面就是要用活数据、让数据说话。 构建健康网络环境，保护用户隐私不被泄露，这是使用数据的第一步﹔在掌握数据的基础上，科学分析、精准定位，则是用活数据的关键。 为此，互联网的使用者和建设者不仅要有共同的目标，还要运用互联网思维和大数据思维，真正让数据说话，走好网络强国之路。
55860发布于 2018-01-24 - 来自专栏大数据文摘
企业如何搭建营销部门的大数据天文望远镜
简单的理解，DMP就是可以搜集用户数据的天文望远镜，是利用大数据技术从海量杂乱的数据中抽取出有价值信息的数据软件平台。 数据管理平台是是营销大数据的一个落地技术解决方案，是利用大数据技术从海量杂乱的数据中抽取出有价值信息的数据软件平台。 现在DMP更多被定义为能统一抽取公司各业务离散的数据并作出科学分析来支撑决策的技术性平台。 通过采集企业内部自身各业务部分越来越多的数据，如客户数据、会员数据、ERP数据、DEM数据、用户在网页上的点击数据等，做出科学分析，给予营销工作数据支持。 营销部门好用DMP是什么样的呢？ ，不管营销是在用数据验证些假设，还是通过数据发现新的知识与规律，DMP都可以帮助营销部门养成“听”数据的习惯。
93990发布于 2018-05-21 - 来自专栏加米谷大数据
大数据行业的热门职位有哪些？
一般我们把数据科学与大数据领域的角色分成4类：数据架构师、数据分析师、数据科学家、数据工程师。 以下是热门的大数据岗位： 大数据开发工程师 数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发，其实这是3个岗位，各自要求也不尽相同。 大数据分析师 基于各种分析手段，利用大数据技术对大数据进行科学分析、挖掘、展现并用于决策支持。 数据挖掘工程师 数据挖掘工程师，也可以叫做“数据挖掘专家”。 数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术。 算法工程师 数据挖掘、互联网搜索算法这些体现大数据发展方向的算法，在近几年越来越流行，而且算法工程师也逐渐朝向人工智能的方向发展。 数据安全研究 数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。
1.1K30发布于 2019-11-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号