首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AI研习社

    数据科学家必看!处理数据7 个小技巧

    原标题 | 7 Tips for Dealing With Small Data 作者 | Daniel Rothmann in Towards Data Science 译者 | 朱惠94(上海大学 在这篇文章中我会分享7个小技巧,能帮助你在用小数据集建立原型时改善成果。 ? 4:生成合成数据 如果你困于增加真实数据的方案选择,你可以开始考虑创造一些伪造的数据,生成合成数据是应对极端案例的好方法,而你的真实数据库无法应对。 7:尝试弱学习者的组合 有时,你只需要面对一个现实,你就是没有足够的数据来搞胡里花哨的东西。 本文编辑:王立鱼 英语原文:https://towardsdatascience.com/7-tips-for-dealing-with-small-data-7ffbd3d399a3 想要继续查看该篇文章相关链接和参考文献

    50130发布于 2019-07-16
  • 来自专栏万能的小草

    成为数据科学家7件事,必看!

    一、概括 本文强调了大数据相关专业学生与实际的数据科学家所需的重要技能之间的一些知识差距。在校期间通常不会教授版本控制、云技术、DevOps 等一些技术技能。 除了硬技能之外,将讨论成为更具适应性的数据科学家所需的软技能,例如向上管理。 每个人都投入最多时间的硬技能很少对数据科学家构成挑战。 3.职位描述不代表实际工作内容 有人说数据科学家是最性感的工作。我想说只有工作描述才是性感的。企业用它来吸引尽可能多的应聘者。 强烈鼓励联系该团队中的数据科学家,了解他们实际上在做什么。 4. 上游数据的质量不由你掌控 感谢团队内部数据仓库工程师、数据分析师,我们可以从数据平台提取数据并向业务方讲述故事。 7.什么时候换工作? 通常,招聘人员会在官网或maimai、boss邀请参加工作面试。如果没有收到任何信息,请查看boss个人资料并在那里展示相关技能。

    35110编辑于 2024-07-23
  • 来自专栏数据科学与人工智能

    数据科学家】揭秘数据科学家

    数据科学家”这个新称谓近两年才被叫响。大数据数据科学家有着千丝万缕的联系,因此容易让人产生一种错觉,数据科学家是大数据时代特有的一类专才。 但其实在传统的结构化数据处理过程中,数据科学家的身影就已经出现。记者最近采访了一些中国的大数据企业,其中很多企业并没有设立数据科学家这一职位,但数据分析师、数据工程师等都在做着数据科学家的工作。 尽管大数据项目的实施在没有数据科学家的情况下也能够成功地完成,但有鉴于数据科学家将成为大数据项目的工具、系统和输出的最终用户,数据科学家在大数据项目的计划阶段至关重要。 中桥调研咨询曾经在2013年7月针对中国市场做过一次调研,结果显示:中国目前实现近实时和实时分析的企业不到5%,远远落后于欧美市场53%的比例;在大数据处理中,中国用户目前还主要局限在结构化数据方面,其大数据工作的主要目标是通过批量分析控制成本 自己培养数据科学家 在品友互动其实并没有数据科学家这个职位,有的只是算法工程师、数据工程师等,他们从事的是数据科学家的工作。

    1.4K100发布于 2018-02-27
  • 来自专栏CDA数据分析师

    成为数据科学家7本入门推荐书籍

    作者 Tomi Mester 编译 王下邀月熊_Chevalier 来源:segmentfault 过去的几年中我一直在阅读各式各样的数据科学方面的书籍资料,上述7本是我个人最为欣赏的,它们都是我认为的将数据科学的基础原理阐述的通俗易懂的很有价值的资料 Charles Wheelan 这本书我一直很是推荐,因为它不仅仅面向数据科学家,而是为任何一个行业的人提供基本的统计思维,这一点恰恰是我认为非常关键的。 你可以自己去获取、清洗、转化或者分析你的数据。不过我也不会一上来就扔出大堆的编程知识,我建议还是从简单的命令行操作开始学起,而本书正是介绍如何只用命令行就帮你完成些数据科学的任务。 6. 7. I heart logs?—?Jay Kreps 最后一本书则是短小精悍,加起来才60多页吧。 不过它对于数据收集和处理的技术背景有很好的概述,虽然很多分析家或者数据科学家并不会直接用到这些知识,但是至少你能够理解技术人员们可以用哪些架构去解决数据问题。

    1.7K60发布于 2018-02-23
  • 来自专栏数据科学与人工智能

    数据科学家数据科学家修炼之路

    经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书?”类似的问题。下面是一份建议书单,同时也是成为数据科学家的指南,当然,这不包括取得合适大学学位的要求。 在深入探讨之前,数据科学家似乎需要掌握许多技巧,如:统计学、编程、数据库、演讲技巧、数据清理与变换知识。 ? 理想情况下,你需要具备以下技能: 了解统计学与数据预处理知识。 理解统计陷阱。 数据预处理 我必须再次强调确认并检查你数据的重要性。数据预处理除了能将数据转换成算法更易识别或处理的模式还能防止将输入数据错误。 信息提取与文本分析是数据科学家需要掌握的重要技能。 结语 最后,这里还有一些数据科学家不该错过的书籍: Data Mining and Statistics for Decision Making by Stéphane Tufféry (A personal

    1.1K100发布于 2018-02-27
  • 来自专栏数据科学与人工智能

    数据科学】数据科学家7种统计学使用场景

    ;毕业后将以数据科学家的身份加入Quora。 数据科学家可以通过整合全局数据和先验知识,获得一个令人满意的估算,报告估算的性质,并总结出估算的意义。 7. 用数据去讲故事 在公司里,数据科学家的角色就像是数据和公司之间的使者。沟通是很重要的;数据科学家必须用一种公司可以接受的方式去解释这些洞察,同时不能丧失数据的保真度。 数据科学家并不是简单的汇总数据,而是需要解释为何这些数据是重要的,以及从中可以获得的可执行的洞察是什么。 数据科学家是公司里讲故事的人,传达着数据的意义,以及数据对公司的重要性。 用到的统计学知识:展示数据和沟通能力,信息可视化。 借助于统计学,数据科学家们得到了洞察,去鼓励决策以改进产品或商业;同时从数据中提取出了可执行的洞察,以促进公司的愿景。

    1K80发布于 2018-02-26
  • 来自专栏PPV课数据科学社区

    【工具】数据科学家必知必会的 7 款 Python 工具

    在云上用预测服务便捷地配置数据产品。 为探索和产品监测创建可视化的数据。 由 Galvanize 数据科学家 Benjamin Skrainka 提供。 由 Galvanize 专家,数据科学家 Nir Kaldero 提供。 PuLP 线性编程是一种优化,其中一个对象函数被最大程度地限制了。PuLP 是一个用 Python 编写的线性编程模型。 由 Galvanize 数据科学家 Isaac Laughlin 提供 Matplotlib matplotlib 是基于 Python 的 2D(数据)绘图库,它产生(输出)出版级质量的图表,用于各种打印纸质的原件格式和跨平台的交互式环境 由 Galvanize 数据科学家 Benjamin Skrainka 提供。 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、

    91160发布于 2018-04-20
  • 来自专栏数据科学与人工智能

    数据科学家】LInkedin数据科学家如何工作

    在互联网企业中,LinkedIn是一家出了名的“慢公司”,但LinkedIn也是最成功的社交网络,用户品质、广告价值都是行业翘楚,秘密在于LinkedIn有一个高效的数据科学家团队。 为什么人们现在如此的关心统计和数据,为什么数据科学家成了最性感的工作, 最近,在TiE的峰会上, LinkedIn的首席数据科学家Manu Sharma 接受了采访, 揭秘了LinkedIn的数据分析的工作 数据科学家需要具备好奇心和直觉。 他们需要想的问题是:我能用这些数据来做什么呢? 我需要问什么样的问题?这些数据能告诉我什么? 他们还需要足够的直觉来了解他们所采用方法的局限性。 数据科学家的工作包括, 采集数据, 整理数据, 建立正确的模型, 测试模型, 还要有一定的编程能力。 一个数据科学家需要具备这些技能, 而这些技能也是一个初创企业在建立它的数据科学家团队所需要的技能。 问: LinkedIn数据应用的重点是那几个方面?

    76490发布于 2018-02-27
  • 来自专栏博文视点Broadview

    数据科学家 VS 真数据科学家

    管理决策层在搭建其数据科学家团队时,有时也不是很清楚他们想要的到底是什么。他们往往最终招募的是很纯粹的技术极客、计算机科学家,或者缺乏恰当大数据经验的人。 事实上,你可以成为一名真正的数据科学家,且不需要掌握这些技能。NoSQL和MapReduce不是新概念——在这些关键词被创建之前,就有很多人接触到它们。 成为一名数据科学家,你需要以下能力。 数据科学家在商业分析、统计学和计算机科学等领域也是通才,比如会掌握这些专业知识:健壮性、实验设计、算法复杂度、仪表盘和数据可视化。 一些数据科学家也是数据策略师——他们可以开发数据收集策略,并使用数据来发现可操作的、能对商业产生影响的见解。这就要求数据科学家具有创造性,能根据业务要求,制定分析、提出解决方案。 本文选自《数据天才:数据科学家修炼之道》

    68420发布于 2020-06-11
  • 来自专栏数据科学与人工智能

    数据科学家】SparkR:数据科学家的新利器

    摘要:R是非常流行的数据统计分析和制图的语言及环境,有调查显示,R语言在数据科学家中使用的程度仅次于SQL,但大数据时代的海量数据处理对R构成了挑战。 摘要:R是数据科学家中最流行的编程语言和环境之一,在Spark中加入对R的支持是社区中较受关注的话题。 项目背景 R是非常流行的数据统计分析和制图的语言及环境,有一项调查显示,R语言在数据科学家中使用的程度仅次于SQL。 为了方便数据科学家使用Spark进行数据挖掘,社区持续往Spark中加入吸引数据科学家的各种特性,例如0.7.0版本中加入的python API (PySpark);1.3版本中加入的DataFrame 工欲善其事,必先利其器,SparkR必将成为数据科学家在大数据时代的又一门新利器。 (责编/仲浩) 作者:孙锐,英特尔大数据团队工程师,HIVE和Shark项目贡献者,SparkR主力贡献者之一。

    4.3K100发布于 2018-02-27
  • 来自专栏大数据杂货铺

    谁是数据科学家

    他/她是否整日忙于数据或在他/她的实验室中尝试复杂的数学?毕竟,“谁是数据科学家”? Ť 这里有对数据科学家提供了一些定义。简而言之,数据科学家就是实践数据科学艺术的人。 当今的数据科学家面临的主要挑战不是找到现有业务问题的解决方案,而是确定对组织及其成功至关重要的问题。 为什么数据科学家被称为“数据科学家”? 数据科学家的作用确实是具有挑战性的!尽管数据科学家使用的技能和能力差异很大,但要成为一名高效的数据科学家,他应该: 1. 执行数据调节 –即通过应用统计,数学工具和预测分析将数据转换为有用的形式。 7. 研究,分析,执行和提出统计方法以获得实际见解。 8. 即使在硬件,软件和带宽限制期间,也可以管理大量数据。 9. 数据科学家就像网站管理员一样,不仅需要成为所有行业的杰作,而且还需要掌握以上领域中的至少一个。 数据科学家做什么呢? 数据科学家扮演着双重角色-“分析师”和“艺术家”!

    66110发布于 2020-02-11
  • 来自专栏数据科学与人工智能

    数据科学家】如何成为一名数据科学家

    2012年,O’Reilly媒体的创始人 Tim O’Reilly 列出了世界上排名前7位的数据科学家。 Larry Page,谷歌CEO。 关于数据科学家的更多讨论: 你能列出十个著名的女性数据科学家吗?Can you name 10 famous data scientist women? 谁是最富有的数据科学家数据科学并不局限于大数据,但是数据量的扩大诚然使得数据科学的地位越发重要。 数据科学的从业者被称为数据科学家数据科学家通过精深的专业知识在某些科学学科解决复杂的数据问题。 林仕鼎,百度大数据首席架构师 如果从广义的角度讲,从事数据处理、加工、分析等工作的数据科学家数据架构师和数据工程师都可以笼统地称为数据科学家;而从狭义的角度讲,那些具有数据分析能力,精通各类算法,直接处理数据的人员才可以称为数据科学家 [7].IBM – What is a Data Scientist?

    94560发布于 2018-02-27
  • 来自专栏数据科学与人工智能

    数据科学家】九个成为数据科学家的必备技能

    本文详细列举了从雇主角度看来,数据科学家加强自身市场竞争力所必备的9个数据科学技能。 过去一年中人们对数据科学的兴趣骤然增长。 技术技能:分析学 1 教育 数据科学家受教育程度都很高,其中88%至少拥有硕士学位,46%有博士学位。虽然有一些名人特例,不过通常来说成为一名数据科学家需要扎实的教育背景,才能掌握所需的深度知识。 6 非结构化数据 数据科学家能够处理非结构化数据这一点非常重要,无论这些数据是来自社交媒体、视频源或者音频的。 非技术类技能 7 求知欲 毫无疑问最近到处都能看到这个词,尤其是在与数据科学家关联时。 6 LinkedIn小组——加入相关的小组,与数据科学社区的其他成员互动。 7 数据科学中心与KDnuggets——数据科学中心与KDnuggets都是保持与数据科学行业趋势前沿同步的优秀资源。 8 Burtch Works研究:关于数据科学家的薪金,如果想要了解更多信息与当前数据科学家人数统计的话,请下载我们的数据科学家薪金研究报告。

    795100发布于 2018-02-27
  • 来自专栏CDA数据分析师

    关于自然语言处理,数据科学家需要了解的 7 项技术

    自然语言处理(NLP)是针对计算机编程的研究,探索处理和分析大量自然文本数据的方式。自然语言处理的知识对于数据科学家来说至关重要,因为文本是数据存储中极为易用和常用的介质。 面对针对文本数据执行分析和构建模型的任务时,我们必须清楚要如何执行基础的数据科学任务,包括清理、格式化、解析、分析、执行可视化和对文本数据建模。 本篇指南将对在数据科学中使用自然语言处理做基础性的介绍,包括处理文本数据时最常用的7种技术,如NLTK及Scikit Learn等。 within # each document lda = LDA(n_components=NUM_TOPICS, n_jobs=-1) lda.fit(document_word_matrix) (7) 2f0a0c6472b5 原文:https://towardsdatascience.com/an-introductory-guide-to-nlp-for-data-scientists-with-7-

    1.6K21发布于 2020-05-06
  • 来自专栏数据科学与人工智能

    数据科学家】9步让你从菜鸟成为数据科学家

    由于数据科学和数据分析是个快速发展的领域,当前的合格申请者严重缺乏。这使得数据科学家对于那些有兴趣,并寻找新的职业生涯的人成为有前途的和有利可图的领域。 员工:当然,我还能把它们相乘 但如何能成为一个数据科学家呢? 首先,各个公司对数据科学家的定义各不相同,当前还没有统一的定义。 数据清理有助于消除重复和“坏”数据。两者都是数据科学家工具箱中的必备工具。 7 添加更多的工具到您的工具箱 一旦你掌握了以上技巧,是时候扩大你的数据科学工具箱了,包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。 8 练习 在你在新的领域有一个工作之前,你如何练习成为数据科学家?使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工作数据科学家、参加训练营、志愿者或实习生。

    71250发布于 2018-02-27
  • 来自专栏数据科学与人工智能

    数据科学家数据科学家的八大关键技能

    人们最常见的偏见就是,认为统计学家就是数据科学家或者具有分析背景的商务智能专家会是一个好的数据科学家。也许在某些情况下这是正确的,但也有例外。 那么,成为真正的数据学家(DS)需要具备怎样的技能呢? 商业智能专业知识:并不一定要成为一个商业智能专家,但是一个数据科学家需要知道如何抽取,清洗,转换,分析和报告数据数据科学家并不是ETL开发者,但他/她可以与ETL开发者交流,并了解他的术语和行动。 数据科学家需要推动这一迭代过程。此外,数据科学家还需要将分析结果呈现出来。为此,需要良好的故事叙述能力。 6. 好奇心:根据分析的业务/主题,数据科学家可能不是此领域的专家。 好奇心与数据科学技术,工具和科技有同等地位。 7. 创造力:数据科学家需要在上述所有技能中使用大量的工具和技术。为了做到这一点,数据科学家在如何使用这些工具和技术方面应该发挥创造力。 如果一个案例只需要线性回归和条形图,那么数据科学家不应该过度设计它。数据科学家需要提供的是信息的洞察力和增值信息,而不是重新创造世界。

    79560发布于 2018-02-27
  • 来自专栏CDA数据分析师

    数据科学家修炼指南

    Software engineer’s guide to getting started with data science 数据科学家修炼指南 December 30, 2012 By prasoonsharma GETTING STARTED 开始 a) Self-learning (2 - 4 months) 自学(2-4个月) Explore if data science is for you 看看数据科学家是不是适合你 如果你对于国家经济、犯罪统计、体育比赛数据有疑问,那赶紧找来这些数据并且开始解决你的问题。 我很幸运能接触到内外部的数据科学大牛们。他们真的让我了解数据科学问题从何下手(如何思考,假想,验证/解决/否定问题)。 从他们身上,我真的理解了 “假想是数据分析的驱动力”,而不是“数据分析靠一拍脑袋”。就是说在试图从数据中分析出有用结果之前,一定要充分理解商业领域那些事儿。

    1K60发布于 2018-02-05
  • 来自专栏数据科学与人工智能

    数据科学】数据科学家数据科学

    2012年,O'Reilly媒体的创始人 Tim O'Reilly 列出了世界上排名前7位的数据科学家。 Larry Page,谷歌CEO。 关于数据科学家的更多讨论: 你能列出十个著名的女性数据科学家吗?Can you name 10 famous data scientist women? 谁是最富有的数据科学家数据科学并不局限于大数据,但是数据量的扩大诚然使得数据科学的地位越发重要。 数据科学的从业者被称为数据科学家数据科学家通过精深的专业知识在某些科学学科解决复杂的数据问题。 如果从广义的角度讲,从事数据处理、加工、分析等工作的数据科学家数据架构师和数据工程师都可以笼统地称为数据科学家;而从狭义的角度讲,那些具有数据分析能力,精通各类算法,直接处理数据的人员才可以称为数据科学家 Patil(美国科学促进会科学与技术政策研究员,为美国国防部服务)的话来总结数据科学家需要具备的能力: 数据科学家倾向于用探索数据的方式来看待周围的世界。

    1.4K90发布于 2018-02-26
  • 来自专栏技术沉淀

    数据科学家的RoadMap

    RoadMap.jpg 资料来源

    86170发布于 2018-06-21
  • 来自专栏猴子数据分析

    如何成为数据科学家

    这是国外数据科学学习平台DataCamp成员写的一篇图文 8步 成为数据科学家。我们具体来看下有哪些学习内容和学习资源。 这里说的8步,不是你用8周就可以完成,而是一种学习的方法。 首先,什么是大数据科学家数据科学家是一个跨学科人才,是比软件工程师更擅长统计学,比统计学家更擅长软件工程的人。需要掌握的知识有数学统计,编程能力,机器学习,研究能力等。 目前,数据科学家大部分是本科或者硕士学历(本科37%,硕士31%)。但是不要担心,从调查数据来看,有5%高中毕业的人也成为了数据科学家。这足以证明,只要你努力去提供自己,英雄是不问出处的。 商业智能(BI)​www.zhihu.com 第5步:提升到大数据级别 当你开始处理海量规模的数据时,绝大多数的数据科学家要解决的问题,都无法在单机上完成,需要用分布式处理大数据集,使用的工具有Hadoop 如何自己找数据分析项目来做?​www.zhihu.com 第7步:实习、实战、或找份工作 判别自己是不是一个真正的数据科学家的最佳途径,就是用你新学的知识迎难而上,进入数据分析的工作领域。

    94330发布于 2021-03-15
领券