- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学与人工智能
数据科学家数据工程师
As the field of data science continues to grow and mature, it is nice to begin seeing some distinction in the roles of a data scientist. A new job title gaining popularity is the data engineer. In this post, I lay out some of the distinctions between the 2
87750发布于 2018-02-28 - 来自专栏阿贤Linux
Linux运维工程师面试题（5）
Linux运维工程师面试题（5）祝各位小伙伴们早日找到自己心仪的工作。持续学习才不会被淘汰。地球不爆炸，我们不放假。机会总是留给有有准备的人的。加油，打工人！ 5 MHA 高可用原理从宕机崩溃的 master 保存二进制日志事件（bin log events）；识别含有最新更新的 slave；应用差异的中继日志（relay log）到其他的 slave；应用从 mysqldump 命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。 、腾讯云、华为云、今日头条、百家号、GitHub、个人博客公众号：阿贤Linux个人博客：blog.waluna.tophttps://blog.waluna.top/---原文链接: Linux运维工程师面试题 （5）.
77830编辑于 2023-08-30 - 来自专栏木东居士的专栏
数据工程师的算法！
翻出来了17年自己梳理的数据工程师的算法学习内容，当时的理解和现在会有些许不同，但整体来看还是可以的，有一些比较细节的内容并没有花较多的时间来整理，留待大家自己补充了，在此不再做任何修改分享给大家参考， 该图中包含的算法范围可能会比较广，当然大家在学习的时候也可以有所取舍，根据居士个人经验，简单举例说明一下几大块算法对数据工程师的重要性，或者说是学习建议吧： 分布式算法：大数据相关的同学必备，日常工作可能使用不多 大数据算法：偏ETL和基于大数据平台开发的同学最好多做了解，现在很多大数据处理的背后都隐藏了这些大数据相关的算法，比如ES、Kylin、Hadoop。 数据结构：这里居士只列了图、树和一些高阶数据结构，有朋友问学算法在工作中到底有没有用，我可以很负责任地说，这一块是肯定有用的。 学习算法：数据挖掘相关的内容，学一下扩展自己技能是很有必要的，因为数据开发很可能会做数据挖掘相关的平台，比如广告系统、推荐系统、机器学习平台等。
70450发布于 2019-05-17 - 来自专栏鸿的学习笔记
数据工程师的未来
Apache Airflow 和 Apache Superset 的创建者 Maxime Beauchemin 写了一篇文章讨论数据工程师的未来，其中讲述了他对数据工程师的现状的认知和未来发展的猜测，可供大家参考 ，即 为了有效地扩展数据科学和分析，团队需要一名专业工程师来管理 ETL、构建管道和扩展数据基础设施。 数据工程师也是一项吃力不讨好的工作，团队在构建基础设施、运行作业以及处理来自分析和 BI 团队的临时请求之间徘徊。因此，成为一名数据工程师既是福也是祸。 这段话道尽了大部分数据工程师团队的心酸，我想那些“取数工程师”应该更有感触。 数据工程师几乎就像是良好数据习惯的守护者。例如，如果分析工程师在每次运行 dbt 时重新处理仓库，他们就会养成坏习惯。
72720发布于 2021-11-02 - 来自专栏Albert陈凯
数据挖掘工程师书单
数据挖掘工程师书单
54740发布于 2018-04-04 - 来自专栏大数据文摘
数据工程师的崛起
），但在13年离开时我的职位却是数据工程师。 但他们也不像数据科学家，数据工程师受到一位更成熟的“父亲”– 软件工程师 – 启发。数据工程师创造工具、基础、框架和服务。事实上，相比于数据科学家，数据工程师可以说是更接近于软件工程师。 －Bill Inmon 相应得，数据仓库还是与以前一样，数据工程师负责数据仓库的多方面搭建并在其上操纵。数据工程师总是关注于在数据仓库及其附属产品。 在这些项目中数据工程师教会人们怎么样更专业地操作数据。 数据工程师同时也是数据仓库的管理员，编目、整理元数据，定义从数据仓库抽取数据的过程。 服务 数据工程师还会做些更高级别的抽象事务，在一些工作场景中提供服务和工具化使数据工程师，数据科学家和分析师可能人工处理的工作自动化。
92330发布于 2018-05-25 - 来自专栏大数据文摘
数据工程师的没落
本文是几个月前大数据文摘推送的一篇文章《数据工程师的崛起》的后续 。那是最近一篇尝试定义数据工程和描述数据工程师这一新职位与数据科学领域以往和现在的职位之间的联系的文章。 如果对数据工程师这个职位不了解的读者，可以参考这篇文章《数据科学行业的8个关键角色：职责与技能》了解数据科学行业职责分类。 如果迭代周期之间的空闲时间以小时计算时，你会觉得夜以继日地工作更有效果 ：晚上11点半花上5-10分钟的额外工作能够为你明天节约2- 4小时。这就可能会导致工作与生活之间的不平衡，很不健康。 是否是真正的软件工程师？ 这个领域的人们应该听到过关于数据工程师是否是“真正的软件工程师”，或是某种不同类别的工程师的争论。在某些机构中这一职位是不同的，并且可能有不同（更低）的工资级别。 原文链接：https://medium.com/@maximebeauchemin/the-downfall-of-the-data-engineer-5bfb701e5d6b
86630发布于 2018-05-24 - 来自专栏数据科学与人工智能
【数据科学】揭秘硅谷数据工程师求职
导言 大数据工程师是如今最火的职业，没有之一。也可能是未来十年最火的职位。那么对于如此新型的职业和技术，留学生朋友们应该如何求职？硅谷大数据达人，董老师为你揭秘。 在杜克读书时候，刚好我的导师就是在大数据方面做一些实践，我也很欣喜可以把研究和最新的工业实践Hadoop平台结合，当时做出了很好的结果发表在VLDB，SOCC国际数据库和云计算大会上。 这与我当时的大数据研究项目有很大的相关性。在技术的广度和深度有了一定的积累以后，我把更多关注放在了互联网产品上，我个人对消费者互联网一直都非常感兴趣。 很快就晋升为了资深工程师。 因为自身对创业公司氛围的喜爱，决定去寻找其他的机会。决定离开LinkedIn觉得当时的工作被限制在广告领域，而个人对广告方面兴趣并不大。 还有一些高水平的学术会议，工业界愿意支持和参与，像SIGMOD，VLDB顶级数据库大会。也喜欢举办公开技术讲座，邀请社会各界参加，注册时留下联系方式。
99890发布于 2018-02-27 - 来自专栏站长的编程笔记
PHP工程师使用MD5值的秘密
作为一名PHP工程师，您是否曾经听说过md5值？如果没有，那么您在进行数据加密方面的工作可能会遇到一些困难。 因为MD5是散列函数，它是单向的，因此很难从摘要中恢复原始数据。 MD5算法是被广泛接受和使用的一种算法，很多程序都使用此算法来保护其数据。 二、md5值的应用 MD5值被广泛应用于数据验证和加密方面。在PHP中，我们可以使用md5函数来计算字符串的md5值。 由于存储在数据库中的密码不是明文密码，所以即使数据库内容被盗，黑客们也不能轻松地获取到原始密码。 三、md5值的安全性 虽然md5算法是广泛使用的算法，但是它并不是完全安全的。 通过使用更高级的算法，我们可以更好地保护我们的数据安全性。 结论 本文提供了关于使用md5值的基本知识，并提供了一些使用md5值保护数据的示例。
68852编辑于 2023-08-17 - 来自专栏啄木鸟软件测试
全栈软件测试工程师宝典连载（5）
那么如何做好软件测试分析与设计呢？根据上面的阐述，我认为有两个方面：能力+基因。基因是先天决定的，在这里看一下如何提高能力。
46840发布于 2021-01-18 - 来自专栏木东居士的专栏
数据工程师该如何入门？
0x00 前言 最近发现身边有不少小伙伴想转行做数据工程师，聊天的过程中发现大家对该如何入门有很多迷茫的地方，周末写篇博客记录一下。 哪些人适合继续阅读 数据工程师该如何入门？ 对之前的工作没信心想搞互联网，发现大数据方向挺不错 本文结构 前面已经限定了一个大致的话题范围，下面介绍一下主要的文章结构： 数据工程师的日常工作，或者是什么是数据工程师 数据工程师需要具备什么技能 该怎么学 0x01 数据工程师的技能树 1. 什么是数据工程师 数据工程师这个概念其实很模糊，不同的人和公司对它赋予的含义也区别很大，感兴趣的可以看一下我前面的几篇文章。在这里，我们大概聊一下一般意义上的数据工程师在工作中会做什么？ 集群运维：安装、测试、运维各种大数据组件 数据开发：细分一点的话会有ETL工程师、数据仓库工程师等 数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等 ?
94250发布于 2018-05-25 - 来自专栏机器学习AI算法工程
数据挖掘工程师面试指南
在招聘一个合格的数据挖掘工程师时，公司一般关注以下三个方面： 他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。 他能否专注于项目？ 为了解候选人是否具有数据挖掘工程师的潜质，需要一小时的面试，主要通过以下五个环节： 1、简介 如同交谈之初的寒暄一样，简介是使候选人放松下来。可以先介绍一下公司本身的情况，再回答对方的一些疑问。 因为优秀的数据挖掘工程师要能面对客户，清晰的论证并支持其提出的观点。 4、解决问题 软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。 5、收尾 在面试的最后阶段，需要回答候选人的其它提问，并使之相信本公司在本行业中的优势地位，以及在职业生涯中的作用。在完成面试后，需要立即将面试记录进行整理存档。
1K40发布于 2018-03-09 - 来自专栏PPV课数据科学社区
数据科学家、数据分析师、数据挖掘工程师、数据工程师，你分的清楚吗？
Map-Reduce模型，对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验； 5、对于推荐系统和广告系统有实践经验者优先； 6、能够积极创新， 乐于面对挑战， 负责敬业； 7 熟练掌握Java语言，MapReduce编程，脚本语言Shell/Python/Perl之一 5. 业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情 6. 图中蓝色圈为普通工程师能力栈，粉色圈为数据开发工程师能力栈，绿色圈为数据科学家能力栈。 在国内，数据挖掘工程师的薪酬是略高于数据工程师的，其他排序和上图相同。 数据挖掘工程师： 机器学习工程师： 数据分析师： 数据开发工程师：
2.5K80发布于 2018-04-19 - 来自专栏钱塘大数据
大数据时代，软件工程师渐退，算法工程师崛起
来自 Intercom 的工程师 Cathal Horan 表达了他对大数据的看法，他认为，未来属于算法，而不是代码。 “大数据时代”的称号并不能为当今世界所独享，数据充斥着人类文明历史长河的各个时期。纵观这些历史时期，通过从离散到抽象的转换，我们就会明白为什么算法比代码重要。 ——面向总统和国会的报告：设计数字的未来 抽象算法 我们现在拥有大量的数据，这意味着我们不能再用离散的思维来思考问题。大数据促使我们转变思维。它促使我们向后退一步，去寻找能够处理数据洪流的方法。 例如，你可能想从数据库中查找在过去两周买过 2 件商品并且支付超过 30 欧元的顾客，因为你想联系到这些顾客，并向他们推荐一些优惠活动。你使用这个模式来查找匹配的数据。 不过大数据却正好相反，你先有了数据，然后查找可以匹配这些数据的模式。 想想看，有这么多的数据，但是我们却找不到匹配的模式，所以我们要回退一步。
81360发布于 2018-03-05 - 来自专栏大数据钻研
入门软件工程师所面临的5个挑战
如果你对编程和专业的软件开发感兴趣，那么，这里有5个新晋软件工程师所要面临的挑战。 5.代码疲劳 专业程序员要写的程序……很多。 作为入门级工程师，我每周至少编程45小时，而且每个月会有1到2个星期工作50至60小时。从这些数字上看，我过去几个月里每周工作将近50小时。 80％ – 90％的工作时间都耗在了电脑前。 3.解释需求 如何解释一个项目的主要需求是导致工程师脱颖而出的一个部分。 这需要一些文档以及指导构建什么的页面。这还需要一些文档并构建客户其实想要的东西。 想到一个点子（planner app，网站与用户，任何有关数据驱动的，等等），决定构建它的技术堆栈（字面上看任何堆栈都有效，不要太在意批评，当最终目标是学知识的时候） ，并配置你的工作环境（即在计算机上下载和安装所有必需的软件 这就是软件工程以及软件工程师日复一日工作的内容。
81680发布于 2018-04-18 - 来自专栏Java学习网
入门软件工程师所面临的5个挑战
作为入门级工程师，我每周至少编程45小时，而且每个月会有1到2个星期工作50至60小时。从这些数字上看，我过去几个月里每周工作将近50小时。 80％ – 90％的工作时间都耗在了电脑前。 3.解释需求 如何解释一个项目的主要需求是导致工程师脱颖而出的一个部分。 这需要一些文档以及指导构建什么的页面。这还需要一些文档并构建客户其实想要的东西。 想到一个点子（planner app，网站与用户，任何有关数据驱动的，等等），决定构建它的技术堆栈（字面上看任何堆栈都有效，不要太在意批评，当最终目标是学知识的时候） ，并配置你的工作环境（即在计算机上下载和安装所有必需的软件 这就是软件工程以及软件工程师日复一日工作的内容。
71260发布于 2018-02-28 - 来自专栏java一日一条
入门软件工程师所面临的5个挑战
如果你对编程和专业的软件开发感兴趣，那么，这里有5个新晋软件工程师所要面临的挑战。 5.代码疲劳 专业程序员要写的程序……很多。 作为入门级工程师，我每周至少编程45小时，而且每个月会有1到2个星期工作50至60小时。从这些数字上看，我过去几个月里每周工作将近50小时。 80％ – 90％的工作时间都耗在了电脑前。 3.解释需求 如何解释一个项目的主要需求是导致工程师脱颖而出的一个部分。 这需要一些文档以及指导构建什么的页面。这还需要一些文档并构建客户其实想要的东西。 想到一个点子（planner app，网站与用户，任何有关数据驱动的，等等），决定构建它的技术堆栈（字面上看任何堆栈都有效，不要太在意批评，当最终目标是学知识的时候） ，并配置你的工作环境（即在计算机上下载和安装所有必需的软件 这就是软件工程以及软件工程师日复一日工作的内容。 感谢大家的阅读！有不同的意见和看法也敬请提出。
58310发布于 2018-09-18 - 来自专栏Java学习网
入门软件工程师所面临的5个挑战
入门软件工程师所面临的5个挑战 如果你对编程和专业的软件开发感兴趣，那么，这里有5个新晋软件工程师所要面临的挑战。 5.代码疲劳 专业程序员要写的程序……很多。 作为入门级工程师，我每周至少编程45小时，而且每个月会有1到2个星期工作50至60小时。从这些数字上看，我过去几个月里每周工作将近50小时。 80％ – 90％的工作时间都耗在了电脑前。 3.解释需求 如何解释一个项目的主要需求是导致工程师脱颖而出的一个部分。 这需要一些文档以及指导构建什么的页面。这还需要一些文档并构建客户其实想要的东西。 想到一个点子（planner app，网站与用户，任何有关数据驱动的，等等），决定构建它的技术堆栈（字面上看任何堆栈都有效，不要太在意批评，当最终目标是学知识的时候） ，并配置你的工作环境（即在计算机上下载和安装所有必需的软件 这就是软件工程以及软件工程师日复一日工作的内容。 分享是一种美德、关注是一种智慧
1.3K70发布于 2018-02-24 - 来自专栏网络技术联盟站
网络工程师学Python-5-Python 字典
简介Python 字典（Dictionary）是一种可变、无序、键值对（Key-Value Pair）的数据结构，用于存储和管理一组数据。 图片字典是 Python 中常用的数据结构之一，广泛应用于各种场景，如配置文件、数据库查询结果、API 数据等。 字典的特点是高效的查找速度，通过键值对的方式存储数据，可以快速根据键来查找对应的值，而无需遍历整个数据集。 同时，还可以在创建字典时直接指定键值对数据。 ，用于存储和管理键值对的数据。
1.3K10编辑于 2023-04-17 - 来自专栏大数据仓库建设
大数据开发工程师岗位分析
最近一年大数据火爆异常，各种培训班开课广告满天飞，很多做开发的朋友也想转到大数据这一行，在投递简历的时候进场被几个岗位搞迷糊，他们是大数据分析师，大数据研发工程师，大数据建模工程师，大数据挖掘工程师 大数据开发工程师 腾讯 大数据研发工程师 职位描述： 岗位职责: 负责数据接入、数据清洗、底层重构，业务主题建模等工作； 负责金融大数据整体的计算平台开发与应用； 岗位要求: 计算机或相关专业本科以上学历 ； 有5年及以上大数据平台开发方面相关工作经验； 熟悉数据仓库和数据建模的相关技术细节，有编程经验，熟悉JAVA语言；熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具 具有海量数据处理经验 横向对比 相同的大数据开发工程师职位在不同的互联网公司，岗位职责不一样，相应的岗位要求差异也比较大。不过，核心技能要求相近： 1. 熟悉hadoop集群 2. 熟悉hive 3. 有一定的BI开发经验 5. 善于沟通，善于分析（软技能，需要不断培养和提升） 以上应该是大数据开发岗位的基本要求。
2.2K20发布于 2019-03-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号