- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学与人工智能
数据科学家数据工程师
In other words, a data engineer needs to build systems that can handle the 3 Vs of big data.
87750发布于 2018-02-28 - 来自专栏木东居士的专栏
数据工程师的算法！
翻出来了17年自己梳理的数据工程师的算法学习内容，当时的理解和现在会有些许不同，但整体来看还是可以的，有一些比较细节的内容并没有花较多的时间来整理，留待大家自己补充了，在此不再做任何修改分享给大家参考， 该图中包含的算法范围可能会比较广，当然大家在学习的时候也可以有所取舍，根据居士个人经验，简单举例说明一下几大块算法对数据工程师的重要性，或者说是学习建议吧： 分布式算法：大数据相关的同学必备，日常工作可能使用不多 大数据算法：偏ETL和基于大数据平台开发的同学最好多做了解，现在很多大数据处理的背后都隐藏了这些大数据相关的算法，比如ES、Kylin、Hadoop。 数据结构：这里居士只列了图、树和一些高阶数据结构，有朋友问学算法在工作中到底有没有用，我可以很负责任地说，这一块是肯定有用的。 学习算法：数据挖掘相关的内容，学一下扩展自己技能是很有必要的，因为数据开发很可能会做数据挖掘相关的平台，比如广告系统、推荐系统、机器学习平台等。
70450发布于 2019-05-17 - 来自专栏鸿的学习笔记
数据工程师的未来
Apache Airflow 和 Apache Superset 的创建者 Maxime Beauchemin 写了一篇文章讨论数据工程师的未来，其中讲述了他对数据工程师的现状的认知和未来发展的猜测，可供大家参考 ，即 为了有效地扩展数据科学和分析，团队需要一名专业工程师来管理 ETL、构建管道和扩展数据基础设施。 数据工程师也是一项吃力不讨好的工作，团队在构建基础设施、运行作业以及处理来自分析和 BI 团队的临时请求之间徘徊。因此，成为一名数据工程师既是福也是祸。 这段话道尽了大部分数据工程师团队的心酸，我想那些“取数工程师”应该更有感触。 数据工程师几乎就像是良好数据习惯的守护者。例如，如果分析工程师在每次运行 dbt 时重新处理仓库，他们就会养成坏习惯。
72720发布于 2021-11-02 - 来自专栏Albert陈凯
数据挖掘工程师书单
数据挖掘工程师书单
54740发布于 2018-04-04 - 来自专栏大数据文摘
数据工程师的崛起
），但在13年离开时我的职位却是数据工程师。 但他们也不像数据科学家，数据工程师受到一位更成熟的“父亲”– 软件工程师 – 启发。数据工程师创造工具、基础、框架和服务。事实上，相比于数据科学家，数据工程师可以说是更接近于软件工程师。 －Bill Inmon 相应得，数据仓库还是与以前一样，数据工程师负责数据仓库的多方面搭建并在其上操纵。数据工程师总是关注于在数据仓库及其附属产品。 在这些项目中数据工程师教会人们怎么样更专业地操作数据。 数据工程师同时也是数据仓库的管理员，编目、整理元数据，定义从数据仓库抽取数据的过程。 服务 数据工程师还会做些更高级别的抽象事务，在一些工作场景中提供服务和工具化使数据工程师，数据科学家和分析师可能人工处理的工作自动化。
92330发布于 2018-05-25 - 来自专栏大数据文摘
数据工程师的没落
大数据文摘作品 作者：Maxime Beauchemin 编译：阮雪妮，笪洁琼，Aileen 这个行业的辛酸，也许只有数据工程师们自己能懂。 本文是几个月前大数据文摘推送的一篇文章《数据工程师的崛起》的后续 。那是最近一篇尝试定义数据工程和描述数据工程师这一新职位与数据科学领域以往和现在的职位之间的联系的文章。 如果对数据工程师这个职位不了解的读者，可以参考这篇文章《数据科学行业的8个关键角色：职责与技能》了解数据科学行业职责分类。 如果团队人员中有数据工程师，他的工作可能是帮助数据科学家和分析师收集他们需要的数据。如果需要的数据不能在数据仓库的结构化部分得到，分析师可能会查找一些原始数据来做出短期的解决方案。 是否是真正的软件工程师？ 这个领域的人们应该听到过关于数据工程师是否是“真正的软件工程师”，或是某种不同类别的工程师的争论。在某些机构中这一职位是不同的，并且可能有不同（更低）的工资级别。
86630发布于 2018-05-24 - 来自专栏最新最全的大数据技术体系
❤️大数据全栈工程师之一文快速上手vue3❤️
Vue2.x和Vue3.x的区别在哪里? : Vue3快速上手 1.Vue3简介 2020年9月18日，Vue.js发布3.0版本，代号：One Piece（海贼王） 耗时2年多、2600+次提交、30+个RFC、600+次PR、99位贡献者 3.reactive函数 作用: 定义一个对象类型的响应式数据（基本类型不要用它，要用ref函数） 语法：const 代理对象= reactive(源对象)接收一个对象（或数组），返回一个代理对象（Proxy 从使用角度对比： ref定义的数据：操作数据需要.value，读取数据时模板中直接读取不需要.value。 reactive定义的数据：操作数据与读取数据：均不需要.value。 应用场景: 不希望数据被修改时。 3.toRaw 与 markRaw toRaw： 作用：将一个由reactive生成的响应式对象转为普通对象。
1.8K30发布于 2021-08-25 - 来自专栏最新最全的大数据技术体系
大数据全栈工程师之一文快速上手vue3
Vue2.x和Vue3.x的区别在哪里? : Vue3快速上手 1.Vue3简介 2020年9月18日，Vue.js发布3.0版本，代号：One Piece（海贼王） 耗时2年多、2600+次提交、30+个RFC、600+次PR、99位贡献者 3.reactive函数 作用: 定义一个对象类型的响应式数据（基本类型不要用它，要用ref函数） 语法：const 代理对象= reactive(源对象)接收一个对象（或数组），返回一个代理对象（Proxy 从使用角度对比： ref定义的数据：操作数据需要.value，读取数据时模板中直接读取不需要.value。 reactive定义的数据：操作数据与读取数据：均不需要.value。 应用场景: 不希望数据被修改时。 3.toRaw 与 markRaw toRaw： 作用：将一个由reactive生成的响应式对象转为普通对象。
1.8K31编辑于 2021-12-07 ETL 工程师必看！3个数据处理阶段及应用场景
（3）加载阶段：将处理后的结构化数据高效、稳定地写入目标存储系统，如数据仓库、数据湖或分析型数据库。其本质是构建一条从原始数据到可用数据资产的标准化处理链路，实现数据从生产端到分析端的有序流动。 （3）逻辑集中：将复杂的业务规则在ETL层固化，避免下游系统的重复计算。（4）性能优化：通过预处理降低查询负载，提升数据仓库的响应速度。 （3）设计 ETL 架构与技术选型：根据业务需求和数据源特点，选择合适的 ETL 架构与工具。 ②优化手段：处理数据倾斜、复用缓存和计算下推。（3）元数据管理：①记录血缘关系：追踪表、任务和字段级的血缘关系，便于影响分析。②维护数据字典：记录字段含义和加工逻辑，降低维护成本。 （3）价值输出：为生产瓶颈分析、预测性维护模型、质量改进方案提供高质量数据输入，助力制造业实现智能化生产和精细化管理。
1.4K11编辑于 2025-09-29- 来自专栏数据科学与人工智能
【数据科学】揭秘硅谷数据工程师求职
导言 大数据工程师是如今最火的职业，没有之一。也可能是未来十年最火的职位。那么对于如此新型的职业和技术，留学生朋友们应该如何求职？硅谷大数据达人，董老师为你揭秘。 在杜克读书时候，刚好我的导师就是在大数据方面做一些实践，我也很欣喜可以把研究和最新的工业实践Hadoop平台结合，当时做出了很好的结果发表在VLDB，SOCC国际数据库和云计算大会上。 很快就晋升为了资深工程师。 因为自身对创业公司氛围的喜爱，决定去寻找其他的机会。决定离开LinkedIn觉得当时的工作被限制在广告领域，而个人对广告方面兴趣并不大。 我记得内部统计表示，2/3的人都是通过内部推荐进来的。 招聘流程：一般是没有笔试。 3. 交流：用到的英文都比较浅显，听和读应该问题不大，但最好在说和写方面下大功夫，这能突破一些天花板，更多融入团队交流。
99890发布于 2018-02-27 - 来自专栏深度学习自然语言处理
3招打破机器学习工程师的边界
本文约1300余字，阅读需要约3.2分钟； 系统资料领取见文末； 关键词：人工智能，机器学习，深度学习，数学，学习建议，微专业 01.机器学习工程师的边界是什么？ 大多数的事物都是有边界的。 其中，Y=w1*身高+w2*品德+w3*财富+w4*颜值+w5*就可以表达为多项式Y=w1*x1+w2*x2+w3*x3+w4*x4+w5*5，通过Sigmoid函数后，转化为该男生可能成为优秀女婿的概率问题
63030发布于 2018-10-24 - 来自专栏木东居士的专栏
数据工程师该如何入门？
对之前的工作没信心想搞互联网，发现大数据方向挺不错 本文结构 前面已经限定了一个大致的话题范围，下面介绍一下主要的文章结构： 数据工程师的日常工作，或者是什么是数据工程师 数据工程师需要具备什么技能 该怎么学 什么是数据工程师 数据工程师这个概念其实很模糊，不同的人和公司对它赋予的含义也区别很大，感兴趣的可以看一下我前面的几篇文章。在这里，我们大概聊一下一般意义上的数据工程师在工作中会做什么？ 集群运维：安装、测试、运维各种大数据组件 数据开发：细分一点的话会有ETL工程师、数据仓库工程师等 数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等 ? 由于现在的大数据生态系统基本上是JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。 3. 0x02 如何入门 前面提到了一些数据工程师会用到的技能树，如果希望了解更多，可以看一下《No.3 漫谈数据开发工程师的技术广度》。 下面给一个入门的建议，完全个人意见。 1.
94250发布于 2018-05-25 - 来自专栏阿贤Linux
Linux运维工程师面试题（3）
Linux运维工程师面试题（3） 祝各位小伙伴们早日找到自己心仪的工作。 持续学习才不会被淘汰。 地球不爆炸，我们不放假。 机会总是留给有有准备的人的。 加油，打工人！ 3 LVS 相关的术语有哪些 DS：Director Server，指的是前端负载均衡器节点。 RS：Real Server，后端真实的工作服务器。 ，负载均衡设备再把数据发送给client；所以，七层负载均衡设备起到了代理服务器的作用，七层代理需要和Client和后端服务器分别建立连接。 HAproxy --- 关于我 全网可搜《阿贤Linux》 公众号：阿贤Linux 个人博客：blog.waluna.top https://blog.waluna.top/ --- 原文链接: Linux运维工程师面试题 （3）.
1K20编辑于 2023-08-28 - 来自专栏量化投资与机器学习
3招打破机器学习工程师的边界
本文约1300余字，阅读需要约3.2分钟； 系统资料领取见文末； 关键词：人工智能，机器学习，深度学习，数学，学习建议，微专业 01.机器学习工程师的边界是什么？ 大多数的事物都是有边界的。 其中，Y=w1*身高+w2*品德+w3*财富+w4*颜值+w5*就可以表达为多项式Y=w1*x1+w2*x2+w3*x3+w4*x4+w5*5，通过Sigmoid函数后，转化为该男生可能成为优秀女婿的概率问题
41130发布于 2018-10-25 - 来自专栏算法channel
3招打破机器学习工程师的边界
本文约1791余字，阅读需要约5分钟； 系统资料领取见文末； 关键词：人工智能，机器学习，深度学习，数学，学习建议 01.机器学习工程师的边界是什么？ 大多数的事物都是有边界的。 其中，Y=w1*身高+w2*品德+w3*财富+w4*颜值+w5*就可以表达为多项式Y=w1*x1+w2*x2+w3*x3+w4*x4+w5*5，通过Sigmoid函数后，转化为该男生可能成为优秀女婿的概率问题
33630发布于 2020-03-19 - 来自专栏牛客网
巨人网络3面面经(游戏开发工程师)
3. tcp连接有多少种状态？怎样查看tcp连接状态？ 4. 写一个strcpy函数。 2面技术面： 1. 首先是自我介绍。 2. 把笔试题翻出来，再考考。 3. 熟悉c++第三方库吗？ 3面hr面： 1. 首先是自我介绍。 2. 然后hr介绍了一下待遇情况。 3. 最后就是聊天，现场给offer，要求月底之前寄三方。 总体来说感觉很不错，面试官的态度都很好，整个过程让人感到很放松。
1.5K60发布于 2018-04-28 - 来自专栏机器学习AI算法工程
数据挖掘工程师面试指南
在招聘一个合格的数据挖掘工程师时，公司一般关注以下三个方面： 他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。 他能否专注于项目？ 为了解候选人是否具有数据挖掘工程师的潜质，需要一小时的面试，主要通过以下五个环节： 1、简介 如同交谈之初的寒暄一样，简介是使候选人放松下来。可以先介绍一下公司本身的情况，再回答对方的一些疑问。 因为优秀的数据挖掘工程师要能面对客户，清晰的论证并支持其提出的观点。 3、关于数据挖掘的流程 考察候选人对于工作流程的认识是必要的，如果他谈到了跨行业数据挖掘流程规范（CRISP-DM）意味着好兆头。有很多时候，候选人对这些规范不以为然。 4、解决问题 软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。
1K40发布于 2018-03-09 - 来自专栏PPV课数据科学社区
数据科学家、数据分析师、数据挖掘工程师、数据工程师，你分的清楚吗？
职位和能力 下面是阿里对这3个职位的要求和描述： 数据分析师 岗位描述: 1、独立负责业务数据收集整理，搭建业务数据体系，结合业务对多种数据源进行深度诊断性组合分析、挖掘、深度分析； 2、通过专题分析 ，对业务问题进行深入分析，为业务的策略、产品优化提供数据支持； 3、独立完成业务日常的产品运营工作，可以快速有效地取得一定的业务成果。 基于阿里海量数据的数据仓库建设和数据分析，同时针对各业务场景探索大数据解决方案 3. 在公共云计算环境构筑数据交换、融合、分享的生态，让数据驱动业务 岗位要求: 1. 具有丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验 3. 熟悉SQL，有一定的SQL性能优化经验 4. 数据挖掘工程师： 机器学习工程师： 数据分析师： 数据开发工程师：
2.5K80发布于 2018-04-19 - 来自专栏钱塘大数据
大数据时代，软件工程师渐退，算法工程师崛起
来自 Intercom 的工程师 Cathal Horan 表达了他对大数据的看法，他认为，未来属于算法，而不是代码。 “大数据时代”的称号并不能为当今世界所独享，数据充斥着人类文明历史长河的各个时期。纵观这些历史时期，通过从离散到抽象的转换，我们就会明白为什么算法比代码重要。 ——面向总统和国会的报告：设计数字的未来 抽象算法 我们现在拥有大量的数据，这意味着我们不能再用离散的思维来思考问题。大数据促使我们转变思维。它促使我们向后退一步，去寻找能够处理数据洪流的方法。 例如，你可能想从数据库中查找在过去两周买过 2 件商品并且支付超过 30 欧元的顾客，因为你想联系到这些顾客，并向他们推荐一些优惠活动。你使用这个模式来查找匹配的数据。 不过大数据却正好相反，你先有了数据，然后查找可以匹配这些数据的模式。 想想看，有这么多的数据，但是我们却找不到匹配的模式，所以我们要回退一步。
81360发布于 2018-03-05 - 来自专栏sylan215 的软件测试技术学习
软件测试工程师发展的 3 个方向
这个大家应该都知道，就是传统的测试工程师，绝大部分都是手工操作，所以有人自嘲为「点工」。 这是目前最庞大的一个群体，大部分以黑盒测试为主。 这个一方面依赖于流程上游的质量保障程度，如果需求质量和提测质量都得到了很好保证，基础性测试的需求就会大大减少，手工测试工程师的需求量也会随之减少了。 二、测试开发工程师 不知道大家有没有印象，早几年的时候很流行一个叫做「自动化测试」的方向。 特别是面试的时候，要么将来做性能测试方向，要么就是自动化测试方向。 这个自动化测试，就是现在的测试开发。 比如第一种，更像脚本工程师，就是把手工操作脚本化。 第二种，更像一个独立开发者，从需求调研、需求研发、产品推广、产品优化，全流程参与跟进实施，这经验是绝无仅有的，当然，做起来也更难。 1、测试发展可以有三个方向：业务专家、测试开发、效能平台开发； 2、测试开发又可以细分为两种：1是把需求/用例脚本化的测开；2是有独立开发者意识的测开； 3、我们可以根据当前的角色，以及对于测试的理解，
1.2K10发布于 2021-11-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号