- 综合排序
- 最热优先
- 最新优先
- 来自专栏阿贤Linux
Linux运维工程师面试题（8）
Linux运维工程师面试题（8）祝各位小伙伴们早日找到自己心仪的工作。持续学习才不会被淘汰。地球不爆炸，我们不放假。机会总是留给有有准备的人的。加油，打工人！ 7 COPY 和 ADD 的区别COPY 命令会将文件的所有元数据（如所有者、权限等）都复制到容器中，而ADD则不会。这意味着在使用ADD时，您可能需要手动设置文件的元数据。 8 制作镜像方式docker commit # 通过修改现有容器，将之手动构建为镜像docker build # 通过Dockerfile文件，批量构建为镜像9 K8S 有那些组件，都是干什么用的 etcd：一致且高可用的键值存储，用作 Kubernetes 所有集群数据的后台数据库。node：kubelet：它保证容器（containers）都运行在 Pod 中。 （8）.
1.1K30编辑于 2023-09-06 - 来自专栏数据科学与人工智能
数据科学家数据工程师
As the field of data science continues to grow and mature, it is nice to begin seeing some distinction in the roles of a data scientist. A new job title gaining popularity is the data engineer. In this post, I lay out some of the distinctions between the 2
87750发布于 2018-02-28 - 来自专栏木东居士的专栏
数据工程师的算法！
翻出来了17年自己梳理的数据工程师的算法学习内容，当时的理解和现在会有些许不同，但整体来看还是可以的，有一些比较细节的内容并没有花较多的时间来整理，留待大家自己补充了，在此不再做任何修改分享给大家参考， 该图中包含的算法范围可能会比较广，当然大家在学习的时候也可以有所取舍，根据居士个人经验，简单举例说明一下几大块算法对数据工程师的重要性，或者说是学习建议吧： 分布式算法：大数据相关的同学必备，日常工作可能使用不多 大数据算法：偏ETL和基于大数据平台开发的同学最好多做了解，现在很多大数据处理的背后都隐藏了这些大数据相关的算法，比如ES、Kylin、Hadoop。 数据结构：这里居士只列了图、树和一些高阶数据结构，有朋友问学算法在工作中到底有没有用，我可以很负责任地说，这一块是肯定有用的。 学习算法：数据挖掘相关的内容，学一下扩展自己技能是很有必要的，因为数据开发很可能会做数据挖掘相关的平台，比如广告系统、推荐系统、机器学习平台等。
70450发布于 2019-05-17 - 来自专栏数据分析
算法工程师必学：PostgreSQL 8个查询优化技巧
作为算法工程师，我们在构建机器学习 pipeline 和特征工程时，经常需要处理海量数据的查询与存储。 这种数据规模能真实反映算法工程师在特征工程中的查询挑战。技巧一：索引策略深度优化实例分析在构建用户行为特征时，我们经常需要按时间范围查询特定用户群体的行为数据。 CTE8,934 ms512 MB3次中临时表方案1,245 ms0 MB1次低MATERIALIZED CTE1,189 ms0 MB1次高单遍聚合987 ms0 MB0次高CTE优化决策流程深度解析：算法工程师的特征工程常需要多层数据聚合 pg_cron 扩展替代外部ETL工具，将调度内置于数据库。算法工程师可将物化视图作为 "特征存储层" ，上层应用透明访问。存储成本增加20%，但查询速度提升500倍，是典型空间换时间策略。 ，算法工程师可以将PostgreSQL从通用数据库转化为高性能特征工程平台，支撑从离线训练到在线推理的全链路需求。
65510编辑于 2025-12-04 - 来自专栏鸿的学习笔记
数据工程师的未来
Apache Airflow 和 Apache Superset 的创建者 Maxime Beauchemin 写了一篇文章讨论数据工程师的未来，其中讲述了他对数据工程师的现状的认知和未来发展的猜测，可供大家参考 ，即 为了有效地扩展数据科学和分析，团队需要一名专业工程师来管理 ETL、构建管道和扩展数据基础设施。 数据工程师也是一项吃力不讨好的工作，团队在构建基础设施、运行作业以及处理来自分析和 BI 团队的临时请求之间徘徊。因此，成为一名数据工程师既是福也是祸。 这段话道尽了大部分数据工程师团队的心酸，我想那些“取数工程师”应该更有感触。 数据工程师几乎就像是良好数据习惯的守护者。例如，如果分析工程师在每次运行 dbt 时重新处理仓库，他们就会养成坏习惯。
72720发布于 2021-11-02 - 来自专栏Albert陈凯
数据挖掘工程师书单
数据挖掘工程师书单
54740发布于 2018-04-04 - 来自专栏大数据文摘
数据工程师的崛起
），但在13年离开时我的职位却是数据工程师。 但他们也不像数据科学家，数据工程师受到一位更成熟的“父亲”– 软件工程师 – 启发。数据工程师创造工具、基础、框架和服务。事实上，相比于数据科学家，数据工程师可以说是更接近于软件工程师。 －Bill Inmon 相应得，数据仓库还是与以前一样，数据工程师负责数据仓库的多方面搭建并在其上操纵。数据工程师总是关注于在数据仓库及其附属产品。 在这些项目中数据工程师教会人们怎么样更专业地操作数据。 数据工程师同时也是数据仓库的管理员，编目、整理元数据，定义从数据仓库抽取数据的过程。 服务 数据工程师还会做些更高级别的抽象事务，在一些工作场景中提供服务和工具化使数据工程师，数据科学家和分析师可能人工处理的工作自动化。
92330发布于 2018-05-25 - 来自专栏网络技术联盟站
网络工程师学Python-8-for 循环
五、嵌套循环在 Python 中，也可以使用嵌套 for 循环来遍历多维数据结构，如嵌套列表和嵌套元组等。 下面是一个使用嵌套 for 循环的示例，它遍历一个二维列表：matrix = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]for row in matrix: for element 另外，还可以使用嵌套 for 循环遍历多维数据结构。
1.1K00编辑于 2023-04-19 - 来自专栏大数据文摘
数据工程师的没落
大数据文摘作品 作者：Maxime Beauchemin 编译：阮雪妮，笪洁琼，Aileen 这个行业的辛酸，也许只有数据工程师们自己能懂。 本文是几个月前大数据文摘推送的一篇文章《数据工程师的崛起》的后续 。那是最近一篇尝试定义数据工程和描述数据工程师这一新职位与数据科学领域以往和现在的职位之间的联系的文章。 如果对数据工程师这个职位不了解的读者，可以参考这篇文章《数据科学行业的8个关键角色：职责与技能》了解数据科学行业职责分类。 如果团队人员中有数据工程师，他的工作可能是帮助数据科学家和分析师收集他们需要的数据。如果需要的数据不能在数据仓库的结构化部分得到，分析师可能会查找一些原始数据来做出短期的解决方案。 是否是真正的软件工程师？ 这个领域的人们应该听到过关于数据工程师是否是“真正的软件工程师”，或是某种不同类别的工程师的争论。在某些机构中这一职位是不同的，并且可能有不同（更低）的工资级别。
86630发布于 2018-05-24 - 来自专栏数据科学与人工智能
【数据科学】揭秘硅谷数据工程师求职
导言 大数据工程师是如今最火的职业，没有之一。也可能是未来十年最火的职位。那么对于如此新型的职业和技术，留学生朋友们应该如何求职？硅谷大数据达人，董老师为你揭秘。 在杜克读书时候，刚好我的导师就是在大数据方面做一些实践，我也很欣喜可以把研究和最新的工业实践Hadoop平台结合，当时做出了很好的结果发表在VLDB，SOCC国际数据库和云计算大会上。 这与我当时的大数据研究项目有很大的相关性。在技术的广度和深度有了一定的积累以后，我把更多关注放在了互联网产品上，我个人对消费者互联网一直都非常感兴趣。 很快就晋升为了资深工程师。 因为自身对创业公司氛围的喜爱，决定去寻找其他的机会。决定离开LinkedIn觉得当时的工作被限制在广告领域，而个人对广告方面兴趣并不大。 还有一些高水平的学术会议，工业界愿意支持和参与，像SIGMOD，VLDB顶级数据库大会。也喜欢举办公开技术讲座，邀请社会各界参加，注册时留下联系方式。
99890发布于 2018-02-27 - 来自专栏菲宇
Linux运维工程师必学必备的8项技能
awk是一种程序语言，对文档资料的处理具有很强的功能，awk擅长从格式化报文或从一个大的文本文件中抽取数据。 5.MariaDB数据库 之前在Linux上面使用最多的数据库是MySQL，悲催是的MySQL数据库管理系统被Oracle公司收购后从开源走向到了封闭，导致包括红帽在内的许多Linux发行版选择了MariaDB 无论使用那种数据库，你都得需要掌握数据的创建、删除、添加、查询、备份和恢复，这些基础的命令。 8.rsync备份数据 数据是企业最具价值的资产，自然要保护好数据。RAID的原理要懂会配置，知道企业的数据结构，多种备份方式保证数据的安全。 有了备份无论设备出现任何故障，你都可以从备份当中还原出来原始数据。 掌握这些技术，已经可以胜任一个运维工程师的工作，欢迎“入坑”Linux运维。
2K20编辑于 2022-12-02 - 来自专栏北京马哥教育
Linux运维工程师必学必备的8项IT技能
成长一名Linux工程师之后，才知道一路走来，背后的心酸。非常感谢支持我的同伴与老师，是你们鼓励我，坚持到底，才在这个行业立足。 成长为一名Linux工程师，只需要掌握以下方面的技能，那日常工作一点问题都没有。 无论使用那种数据库，你都得需要掌握数据的创建、删除、添加、查询、备份和恢复，这些基础的命令。 8.rsync备份数据 数据是企业最具价值的资产，自然要保护好数据。RAID的原理要懂会配置，知道企业的数据结构，多种备份方式保证数据的安全。 有了备份无论设备出现任何故障，你都可以从备份当中还原出来原始数据。 掌握这些技术，已经可以胜任一个运维工程师的工作，欢迎“入坑”Linux运维。
2.5K60发布于 2018-05-02 - 来自专栏掘金安东尼
Amazon 高级软件工程师给出 8 点职业建议
「这是我参与2022首次更文挑战的第6天，活动详情查看：2022首次更文挑战」 本篇译自：amazons-sr-software-engineer-at-27-8-important-lessons-i-ve-learned-so-far-in-my-career ---- 正如简介所说，本瓜关注点之一是程序员成长，所以本篇带来“Amazon 高级软件工程师给出 8 点职业建议”，喜欢三连 作者介绍： Daniel，28 岁的软件工程师，13 岁开始学习编码， 8 年的专业经验，2019 年加入 Amazon，2021 年被破格提升为高级软件工程师。 用一整天的时间用于独自编码，与项目中的代码交流 6 到 8 小时，与同事没有任何沟通，这其实并不是一件难事。 FAANG 工程师要差很多。
50710编辑于 2022-09-19 - 来自专栏木东居士的专栏
数据工程师该如何入门？
0x00 前言 最近发现身边有不少小伙伴想转行做数据工程师，聊天的过程中发现大家对该如何入门有很多迷茫的地方，周末写篇博客记录一下。 哪些人适合继续阅读 数据工程师该如何入门？ 对之前的工作没信心想搞互联网，发现大数据方向挺不错 本文结构 前面已经限定了一个大致的话题范围，下面介绍一下主要的文章结构： 数据工程师的日常工作，或者是什么是数据工程师 数据工程师需要具备什么技能 该怎么学 0x01 数据工程师的技能树 1. 什么是数据工程师 数据工程师这个概念其实很模糊，不同的人和公司对它赋予的含义也区别很大，感兴趣的可以看一下我前面的几篇文章。在这里，我们大概聊一下一般意义上的数据工程师在工作中会做什么？ 集群运维：安装、测试、运维各种大数据组件 数据开发：细分一点的话会有ETL工程师、数据仓库工程师等 数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等 ?
94250发布于 2018-05-25 - 来自专栏机器学习AI算法工程
数据挖掘工程师面试指南
大数据越来越火，数据挖掘师也水涨船高，更多的年轻人选择了这个行业，但是你了解他吗？面试的时候该如何表现呢？ 数据挖掘领域是一个独特的行业，通常的招聘面试方法可能不大适用于本行业的特点。 在招聘一个合格的数据挖掘工程师时，公司一般关注以下三个方面： 他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。 他能否专注于项目？ 为了解候选人是否具有数据挖掘工程师的潜质，需要一小时的面试，主要通过以下五个环节： 1、简介 如同交谈之初的寒暄一样，简介是使候选人放松下来。可以先介绍一下公司本身的情况，再回答对方的一些疑问。 因为优秀的数据挖掘工程师要能面对客户，清晰的论证并支持其提出的观点。 4、解决问题 软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。
1K40发布于 2018-03-09 - 来自专栏PPV课数据科学社区
数据科学家、数据分析师、数据挖掘工程师、数据工程师，你分的清楚吗？
在人才市场上我们通常可以看到的是后三个职位(数据分析师、数据挖掘工程师、数据工程师)，接下里我们就区分一下这几个职位的相同点和不同点。首先看下企业对这三个职位的要求和描述。 图中蓝色圈为普通工程师能力栈，粉色圈为数据开发工程师能力栈，绿色圈为数据科学家能力栈。 目前市场上数据挖掘工程师的平均工资的确是要高于数据分析师的，原因是数据挖掘工程师写代码比较多，写代码越多，工资越高，这个在任何一个国家、任何一个行当都是如此，不代表数据挖掘工程师的价值更大（参见《2016 在国内，数据挖掘工程师的薪酬是略高于数据工程师的，其他排序和上图相同。 数据挖掘工程师： 机器学习工程师： 数据分析师： 数据开发工程师：
2.5K80发布于 2018-04-19 - 来自专栏钱塘大数据
大数据时代，软件工程师渐退，算法工程师崛起
来自 Intercom 的工程师 Cathal Horan 表达了他对大数据的看法，他认为，未来属于算法，而不是代码。 “大数据时代”的称号并不能为当今世界所独享，数据充斥着人类文明历史长河的各个时期。纵观这些历史时期，通过从离散到抽象的转换，我们就会明白为什么算法比代码重要。 ——面向总统和国会的报告：设计数字的未来 抽象算法 我们现在拥有大量的数据，这意味着我们不能再用离散的思维来思考问题。大数据促使我们转变思维。它促使我们向后退一步，去寻找能够处理数据洪流的方法。 例如，你可能想从数据库中查找在过去两周买过 2 件商品并且支付超过 30 欧元的顾客，因为你想联系到这些顾客，并向他们推荐一些优惠活动。你使用这个模式来查找匹配的数据。 不过大数据却正好相反，你先有了数据，然后查找可以匹配这些数据的模式。 想想看，有这么多的数据，但是我们却找不到匹配的模式，所以我们要回退一步。
81360发布于 2018-03-05 - 来自专栏机器人网
TI 工程师DIY的迷你BB-8机器人
TI的工程师Mark Smiley 是个十足的大男孩，虽然已经34岁，童心未泯的他却依然是《星球大战》的忠实粉丝，同时对于乐高玩具也甚为着迷。 最新一部的《星球大战》上映后，呆萌的机器人BB-8俘获了Mark的“芳心”，于是他突发奇想，用乐高打造了一个小型的BB-8机器人。 超红呆萌机器人 在无意间看到家中游戏室内的球形乐高部件后，Mark决定要自己打造一个BB-8机器人。 “我真的特别想拥有一个BB-8小机器人。当我看到家里那个球形的乐高后，我立刻就找到了灵感。” 随后，乐高开始评选Mark的BB-8机器人以及其它乐高粉丝们的设计项目，并且正在考虑将它们推向市场，而最终的获奖结果将于今年下半年公布。 “他是我在公司里见过的最具创造力的极客，”Robert说，“作为一名深爱爵士乐的制造业工程师，不管那些突发奇想的创意是多么的疯狂，我都非常尊重和欣赏那些愿意付诸行动的人，他们总是对这一切都充满了热情与自信
81490发布于 2018-04-13 - 来自专栏方亮
研发工程师玩转Kubernetes——安装microk8s和Docker
《研发工程师玩转Kubernetes》将立足于实操，试图由浅入深探索Kubernetes世界。于是在技术选型和内容上也将由易到难，由简单到复杂。 Kubernetes（常简称为K8s）是用于自动部署、扩展和管理“容器化（containerized）应用程序”的开源系统。 microk8s MicroK8s is a single package that enables developers to get a fully featured, conformant and snap install microk8s --classic sudo usermod -a -G microk8s $USER sudo chown -f -R $USER ~/.kube 启动 su $USER microk8s.start 简化kubectl命令 sudo snap alias microk8s.kubectl kubectl 参考资料 https://www.redhat.com
1.1K30编辑于 2023-05-26 - 来自专栏DevOps持续集成
DevOps工程师常用的K8s命令和技巧
本文将帮助您理解DevOps 工程师所需的最重要的和最常用的 Kubernetes 命令。通过掌握这些命令，您将能够轻松导航和控制 Kubernetes 集群。 -1 -p '{"spec":{"unschedulable":true}}' #更新节点YAML kubectl patch node k8s-node-1 -p $'spec:\n unschedulable 公开为 NodePort 服务 kubectl expose deployment <deployment_name> --type=NodePort --port=<port_number> 删除k8s ="registry.k8s.io/coredns:1.6.2")].image' # 获取元数据下的所有字段 kubectl get pods -A -o=custom-columns='DATA --v=8：显示HTTP请求内容。 --v=9：显示HTTP请求内容，不截断内容。
90210编辑于 2024-06-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号