- 综合排序
- 最热优先
- 最新优先
- 来自专栏喔家ArchiSelf
数据工程师常见的10个数据统计问题
数据工程师自诩自己是“比任何软件工程师更擅长统计，比任何统计学者更擅长软件工程的人”。这里枚举了数据工程师常见的10个数据统计问题，希望对大家有所帮助。 1. 不完全理解目标函数 数据工程师希望建立“最佳”的模型。但是如果不知道目标和目标函数是什么，以及它是如何运作的，那么就不太可能建立“最佳”模型。 因为你只是随机地向数据抛出模型。 一定要看数据！理解数据的特征并形成一个假设，该假设使得模型可能最好地捕获这些特征。从数据上看，有些数据的关系可能是一目了然的。 3. 实际上，在完成构建模型之后，可以尝试找到数据集的另一个“版本”，它可以作为真正的样本之外数据集的替代品，利大于弊。 10. “需要更多数据”的谬论 与直觉相反，开始分析数据的最佳方法通常是处理数据的一个有代表性的样本集。这允许您熟悉数据并构建数据流水线，而无需等待数据处理和模型训练。
30910编辑于 2024-05-07 - 来自专栏Python七号
如何成为 10 倍工程师
最好的软件工程师比其他人要好 10 倍。他们升职的速度比任何人都快。每个人都想聘请 10 倍工程师，每个人都想成为 10 倍工程师。 但是，你到底是如何成为 10 倍工程师的呢？ 在我作为软件工程师在 Uber 和 Amazon 工作期间，我了解到这并不说要成为一个技术更好的程序员。 在本文中，我将分享我学到的 3 个经验教训，这对于成为 10 倍软件工程师至关重要。 3、思考未来 当你与从未见过的工程师开会时，你的级别和头衔不是会议邀请的一部分，但是随着会议的进行，你很容易发现 10x 工程师，因为他们的举止方式，以及他们谈论事情的方式。 10 倍工程师的普遍特征之一是都是长期主义者，更看重未来的收益。 人们普遍会低估未来的回报，因为会存在巨大压力，而立竿见影的收益是团队的默认策略。 最后的话 非技术技能是最强工程师和最弱工程师之间的区别。如果你认可上面的三点，却不去身体力行的去实践，那么利 10 倍工程师的距离也就越来越远。
36810编辑于 2022-10-25 数据工程师必看：10大主流数据清洗工具全方位功能对比
今天就带大家一次性盘点10款主流的数据清洗工具，从国产新秀到国际大牌，从企业级的工具系统到轻量级小帮手，统统都有。 ②性能强大：轻松连接多种数据源，包括数据库、文件、云存储等，而且支持大数据量。对比excel进行数据清洗，当excel的数据超过10w，打开的时候就非常卡顿了。 ③高级数据处理功能：支持数据转换、数据过滤、数据重构、数据集合等高级数据处理功能，可以大大提高团队协作效率，减少数据连接和输出的繁琐步骤。 通过 FineDataLink 可以将简道云数据定时更新至数据库中，同时和数据库中的数据跨库取数进行数据关联，输出订单明细宽表，然后将该数据表接入FineBI中进行可视化看板的制作。 四、中小团队的轻量级应急选择10.Excel+Power Query（1）优点：Excel 是人人都会的基础办公软件，搭配 Power Query 插件，能够实现数据的自动化清洗。
1.3K10编辑于 2025-09-17- 来自专栏程序员成长充电站
10倍工程师和1倍工程师，10x engineer and 1x engineer
阅读本文大概需要 10 分钟 工程师想安安静静的搬会儿砖？不可能的，总有这样那样的分心事儿。最近又冒出来一个梗，叫做10倍工程师（10x engineer）。 Shekhar Kirani在推特上说创业者要找到能以一扛十的工程师，即10倍工程师，这样创业成功的概率会大大提高，然后这哥们还列出了10倍工程师的特点，原文如下： 10x engineers hate 好事者又源源不断的增加了各种特点，并且这事发酵之后，关于10倍工程师的各种梗、迷因meme层出不穷，还有各种10倍妈妈、10倍爸爸。。。 有10倍工程师就有1倍工程师，一个哥们就创建了一个1倍工程师网站，1x.engineer，列出了1倍工程师的特点如下： Searches Google when they're not sure what's 不管是10倍工程师还是1倍工程师，在团队层面，每一个工程师都很重要。虽然10倍工程师的光芒会更强一些，但却是凤毛麟角，正如Shekhar Kirani所说，碰到了就赶紧把握住。
93910发布于 2019-09-27 - 来自专栏小小挖掘机
10大算法工程师炼丹Tricks
其规范化针对单个神经元进行，利用网络训练时一个 mini-batch 的数据来计算该神经元 ? 的均值和方差,因而称为 Batch Normalization。
1.1K30发布于 2021-03-24 - 来自专栏OpenFPGA
FPGA 工程师必备的 10 项技能
工程师有多种职业形式，但对工程师来说最令人兴奋的职业之一就是成为一名 FPGA 设计工程师。现场可编程门阵列 (FPGA) 设计工程师的任务是设计安全可靠且可进行个性化定制的电路和产品。 以下是 FPGA 设计工程师需要的 10 项有用技能： FPGA 设计工具 FPGA 设计工程师需要对如何创建系统以及使用行业软件和工具有深入的了解。 设计工程师经常与许多其他类型的工程师合作，必须对每个人的专业领域有深入的了解，以了解团队如何共同努力，分担项目的责任。 对编码的基本了解不仅可以帮助工程师创建和编程他们的系统，还可以让他们更好地理解其他工程师的角色和工作职责。 FPGA 设计工程师经常与软件团队密切合作，需要了解编码，以便他们能够清晰地沟通和协作。 要成为一名成功的 FPGA 设计工程师，请努力培养这 10 项关键技能。
82720编辑于 2023-08-30 - 来自专栏Java核心技术
10+年数据库开发工程师带你深入理解MySQL索引
前言 数据库为什么需要索引呢？ 我们都是知道数据库的数据都是存储在磁盘上的，当我们程序启动起来的时候，就相当于一个进程运行在了机器的内存当中。 所以当我们程序要查询数据时，必须要从内存出来到磁盘里面去查找数据，然后将数据写回到内存当中。但是磁盘的io效率是远不如内存的，所有查找数据的快慢直接影响程序运行的效率。 而数据库加索引的主要目的就是为了使用一种合适的数据结构，MySQL学习笔记+面试真题+MySQL索引优化视频，可以使得查询数据的效率变高，减少磁盘io的次数，提升数据查找的速率，而不再是愣头青式的全局遍历 那索引为啥要用B+Tree的数据结构呢？ 如果我们简单地想的话，想要快速地查找到数据，感觉hash表是最快的，根据key，hash到某个槽位上，直接一次查找就可以准确的找到数据的位置，这多快呀。 ，索引文件中存的data是该索引key对应的数据在数据文件中的地址值，而InnoDB则是将正式的数据存在了叶子节点中。
41330发布于 2021-03-24 - 来自专栏云云众生s
支持 10 倍增长需要多少新工程师？
“我们希望能够为 10 倍的用户或客户提供服务，但我们不一定希望工程师数量增加 10 倍。” 即使在尝试收集这些数据时，也很明显 Workhuman 工程正在通过许多独立应用程序以多种不同方式发布软件。 目前，其 10% 的工程师正在试用编码助手，以查找 GenAI 是否增强了软件开发生命周期，以及在何处增强。 Keogh 强调说：“数据至关重要。安全性至关重要，但我们还专注于负责任地部署这项技术。” 工程组织还将自身与 DX 的行业基准数据进行比较，该数据突出了排名前 10% 的组织在开发人员洞察平台中的得分情况。
22910编辑于 2024-06-08 - 来自专栏Linux云计算及前后端开发
10·灵魂前端工程师养成-CSS布局(上)
logo{ background: grey; display: inline-block; float: left; margin-top: 2px; margin-left: 10px logo{ background: grey; display: inline-block; float: left; margin-top: 2px; margin-left: 10px left; background: #000; } .imageList{ outline: 1px solid green; width: 800px; margin-top: 10px 1px solid red; width: 191px; height: 191px; background: #000; float: left; margin-bottom: 10px : 150px; } .item:first-child{ flex-grow: 1; } .item:nth-child(2){ flex-grow: 1; flex-shrink: 10
63620编辑于 2022-10-31 - 来自专栏程序员的知识天地
10个python工程师必备的爬虫工具
而作为经常要和各大网站做拉锯战的爬虫工程师们，则更需要利用利用好身边的一切法器，以便更快的攻破对方防线。 用了以上的工具，你基本可以解决大部分网站了，算是一个合格的初级爬虫工程师了。 我们有时候提取的数据是Json格式的，因为它简单易用，越来越多的网站倾向于用Json格式进行数据传输。 这个时候，我们安装这个插件后，就可以很方便的来查看Json数据啦 10.JSON Editor Online ? 再送你一个隐藏玩法，比如上面这样 我自己是一名高级python开发工程师，这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等
1.3K00发布于 2019-04-18 - 来自专栏九零后在互联网
成为DevOps工程师必备的10个技能
本文翻译自国外的科技网站hackernoon，作者是云软件工程师Amrit Singh。如需查看英文原文，可在文章底部点击“阅读原文”。 成为DevOps工程师需要学习许多技能和工具。 “ DevOps由开发和运营团队的共同负责。它集合了最佳实践和工具，让服务和应用程序更高效地跑在选择的基础设施上。 因为DevOps需要流程自动化，这要求工程师必须使用脚本，例如Shell、Python、JavaScript等。 熟练使用脚本后，将部署、流程、其他日常活动进行自动化将变得简单。 10 — Kubernetes Kubernetes是一个开源系统，用于在多个服务器上部署和管理容器。现在，集装箱是一种首选的部署方式。 流行的云平台提供现成的Kubernetes服务，比如 GCP的GKE AWS的EKS Azure的AKS 最后的话： 要成为DevOps工程师，你不需要掌握以上所有的技能。
1.4K10编辑于 2023-03-09 - 来自专栏数据科学与人工智能
数据科学家数据工程师
As the field of data science continues to grow and mature, it is nice to begin seeing some distinction in the roles of a data scientist. A new job title gaining popularity is the data engineer. In this post, I lay out some of the distinctions between the 2
87750发布于 2018-02-28 - 来自专栏一尾流莺学前端
【前端财富】前端工程师装机指南 (windows10)
Gif制作软件 snipaste(截图软件) 酷狗/网易云/listen1 (摸鱼听歌) apifox/postman (接口调试工具) wps office(办公) 百度网盘/阿里网盘 Navicat(数据库 ) sunlogin(远程操作) nginx(前端) mongodb compass(mongodb数据库专用) Windows Terminal(增强版命令行工具) Everything(文件查找)
2.1K20编辑于 2022-12-10 - 来自专栏腾讯NEXT学位
前端工程师须要常去的10个设计博客
本文向大家推荐10个非常不错的设计博客。 1. Net Tuts Net Tuts是一个高品质的设计博客，发布技术，技巧方面的文章和教程，内容涉及HTML、CSS、 Javascript、CMS、ASP.net、PHP、Ruby以及数据库等。 10. Specky Boy Speckyboy创建于2007，经过多年发展成为了流行的设计博客，发布的内容涉及网页设计教程、免费资源、平面设计以及移动开发等。
1K70发布于 2018-05-14 - 来自专栏木东居士的专栏
数据工程师的算法！
翻出来了17年自己梳理的数据工程师的算法学习内容，当时的理解和现在会有些许不同，但整体来看还是可以的，有一些比较细节的内容并没有花较多的时间来整理，留待大家自己补充了，在此不再做任何修改分享给大家参考， 该图中包含的算法范围可能会比较广，当然大家在学习的时候也可以有所取舍，根据居士个人经验，简单举例说明一下几大块算法对数据工程师的重要性，或者说是学习建议吧： 分布式算法：大数据相关的同学必备，日常工作可能使用不多 大数据算法：偏ETL和基于大数据平台开发的同学最好多做了解，现在很多大数据处理的背后都隐藏了这些大数据相关的算法，比如ES、Kylin、Hadoop。 数据结构：这里居士只列了图、树和一些高阶数据结构，有朋友问学算法在工作中到底有没有用，我可以很负责任地说，这一块是肯定有用的。 学习算法：数据挖掘相关的内容，学一下扩展自己技能是很有必要的，因为数据开发很可能会做数据挖掘相关的平台，比如广告系统、推荐系统、机器学习平台等。
70450发布于 2019-05-17 - 来自专栏CSDNToQQCode
【windows10 计划任务】【实施工程师】
完整的写法是： echo off cls echo 10秒后关闭计算机 shutdown -s -t 10 pause 编辑成【close.bat】文件 取消关机命令【shutdown -a】 接下来开始正式内容 编写【.bat】文件 创建一个文本文档，并修改其名称【*.bat】文件，例如:【close.bat】 2、输入关机命令内容 通过编写打开文件 输入以下内容 echo off cls echo 10 秒后关闭计算机 shutdown -s -t 10 pause 保存并关闭即可 制作完成，待运行命令的【.bat】文件 3、设置定时任务 在控制面板中进入【系统和安全】 在【管理工具】当中有一个
1.1K20编辑于 2022-11-29 - 来自专栏鸿的学习笔记
数据工程师的未来
Apache Airflow 和 Apache Superset 的创建者 Maxime Beauchemin 写了一篇文章讨论数据工程师的未来，其中讲述了他对数据工程师的现状的认知和未来发展的猜测，可供大家参考 ，即 为了有效地扩展数据科学和分析，团队需要一名专业工程师来管理 ETL、构建管道和扩展数据基础设施。 数据工程师也是一项吃力不讨好的工作，团队在构建基础设施、运行作业以及处理来自分析和 BI 团队的临时请求之间徘徊。因此，成为一名数据工程师既是福也是祸。 这段话道尽了大部分数据工程师团队的心酸，我想那些“取数工程师”应该更有感触。 数据工程师几乎就像是良好数据习惯的守护者。例如，如果分析工程师在每次运行 dbt 时重新处理仓库，他们就会养成坏习惯。
72720发布于 2021-11-02 - 来自专栏Albert陈凯
数据挖掘工程师书单
数据挖掘工程师书单
54740发布于 2018-04-04 - 来自专栏大数据文摘
数据工程师的崛起
），但在13年离开时我的职位却是数据工程师。 但他们也不像数据科学家，数据工程师受到一位更成熟的“父亲”– 软件工程师 – 启发。数据工程师创造工具、基础、框架和服务。事实上，相比于数据科学家，数据工程师可以说是更接近于软件工程师。 －Bill Inmon 相应得，数据仓库还是与以前一样，数据工程师负责数据仓库的多方面搭建并在其上操纵。数据工程师总是关注于在数据仓库及其附属产品。 在这些项目中数据工程师教会人们怎么样更专业地操作数据。 数据工程师同时也是数据仓库的管理员，编目、整理元数据，定义从数据仓库抽取数据的过程。 服务 数据工程师还会做些更高级别的抽象事务，在一些工作场景中提供服务和工具化使数据工程师，数据科学家和分析师可能人工处理的工作自动化。
92330发布于 2018-05-25 - 来自专栏大数据文摘
数据工程师的没落
大数据文摘作品 作者：Maxime Beauchemin 编译：阮雪妮，笪洁琼，Aileen 这个行业的辛酸，也许只有数据工程师们自己能懂。 本文是几个月前大数据文摘推送的一篇文章《数据工程师的崛起》的后续 。那是最近一篇尝试定义数据工程和描述数据工程师这一新职位与数据科学领域以往和现在的职位之间的联系的文章。 如果对数据工程师这个职位不了解的读者，可以参考这篇文章《数据科学行业的8个关键角色：职责与技能》了解数据科学行业职责分类。 如果迭代周期之间的空闲时间以小时计算时，你会觉得夜以继日地工作更有效果 ：晚上11点半花上5-10分钟的额外工作能够为你明天节约2- 4小时。这就可能会导致工作与生活之间的不平衡，很不健康。 是否是真正的软件工程师？ 这个领域的人们应该听到过关于数据工程师是否是“真正的软件工程师”，或是某种不同类别的工程师的争论。在某些机构中这一职位是不同的，并且可能有不同（更低）的工资级别。
86630发布于 2018-05-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号