快讯 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

快讯

掌握技术趋势，了解最新行业动向

周五
2021-04-16

分布式计算框架状态与容错的设计
对于一个分布式计算引擎（尤其是 7*24 小时不断运行的流处理系统）来说，由于机器故障、数据异常等原因导致作业失败的情况是时常发生的，因此一般的分布式计算引擎如 Hadoop、Spark 都会设计状态容错机制确保作业失败后能够恢复起来继续运行，而新一代的流处理系统 Flink 在这一点上更有着优秀而简约的设计。每个框架都有与之相关的诸多概念，常常令开发者感到困惑。本文会尽量避免从官方文档的角度进行论述，而是尝试先跳出具体的框架，从原理上分析分布式计算引擎状态容错机制的设计思想。通过对比 ...
侵犯个人信息被罚三千万，魔蝎科技非法保存2000万条数据
近日，此前于2019年首批被查的大数据科技公司中，杭州魔蝎科技公司相关案件迎来了一审判决结果。根据两高《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》，非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息50条以上即可入罪。魔蝎科技犯侵犯公民个人信息罪，判处罚金三千万元；公司法人周某某被判有期徒刑三年，缓刑四年；技术总监袁某被判有期徒刑三年，缓刑三年。根据天眼查相关信息显示，杭州魔蝎数据科技有限公司成立于2016年1月，定位于提供互联网金融数据服务，法定代表人为...
深度解读：Kafka放弃ZooKeeper，消息系统兴起二次革命
作者 | Tina 采访嘉宾 | 韩欣、王国璋 “我对该版本感到非常兴奋，但我们的业务特性决定了我们不能停机升级...” 3 月 30 日，Kafka 背后的企业 Confluent 发布博客表示，在即将发布的 2.8 版本里，用户可在完全不需要 ZooKeeper 的情况下运行 Kafka，该版本将依赖于 ZooKeeper 的控制器改造成了基于 Kafka Raft 的 Quorm 控制器。在之前的版本中，如果没有 ZooKeeper，Kafka 将无法运行。但管理部署两个不同的系统...
大数据告诉你：程序员真的是吃青春饭的吗？
程序员真的是吃青春饭的吗？不少程序员认为编程只能干到 35 岁，事实果真如此吗？一篇基于 StackOverflow.com 上的用户数据分析做出的论文《Is Programming Knowledge Related To Age?》，给出了一些答案。论文地址：https://people.engr.ncsu.edu/ermurph3/papers/msr13.pdf 数据采样和清洗条件：1694981 位用户，平均年龄 30.3 岁。我们来具体看下：年龄分布图我们可以看到程序...
第一个世界量子日，量子计算大牛Scott Aaronson获颁ACM计算奖
刚刚，理论计算机科学家、UT Austin 教授、量子计算先驱 Scott Aaronson 因其「对量子计算的开创性贡献」被授予 2020 年度 ACM 计算奖。在获奖公告中，ACM 表示：「量子计算的意义在于利用量子物理学定律解决传统计算机无法解决或无法在合理时间内解决的难题。Aaronson 的研究展示了计算复杂性理论为量子物理学带来的新视角，并清晰地界定了量子计算机能做什么以及不能做什么。他在推动量子优越性概念发展的过程起到了重要作用，奠定了许多量子优越性实验的理论基础。这些实验最...
霸榜多个CV任务，开源仅两天，微软分层ViT模型收获近2k star
自 2017 年 6 月谷歌提出 Transformer 以来，它便逐渐成为了自然语言处理领域的主流模型。最近一段时间，Transformer 更是开启了自己的跨界之旅，开始在计算机视觉领域大展身手，涌现出了多个基于 Transformer 的新模型，如谷歌用于图像分类的 ViT 以及复旦、牛津、腾讯等机构的 SETR 等。由此，「Transformer 是万能的吗？」也一度成为机器学习社区的热门话题。不久前，微软亚研的研究者提出了一种通过移动窗口（shifted windows）计算的分...
AI给老照片上色，真的准吗？技术圈和历史圈吵了1000帖
AI给老照片上色，近来确实很火爆，但上的颜色真的准确吗？有人便就此做了个实验，把20世纪初俄国的彩色照片去色后，再与AI上色的结果做对比。如此对比结果之下，这位网友直接指出： AI总是倾向于选择不鲜艳的颜色，让天空总是灰蒙蒙，人们的穿着都很朴素，地面充满灰尘和泥土。但更进一步的，她所担心的还有另外一点——AI会加重人们对过去“是枯燥乏味、死气沉沉”的偏见。她认为给老照片上色这种工作，还是应该交给人类专家完成。 AI，不行☝️。此帖一出，在Reddit上的机器学习社区和历...
波士顿动力机器狗化身警犬入宅执法，网友：不想生活在《黑镜》里
现在，波士顿动力机器狗已经开始“闯入民宅”了。想象一下，当你下班回家，一只警用机器狗忽然从你的楼门口溜达出来：带着摄像头和一身传感器，缓缓从你身边经过：甚至就地“卧倒”在电梯间，静候警察的下一步指令。再一次，网友们回想起了被《黑镜》支配的恐惧…… 一位目击者的语气中，带着些惊恐：我这辈子都没见过这种事情。这到底是怎么回事？这件事，发生在纽约警察局最近的一次出警任务中。当时，纽约警方正在逮捕一名“非法持有武器”的男子，家中还有一名母亲和她的小孩。但在居民们...
竞业协议“下沉”，普通程序员逃不过的坑
“公司最大的敌人不是竞争者而是公司内部的职员，因为从竞争者那里失去的只是利润，而从不忠的员工那里失去的将是真正的财富。” 如今在互联网圈子里，几乎没人不知道竞业限制协议（下文简称竞业协议）。法律对什么样的人需要签订竞业协议已经做了明确规定：高级管理人员、高级技术人员以及其他负有保密义务的人员。虽然不是每个人都是高级管理和技术人员，但人人都可能是“负有保密义务的人员”。 “不签没办法入职” 现在，竞业协议已经开始从高管向普通程序员“下沉”。在互联网行业工作了十余年的王修透露，现在大厂里几乎...
火山引擎 Redis 云原生实践
Redis 简介 Redis 是大家日常工作中使用较多的典型 KV 存储，常年位居 DB-Engines Key-Value 存储第一。Redis 是基于内存的存储，提供了丰富的数据结构，支持字符串类型、哈希/列表/集合类型以及 stream 结构。Redis 内置了很多特性，其中比较重要的有：复制：Redis 支持异步的全量和增量同步，可以把数据从 Master 复制到 Slave，实现 Redis 数据的高可用。持久化：支持数据的持久化，可以通过 RDB 和 AOF 机制实现数据...
CEO 贝佐斯的最后一封信：世界想让你做普通人，别信
摘要贝佐斯谈了谈成就和责任，亚马逊能有今天是因为一直保持独特做自己，所以勿忘初心。今年第三季度，杰夫·贝佐斯将辞去亚马逊 CEO 职务，将接力棒传递给云计算业务负责人 Andy Jassy，过渡为亚马逊董事会的执行主席。回顾亚马逊的历史，人们总问，它如何始终保持活力？从一个网上书店，到推出 Prime 会员，Kindle，语音助理 Alexa，云计算 AWS……真就印证了贝佐斯的那句话，「我们就只管发明」。卸任后的「发明家」依旧会干更多自己想做的事情，比如造火箭，做慈善关注气候变化...
Clubhouse 遭遇巨头反击战
摘要实力悬殊，以小搏大，Clubhouse 却很「佛」就在中国互联网圈竞速争夺中国版 Clubhouse 头衔之际，在国外，一场巨头围剿 Clubhouse 的反击战也正式打响了。过去一个月，包括 Facebook、推特、领英、Spotify 在内，数家用户体量过亿，并在各自领域早已拔得头筹的公司相继参战。有的成为 Clubhouse copycat，照着 Clubhouse 现成的模版，再加上一些时下流行的互动元素，推出独立平台。有的则是基于自身产品改造，加入类 Clubhous...

周四
2021-04-15

点击加载更多

第 347 页第 348 页第 349 页第 350 页第 351 页第 352 页第 353 页第 354 页第 355 页第 356 页

快讯

分布式计算框架状态与容错的设计

侵犯个人信息被罚三千万，魔蝎科技非法保存2000万条数据

深度解读：Kafka放弃ZooKeeper，消息系统兴起二次革命

大数据告诉你：程序员真的是吃青春饭的吗？

第一个世界量子日，量子计算大牛Scott Aaronson获颁ACM计算奖

霸榜多个CV任务，开源仅两天，微软分层ViT模型收获近2k star

AI给老照片上色，真的准吗？技术圈和历史圈吵了1000帖

波士顿动力机器狗化身警犬入宅执法，网友：不想生活在《黑镜》里

竞业协议“下沉”，普通程序员逃不过的坑

火山引擎 Redis 云原生实践

CEO 贝佐斯的最后一封信：世界想让你做普通人，别信

Clubhouse 遭遇巨头反击战

腾讯PCG架构调整，在线视频又多了一个“长短联动”玩家

央行论文上热搜！呼吁放开和鼓励生育，科技进步难以弥补人口下降

从SOA软件平台，看上汽如何向高科技企业全面转型

以太坊柏林硬分叉正式激活，主网将迎哪些更新？

视频监控变得越来越智能，连接也越来越紧

屠榜各大CV任务，微软开源的Swin Transformer有多强？

Hadoop和大数据正式走到头了：13个相关的Apache开源项目宣布报废

有人在Github上用几行代码就造了个锤子便签

对话祥峰中国夏志进：AI技术不会出现革命性突破，更关注深入产业降本增效

GitHub Copilot抄袭实锤！GitHub：我们的AI没有「背诵」代码

脚踩也没事 科学家以昆虫为灵感研发出高度灵敏性小型机器人

谁在发起抵制Copilot？代码版权争议不休，有开发者退出GitHub

突发！网信办通知应用商店下架滴滴，没说什么时候可以恢复

报告：混合工作模式将加大 IT 工作难度

一天狂揽2000+星，微软面向初学者ML课程来了，完全免费

韩国用AI预防汉桥自杀：正在用救援数据训练机器学习模型

IEEE技术领域大奖公布：ML先驱上榜，大陆唯一获奖学者来自清华

这个 App，想用你的「良心」赚钱

云+社区 × 知乎 ：AI 与传统行业的融合

云+社区 × 知乎 ：开发者云办公模式洞察

云+社区×知乎：共探 5G

"清华-腾讯联合实验室"疫情分析专题

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

脚踩也没事科学家以昆虫为灵感研发出高度灵敏性小型机器人

云+社区 × 知乎：AI 与传统行业的融合

云+社区 × 知乎：开发者云办公模式洞察