- 综合排序
- 最热优先
- 最新优先
- 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (7) 卡车搬运的数据
让我们举一个例子： import tensorflow as tf import numpy as np # 使用 NumPy 生成假数据(phony data), 总共 100 个点. x_data 让我们再回到《大模型与AI底层技术揭秘 (2) 人妖之间的国度》中提到的“算盘打出原子弹”的故事。实际上，这是一个典型的分布式并发计算的场景。Tensorflow也提供了分布式训练的能力。 在Tensorflow中可以指定将数据传给worker来计算。 分布式训练的流程如下图： 图中，各个GPU各自拉取训练样本和参数进行训练，计算后更新参数。 我们发现，这一计算过程中涉及到大量的数据通信： 拉取大量的样本，如海量图片等； 拉去参数数据； 将训练的参数回馈； 在自动驾驶等训练场景，集群中每天的数据通信量可达PB之巨。 NVidia为了保障分布式训练场景下，海量数据的搬运，也设计了一套IO加速体系。请看下期。
51520编辑于 2023-10-30 - 来自专栏博文视点Broadview
云存储技术首次全景展现，7大技术趋势解读
随着进入云中的数据量的增长速度越来越快、数据形式越来越多样，以及对数据价值利用的要求越来越高，云存储面临的挑战也越来越大。 超大规模的云存储系统如何构建？ 如何满足高峰值应用的高带宽和低延时需求？ 如何低成本、低能耗地长期保存和利用数据？ 如何保证全年 7×24 小时不间断的超高可用性？ 如何保证用户的数据安全？ 如何利用数据生命周期？ 如何根据用户的需求弹性地部署和调度资源？ 其中对数字经济底层范式和云存储技术脉络的梳理，对数据“引力效应”的描述，对数据价值的分析，以及对云存储技术未来走向的分析等内容，都会给读者带来启发和思考。 基于飞天盘古系统，阿里云已建起星光熠熠的云存储产品家族，从公共云存储到混合云存储，从数据迁移到云上丰富的数据管理服务，能够覆盖多元数据应用场景。 自此，云计算三大技术支柱终于集齐！ 发布：刘恩惠 审核：陈歆懿 如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连 热文推荐 因果推断与机器学习，终于有本书能讲明白啦！
96420编辑于 2023-04-04 - 来自专栏大数据文摘
2016大数据发展7大趋势
因此，高级管理人员正在寻找其人力资源的确切数据，所以，2016年我们会看到人力资源分析将迈出一大步。 人力资源分析虽然是人事部门新的业务领域，但为了更好地提高人力资源的投资回报率，该业务增长极为迅速。 对于那些大的商业组织而言，大数据已经成为通用语言。在适应新趋势方面，政府是缓慢的，但是在2016年，我们会看到更多的国家、地区和地方政府会采用大数据技术来提高社会和公民的体验。 政府正在尝试用大数据技术来提高公民体验的管理，通过政府分析、把数据驱动决策引入到一线员工的管理，从而创造无摩擦交易，提高政府绩效。 7.智能机器带来的雾分析（Fog Analytic s)起步 ? 雾计算正在迅速地获得大量动力。雾计算是指推进连接到物联网的终端设备和存储数据的云计算之间的存储、传输和计算。 原文链接：https://datafloq.com/read/7-big-data-trends-for-2016/1699?
1.3K60发布于 2018-05-22 - 来自专栏浅聊区块链
元宇宙发展的7大顶级技术
根据专家的意见和广泛的研究，以下是7个最常被提及的技术，它们将有助于推动元宇宙及其发展。 1、人工智能 人工智能在开发机器人和聊天机器人中扮演着核心角色，并为现实世界中的计算机视觉带来智能。 3、扩展现实(XR) 波士顿咨询集团表示，AR、VR和MR技术将通过从2D转变为3D来改变企业可视化和使用数据的方式，从而获得更真实的体验，和更好地与头部运动同步的数字显示。 Gownder表示，任何一种空间技术，包括计算机视觉，都与元宇宙非常相关。能够放置一个化身、协作，都与空间维度有关。 7、区块链 Gownder推测，区块链与当今的员工或企业元宇宙并不是超级相关的。 然而，讨论集中在如何使用该技术来保护元宇宙中的数字内容和数据。区块链可以在去中心化元宇宙中发挥作用，以避免延迟或单点故障。 Gartner预测，到2027年，完全虚拟的工作空间将重塑办公体验，并将占企业在元宇宙技术投资增长的30%。 本文观点仅供参考，不构成投资建议。币圈波动大，投资需理性。
1K30编辑于 2022-11-26 - 来自专栏华章科技
大数据7大最奇特应用
在客户体验与库存管理流程方面，大数据通常会发挥重要作用。下面盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。 1.大数据广告牌 户外营销公司Route正使用大数据在广告牌、长椅以及公交车两侧的广告空间上设定定价模式。 5.大数据天气预报 从手机到交通地图，很多应用长期以来就需要数据支持。名为WeatherSignal的应用可以利用Android手机中的传感器，提供实时的天气数据。 7.大数据胸罩 True&Co网站正利用大数据帮助女性寻找号码更合适的胸罩。统计数据显示，大多数女性都戴错了胸罩的号码，为此这家网站试图帮助解决这个问 题。 该公司的内部品牌甚至会基于用户的反馈和公司收集到的数据 开发和设计新式胸罩。 利用大数据的可能性是无穷无尽的，我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗?
1K10发布于 2018-08-13 - 来自专栏数据分析师小熊
数据分析7大能力：梳理数据需求
顾名思义，数据需求，就是业务部门对数据分析产出的需求。有小伙会说：这还有需求呀，我们公司都是一通电话：“歪！给我个XX数据，快！”就完事了，根本不存在啥需求。 确实有这种无脑公司。 不过，这么无脑催数据的结果，就是返工。最常见的局面，就是你辛辛苦苦跑出来数，对面的一通质疑：“数据不对吧！”“为啥和我知道的不一样！”“你再给我个XX数据看看？”“加个字段吧！” Who：数据使用者 When：数据使用时间 Where：数据使用场合 Why：使用数据原因 What：具体数据格式 三、who：谁使用数据 包括： 申请人：部门，姓名 审批人：领导签名、邮件回复 加上审批人 ，可以在一大堆需求塞车的时候，按领导等级高低排序给数。 不主动问数据用在哪里，结果业务拿着数据乱捅一波，捅完了就说：“诶呀，我们又不懂，都是数据提供的你去问他”……数据自然百口莫辩，死无全尸……所以不要吝啬语言，问清楚！ 六、why：为什么需要数据。
1.4K21编辑于 2022-04-22 - 来自专栏人工智能
数据挖掘的7个重要技术
数据挖掘技术 数据挖掘是查看大型信息库以生成新信息的过程。直觉上，你可能认为数据挖掘是指提取新的数据，但事实并非如此; 相反的，数据挖掘是从已经收集的数据中推断出新的模式和知识。 数据挖掘专家们在自己所在的领域，依靠数据库管理，统计和机器学习的交叉技术，可以更好地从大量数据中获取到自己想要的结论。但是，他们使用什么技术来实现这一点呢？ 回答是：”数据挖掘技术” 只要利用以下技术中的一种或多种，数据挖掘则会变得非常有效： 1.跟踪模式。数据挖掘中最基本的技术之一就是学习识别数据集中的模式。 更具体地说，回归的主要焦点是帮助您揭示指定数据集中两个（或更多）变量之间的确切关系。 7.预测。预测是最有价值的数据挖掘技术之一，因为它用于投影将来会看到的数据类型。 2018，是新时代大数据的黄金时间，也是企业发展的分水岭，如何用好大数据技术，是每一个企业必须面对的问题。 END
1.3K60发布于 2018-01-09 构建可靠AI模型的7大核心技术
例如，飞机识别模型在训练数据集中能识别所有飞机图像，并在测试数据上表现优异，那么该模型应该能在任何数据集中识别飞机图片，即使之前未遇到过这些图像。 对美国政府问责局而言，数据可靠性取决于：适用性：数据是否提供相关质量的有效测量？完整性：数据集在所有属性上的填充程度如何？准确性：数据是否反映了收集数据集的真实世界？ 这些是可信数据和AI的交叉组成部分。数据集需要充分策划，在某些情况下需要标记甚至用合成数据补充，这可以补偿缺失的数据点或填补不能（或不应）用于训练的保护信息。 执行数据审计作为测试的一部分，审查数据可靠性评估、纠正措施和训练中的数据样本。让数据利益相关者（如IT领导者、法律专家、伦理学家）参与探索数据质量和可靠性。 这些可能是技术方法，组织的数据科学专业人员可以探索新想法如何支持部署的AI以及模型开发。例如，“Lipschitz约束模型”具有有界导数，可以帮助神经网络对对抗性示例更加稳健。
42700编辑于 2025-08-30- 来自专栏云计算D1net
7大云计算数据仓库
关键价值/差异： •作为完全托管的云计算服务，数据仓库的设置和资源供应均由谷歌公司使用无服务器技术来处理。 •Db2 Warehouse受益于IBM的Netezza技术以及高级数据查找功能。 Microsoft Azure SQL数据仓库非常适合任何规模的组织，这要归功于与Microsoft SQL Server的集成，希望可以轻松地将基于云计算的数据仓库技术引入。 •对于现有的SAP用户，与其他SAP应用程序的集成意味着可以更轻松地访问本地以及云计算数据集。 (7)Snowflake 对潜在买家的价值主张。 7个顶级云计算数据仓库对比图表 ? （来源：企业网D1Net）
8.3K30发布于 2019-09-26 - 来自专栏PPV课数据科学社区
大数据专家：大数据7大最奇特应用
在客户体验与库存管理流程方面，大数据通常会发挥重要作用。近来，我盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。 1.大数据广告牌 户外营销公司Route正使用大数据在广告牌、长椅以及公交车两侧的广告空间上设定定价模式。 7.大数据胸罩 True&Co 网站正利用大数据帮助女性寻找号码更合适的胸罩。统计数据显示，大多数女性都戴错了胸罩的号码，为此这家网站试图帮助解决这个问题。 该公司的内部品牌甚至会基于用户的反馈和公司收集到的数据开发和设计新式胸罩。 利用大数据的可能性是无穷无尽的，我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗? 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
1.2K50发布于 2018-04-20 - 来自专栏数据科学与人工智能
【数据】金融领域7大数据科学案例
公司希望知道更多技术带来的改进以及他们如何重塑业务战略。 为了帮助您回答这些问题，我们准备了一份对金融行业影响最大的数据科学应用清单。 金融专家经常需要处理半结构化或非结构化数据，手动处理这些数据是一个巨大的挑战。 然而，对于大多数公司来说，将机器学习技术与管理过程集成仅仅是从数据中提取真实知识的必要条件。 通过Hadoop，NoSQL和Storm等技术，传统和非传统数据集以及最精确的算法，数据工程师正在改变财务用于工作的方式。 我们认为，我们主要关注金融领域的7大数据科学用例，但还有很多其他值得一提的。 如果您有任何进一步的想法，请在评论部分分享您的想法。 原文链接： https://medium.com/activewizards-machine-learning-company/top-7-data-science-use-cases-in-finance
1.8K00发布于 2018-07-30 - 来自专栏Spark学习技巧
金融领域7大数据科学案例
近年来，数据科学和机器学习应对一系列主要金融任务的能力已成为一个特别重要的问题。 公司希望知道更多技术带来的改进以及他们如何重塑业务战略。 金融专家经常需要处理半结构化或非结构化数据，手动处理这些数据是一个巨大的挑战。 然而，对于大多数公司来说，将机器学习技术与管理过程集成仅仅是从数据中提取真实知识的必要条件。 通过Hadoop，NoSQL和Storm等技术，传统和非传统数据集以及最精确的算法，数据工程师正在改变财务用于工作的方式。 我们认为，我们主要关注金融领域的7大数据科学用例，但还有很多其他值得一提的。 如果您有任何进一步的想法，请在评论部分分享您的想法。 原文链接： https://medium.com/activewizards-machine-learning-company/top-7-data-science-use-cases-in-finance
2.7K40发布于 2018-06-22 - 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.5K11编辑于 2023-04-07 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 7.Zeppelin——Zeppelin 是一个提供交互数据分析且基于Web的笔记本。
1.7K31发布于 2019-01-08 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 7.Zeppelin——Zeppelin 是一个提供交互数据分析且基于Web的笔记本。
1.3K30发布于 2019-04-19 - 来自专栏加米谷大数据
技术分享：数据分析的7个步骤
如何对数据进行分析显得尤为重要，那么数据分析该如何进行呢？ 确定问题 在进行真正的数据分析操作之前，要首先分析你的需要，你为什么要进行数据分析，数据分析是为了什么。 一是确定解决或者弄明白为什么的问题，二是确定涉及到的变量或者数据的问题，由此再去基于接下来科学的数据分析去提出策略解决问题。 数据采集 所谓的数据采集是收集被确定为数据需求的目标变量信息的过程。 数据处理 数据处理也可以说是数据的规范化，需要把收集到的数据进行组织，包括根据相关分析工具的要求构建数据。 ? 数据清洗 数据清洗也成数据清理，有些人是把这一步骤和数据处理步骤放在一起了，你也可以这样做，只是要记得这是两个不同的先后继承性的步骤。 数据分析 也称为数据建模，完成以上步骤后，结合统计学，计量经济学等学科做定量分析，同时也要结合业务现实做定性分析、对数据进行描述性分析、探索性分析及信度效度的测量，尽可能建立科学准确的模型(如相关性、回归分析
1.1K20发布于 2019-11-06 - 来自专栏数据派THU
独家 | 处理非均衡数据的7种技术
利用以下七种技术可以通过训练一个分类器来检测出上述异常类。 1. 使用正确的评估指标 对于那些使用非均衡数据的模型来说，应用不恰当的评估度量指标非常危险。 7. 设计自定义模型 前文所述的方法关注的是数据，将模型视为一个固定的组件。但事实上，如果模型本身适用于非均衡的数据，就无需对数据进行重新采样。 小结 本文的内容并非唯一的技术列表，只是处理非均衡数据的一个起点。也不存在能解决所有问题的最佳方法或模型，强烈建议尝试不同的技术和模型来评估哪种方法最为有效，可以尝试有创意地将多种方法结合起来使用。 原文标题：7 Techniques to Handle Imbalanced Data 原文链接：https://www.kdnuggets.com/2017/06/7-techniques-handle-imbalanced-data.html 你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。
53620编辑于 2023-03-29 - 来自专栏DeepHub IMBA
数据信息汇总的7种基本技术总结
数据汇总是一个将原始数据简化为其主要成分或特征的过程，使其更容易理解、可视化和分析。本文介绍总结数据的七种重要方法，有助于理解数据实质的内容。 它可以提供对数据集中“典型”数据点的准确描述。集中趋势的三个主要度量是平均值、中位数和众数。 平均值:通过将数据集中的所有数据点相加，然后除以数据点的数量来计算平均值。 它衡量每个数据点与平均值之间的平均距离。它用与数据相同的单位表示，所以特别有用。 理解离散度对于衡量数据的可靠性至关重要。高离散度表明数据的高度可变性。 这些图形方法允许快速、直观地理解数据，使它们成为数据分析的宝贵工具。 7、交叉制表 交叉表是一种常用的分类汇总数据的方法。它创建了一个显示变量频率分布的列联表。 总结 对数据进行总结是数据分析过程中至关重要的一步。它提供了对数据集的全面理解，揭示了在原始的、未处理的数据中可能不明显的模式、关系和见解。
1.2K20编辑于 2023-08-28 - 来自专栏大数据知识
大数据5大关键处理技术
云计算技术、物联网等技术快速发展，多样化已经成为数据信息的一项显著特点，为充分发挥信息应用价值，有效存储已经成为人们关注的热点。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 这就需要对数据的存储技术和存储模式进行创新与研究，跟上数字化存储的技术的发展步伐，给用户提供一个具有高质量的数据存储体验。 大数发掘技术，目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术 了解跟多相关 大数据培训 技术知识，欢迎关注小编。
11K30发布于 2021-03-12 - 来自专栏灯塔大数据
每周学点大数据 | No.7大数据规模的算法分析
No.7期 大数据规模的算法分析 Mr. 王：这样的时间界限记为O(1)，我们称之为常数时间算法，这样的算法一般来说是最快的，因为它与输入规模完全无关，不论输入规模n多么大，我们都可以用一个与输入规模n无关的常数时间得出结论，相比于巨大的n来说 另外，与大O记号类似，常用的记号还有Θ，Θ(g(n)) 表示函数f(n)构成的集合，存在n0，c1，c2。当n≥n0时，0≤c1g(n)≤f(n)≤c2g(n)。 它们与大O记号和Ω记号类似，只是在大小关系上不包含等于。 小可：嗯，听到这里，我理解了如何进行算法的分析和几种记号表示的含义了。 Mr. 内容来源：灯塔大数据
80440发布于 2018-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号