- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能头条
面向图像分析应用的海量样本过滤方案
✎ 文 | 常江龙 在图像分析应用中，海量图片样本的有效自动化过滤是一项重要的基础工作。本文介绍一种基于多重算法过滤的处理方案，能够自动提取有效图像样本，极大减少人工标注的工作量。 这些成果所采用的技术路线，很多都是利用海量的已标注样本数据，在深度神经网络上训练相应的识别或检测模型。就企业算法应用而言，往往需要根据实际的应用场景，构建自己的训练样本集，以提升算法的有效性。 利用这个新的模型，对目标样本进行识别，得到其类别置信度。如果某个样本在所属类别上置信度很低，则将该样本作为不相关样本予以筛除。 总结 在企业级深度学习图像应用中，海量高质量图像样本的获取，是取得优异算法性能的重要前提。 不过，“爬图容易挑图难”，即使积累了海量样本数据，却因为缺乏有效的处理手段和标注人力而望洋兴叹，这也是经常遇到的一种数据困境。
1.2K20发布于 2018-07-20 - 来自专栏小刀志
基于海量样本数据的高级威胁发现
海量样本数据运营 要进行高级威胁的持续自动化发现，离不开海量样本数据作为来源。面对海量的威胁样本数据，必须及时获取有关这些数据的准确信息。 接下来，我将简单描述一下如何进行海量样本数据的运营，以及做好海量样本数据的运营如何支撑起情报生产和高级威胁发现的任务。 什么是漏斗模型？ 面向海量样本数据运营的漏斗模型 为了适用于针对威胁检测的海量样本数据运营，我们提出了面向海量样本数据运营的漏斗模型。 情报生产和高级威胁发现 海量样本数据的运营，用于支持情报生产业务和高级威胁发现业务。接下来我将简单描述一下如何基于海量样本数据运营进行情报生产和高级威胁发现。 什么是威胁情报？ 然后我们对指标数据进行丰富化处理，包括去除误报、指标评分、上下文补充，这些处理是依赖于信誉库和沙箱报告中的其他内容进行的。最后是情报的输出。 什么是高级威胁？
5.5K10编辑于 2022-12-12 - 来自专栏大数据与微服务架构
千亿级海量数据库OceanBase
OceanBase是阿里集团研发的可扩展性关系型数据库，实现了数千亿条记录、数百TB数据上的跨行跨表事务。 OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量。 一、OceanBase系统架构： 1、客户端：使用OceanBase的方式与MySQL完全相同，支持JDBC、C客户端访问，基于MySQL数据库开发的应用可以直接迁移至OceanBase。 三、OceanBase扩展 OceanBase融合了分布式存储系统和关系型数据库这两种技术，UpdateServer相当于一个高性能内存数据库，底层采用关系型数据库技术实现，ChunkServer相当于一个分布式文件存储系统
2.7K10发布于 2020-04-11 - 来自专栏挖掘大数据
处理海量数据的10种常见方法
本文将介绍10种处理海量数据问题的常见方法，也可以说是对海量数据的处理方法进行一个简单的总结，希望对你有帮助。 （六）数据库索引 适用范围：大数据量的增删改查 基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。 100台电脑中，想个办法高效统计出这批数据的TOP10。 可用思路：trie树+堆，数据库索引，划分子集分别统计，hash，分布式计算，近似统计，外排序 所谓的是否能一次读入内存，实际上应该指去除重复后的数据量。 一方面我们可以考虑上面的字典方法能否被改进以适应这种情形，可以做的改变就是将字典存放到硬盘上，而不是内存，这可以参考数据库的存储方法。
2.5K100发布于 2018-01-17 - 来自专栏Eliauk的小窝
项目如何适配国产海量数据库
即可 注意：postgresql的驱动类是：org.postgresql.Driver 要注意的是：postgresql的url中需要指定currentSchema=xxxx 这是一个默认访问的数据库，
1.2K10编辑于 2024-03-16 - 来自专栏小鹏的专栏
机器学习-10：MachineLN之样本不均衡
什么是样本不均衡？ 样本不均衡：在准备训练样本的时候，各类别样本比例不等，有的差距可能比较小，有的差距则会比较大，以CIFAR-10为例： CIFAR-10是一个简单的图像分类数据集。 如下图：Dist. 1：类别平衡，每一类都占用10%的数据。Dist. 2、Dist. 3：一部分类别的数据比另一部分多。Dist. 4、Dist 5：只有一类数据比较多。 Dist. 10、Dist. 11：交通工具对应的类别中的样本数都比动物的多。 2. 为什么要解决样本不均衡？ 训练网络使用的是CIFAR-10的结构，下面是测试结果：可以看出总的准确率表现不错的几组1,2,6,7,10,11都是大部分类别平衡，一两类差别较大；而表现很差的，像5,9可以说是训练失败了，他们的不平衡性也比前面的要强 机器学习-9：MachineLN之数据归一化 10. 机器学习-10：MachineLN之样本不均衡 11. 机器学习-11：MachineLN之过拟合 12.
48720编辑于 2022-05-09 - 来自专栏新智元
语言处理AI被谷歌地图训练：年删帖过亿条，训练样本海量
算法可通过TensorFlow在GitHub上公开获得，TensorFlow是谷歌自己的开源机器学习软件库。 谷歌地图项目早已在用机器学习来识别汽车牌照，现在还在使用相同的技术从路牌中获取信息。
1.3K20编辑于 2022-04-06 - 来自专栏乐沙弥的世界
安装MySQL样本数据库Sakila
对此，MySQL为我们提供了一些样本数据库，我们可以基于这些数据库作基本的操作以及压力测试等等。本文描述的是安装sakila数据库。该数据库需要安装在MySQL 5.0以上的版本。以下是其描述。 1、下载种子数据库 下载位置：http://dev.mysql.com/doc/index-other.html 2、安装种子数据库sakila [root@localhost ~]# unzip sakila-db.zip
1.2K30发布于 2018-08-13 YashanDB数据库海量数据存储方案解析
在现代的数据库应用中，如何有效存储与管理海量数据，一直是技术发展与应用实践中的重大挑战。面对不断增长的数据量，传统数据库的存储方案往往难以满足高效性、扩展性和可靠性的需求。 因此，合理的海量数据存储方案显得尤为重要。本文将重点讨论YashanDB的各类存储方案与技术架构，帮助读者理解其背后的原理与优势。 适合高并发、海量数据分析等应用场景。共享集群部署共享集群通过共享存储，所有实例均可读写，提高了数据访问的效率。该模式通常用于对高可用、高性能以及可扩展性都有较高要求的场景。 自动选主在数据库主实例出现故障时，系统能够自动选取备库作为新的主库，保证业务瞬时切换，降低故障恢复时间。 结论YashanDB提供了多样化的海量数据存储解决方案，结合先进的存储架构、逻辑管理、并发控制与高可用机制，能够高效支撑不同规模业务场景下对数据的存储与管理需求。
16100编辑于 2025-07-06- 来自专栏腾讯云数据库(TencentDB)
腾讯云数据库海量数据交互之道
TDSQL-A是在腾讯业务场景下诞生的在线分布型OLAP数据库系统，在处理海量数据分析业务的过程中持续对产品构架进行升级调整，是PG生态中分析型MPP产品的又一力作。 本文将由腾讯云数据库专家工程师伍鑫老师为大家详细介绍TDSQL-A的发展历程、技术架构和创新实践，以下为分享实录： TDSQL-A发展历程 TDSQL-A是一款基于PostgreSQL自主研发的分布式在线关系型数据库 是一个面向海量数据实时在线分析产品，采用无共享MPP构架。面向分析型场景的极致性能优化，我们自研了列式存储，同时也支持行列混合存储模式。 做一个比较简单的计算，如果200个DN节点有100个并发查询，每个查询是5个数据重分布，计算将会有超过10万个连接数。 介绍一下列存储延迟扫描优化，例如有一个查询，在同一张表上有多个Predicate条件，比如10列有3列带有Predicate。
2.3K30编辑于 2022-02-15 - 来自专栏JavaQ
支撑海量数据的数据库架构如何设计？
分库分表 说白了就是大量分表来保证海量数据下的查询性能。 这样 1 亿数据量的话，分散到每个表里也就才 10 万量级的数据量，然后这上千张表分散在 5 台数据库里就可以了。 通过这个步骤，就可以让每个表里的数据量非常小，每年 1 亿数据增长，但是到每个表里才 10 万条数据增长，这个系统运行 10 年，每个表里可能才百万级的数据量。 主从读写分离 这个时候整体效果已经挺不错了，大量分表的策略保证可能未来 10 年，每个表的数据量都不会太大，这可以保证单表内的 SQL 执行效率和性能。 ③10 bit：记录工作机器 id，代表的是这个服务最多可以部署在 2^10 台机器上，也就是 1024 台机器。
1.4K20发布于 2019-06-02 - 来自专栏小工匠聊架构
Oracle海量数据优化-02分区在海量数据库中的应用-更新中
---- 概述 以前梳理了一篇文章， 案例不是很充分 Oracle-分区表解读 故本篇博文系统的再重新阐述一下 当我们对海量数据的Oracle数据库进行管理和维护时，几乎无一例外的使用了分区（partition 分区是Oracle数据库中对海量数据存储管理提供的一个应用很广泛的技术，它可以非常方便的加载数据、删除数据和移动数据，特别是对于一个拥有海量数据的OLAP及数据仓库系统的数据库来说，更是如此。 有一个分区裁剪功能，只对需要处理的分区进行扫描，这样扫描的数据块会大大的减少，使查询效率提高 分区更利于数据维护， 可以只对单独分区进行备份、恢复，这样就可以大大的缩短数据备份、恢复的时间 分区有利于数据库数据的过期化处理
2K20发布于 2021-08-16 - 来自专栏腾讯IMWeb前端团队
海量福利！IMWebConf 2018 前端大会，10 月 14 日重磅来袭！
【IMWebConf 2018 前端大会，10 月 14 日重磅来袭！ ---- 【海量福利，你准备好了吗？】 Part 1 参会既有大会提供的超值精美礼品一份！礼品包含酷炫背包、精致水杯、无门槛电子书优惠券等等，诚意满满！ Part2 只有这些吗？当然不是！ 我们全程还有若干抽奖环节，奖品包含海量图书、腾讯云优惠券、掘金等各大社区电子优惠券、Q萌抱枕、定制T恤等等，福利多多！ Part3 奖品有了，技术收获呢？ 会议时间：2018年10月14日（周日） 会议地址：深圳科兴国际会议中心B栋4单元，可先到达科兴科学院东门，我们会在东门设置对应的指引牌。
1.3K30编辑于 2022-06-29 - 来自专栏生信技能树
祖传的单个10x样本的seurat标准代码
全部链接是： 「生信技能树」单细胞进阶数据处理之文献导读，链接是：https://www.bilibili.com/video/BV17f4y1R7N8 「生信技能树」使用10X单细胞转录组数据探索免疫治疗 这里做一个统一的代码更新 复制粘贴就可以使用的代码哦，单个10x样本的seurat标准代码如下： ### --------------- ### ### Create: Jianming Zeng ## ## ### --------------- rm(list=ls()) options(stringsAsFactors = F) library(Seurat) pro='S1' # 搞清楚你的10x 单细胞项目的cellranger输出文件夹哦 hp_sce <- CreateSeuratObject(Read10X('scRNAseq_10_s1/filtered_feature_bc_matrix <- sce.markers %>% group_by(cluster) %>% top_n(10, avg_logFC) DoHeatmap(sce,top10$gene,size=3) ggsave
2K33发布于 2020-08-28 - 来自专栏【腾讯云开发者】
腾讯专家10年沉淀：后海量时代的架构设计
看目录 点收藏 1 背景 2 架构的边界 3 架构的组织属性 4 架构的反馈 5 总结 01 背景 腾讯面向内部开发者的海量服务之道系列课程颇具名气，它为司内外海量用户提供互联网服务的经验传承。 海量服务的核心是可用性，最终的目的是用高可用性来支撑海量用户的海量请求。无论是意识、方法论、价值观还是手段，都体现了对于某个方面的方式方法的高可用性追求。 有内存 Cache、分布式 Cache，NoSQL 和 RDBMS 关系型数据库，可能还有离线处理部分，有时为了解耦还会引入 MessageQueue、消息总线等。 因此在海量基础的架构设计中，第一个要考虑的问题就是架构的边界。 监控统计效果如下： 当时遇到一个问题，开发者监控到的某个 mod、cmd 接口的异常率高达 10+%，开发者看到的是 PDUBrige 到 L5 的异常率，而对方看的是 L5 到 B 之间的异常率，
3.6K31编辑于 2023-04-13 - 来自专栏Chris生命科学小站五年归档
每个样本只要10元的转录组分析教程
挖掘数据的数据从哪里来 主要从GEO基因芯片数据库中来：绝大部分国外实验室或者发完文章了以后芯片数据是要公开的，这就给大家提供了大量的数据。
47730编辑于 2023-02-12 如何在YashanDB数据库中高效处理海量数据
在现代数据库技术中，海量数据的管理和处理成为了一个普遍存在的挑战。随着数据规模的不断扩大，性能瓶颈、数据一致性问题以及易用性需求等问题日益凸显。 YashanDB作为一款专为处理海量数据而设计的数据库，凭借其高可扩展性、高并发性能和高可用性，提供了一系列技术手段以应对这些挑战。 本文旨在探讨如何在YashanDB中高效地管理和处理海量数据，目标读者为数据库管理员、数据工程师及相关技术人员。 定期监控数据库性能，分析慢查询，优化执行计划，确保海量数据高效处理。启用数据加密保护机制，加强数据安全，防止数据泄露风险。 通过合理运用多版本并发控制、分区技术、ACID特性、PL语言支持、数据加密与监控优化等手段，数据库管理员和数据工程师可以在实际项目中有效地管理和处理海量数据，保证数据的安全、性能和可靠性。
18800编辑于 2025-07-18- 来自专栏用户8955222的专栏
中国工业企业数据库 | 特殊样本统计
在对中国工业企业数据库进行数据清洗之后，一个伴随而来的问题是：数据清洗本身会否影响估计结果？ 换句话说，基于一个特定的变量对数据进行清洗，这样的一种选择过程将导致参与回归的样本与被剔除的样本在某些方面存在系统性偏差，即对样本的选择不再随机。 排除行业分类代码统一错误的可能，使用这样的跨行转移样本来进行估计可能导致样本选择偏误。 为什么会导致样本选择偏误？ 以上只是工企数据库进行数据清洗后可能出现的两点比较突出的问题，除此之外还存在单期观测企业、在位企业、持续在位企业与其他企业是否存在系统性差异的问题。 剔除这部分特殊样本的前提是识别出这些样本，下面的代码是可供参考的识别方案。
1.8K00发布于 2021-11-02 YashanDB数据库如何保障海量数据安全与隐私
在现代信息技术迅猛发展的时代，数据库管理系统面临着数据安全与隐私保护的重大挑战。随着企业集成越来越多的海量数据，确保这些数据在存储、传输及访问过程中的安全性和隐私保护变得尤为重要。 YashanDB作为一个高性能、高可用的数据库系统，实施了多种措施以保障数据安全与隐私内容。 高可用性与容灾备份YashanDB设计了高可用性架构，支持主备复制机制，确保一旦主数据库故障，备库能够快速接管服务。同时，系统定期进行数据备份，以支持数据恢复，进一步保护数据的安全性。 定期执行数据库备份并测试恢复过程，确保在紧急情况下数据能够快速恢复。结论YashanDB通过加密、访问控制、完整性约束、多版本控制和高可用性等技术手段，有效保障了海量数据的安全与隐私。 在实际应用中，应结合行业最佳实践，对数据库安全策略进行定期评审和调整，以适应不断变化的安全环境。
22210编辑于 2025-07-05- 来自专栏五分钟学算法
10 道 BAT 大厂海量数据面试题（附题解+方法总结）
题目3 题目描述 现有海量日志数据保存在一个超大文件中，该文件无法直接读入内存，要求从中提取某天访问百度次数最多的那个 IP。 假设内存满足位图法需求，进行下面的操作： 遍历 2.5 亿个整数，查看位图中对应的位，如果是 00，则变为 01，如果是 01 则变为 10，如果是 10 则保持不变。 这一步时间复杂度 O(Nlog10)。 当样本数为奇数时，中位数为 第 (N+1)/2 个数；当样本数为偶数时，中位数为 第 N/2 个数与第 1+N/2 个数的均值。 对于这道题，可以顺序遍历 10 个文件中的 query，通过 Hash 函数 hash(query) % 10 把这些 query 划分到 10 个小文件中。
3.5K30发布于 2019-12-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号