- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能头条
面向图像分析应用的海量样本过滤方案
✎ 文 | 常江龙 在图像分析应用中，海量图片样本的有效自动化过滤是一项重要的基础工作。本文介绍一种基于多重算法过滤的处理方案，能够自动提取有效图像样本，极大减少人工标注的工作量。 这些成果所采用的技术路线，很多都是利用海量的已标注样本数据，在深度神经网络上训练相应的识别或检测模型。就企业算法应用而言，往往需要根据实际的应用场景，构建自己的训练样本集，以提升算法的有效性。 图2 技术方案概要图 根据以上的解决思路，设计出一个多重过滤的技术方案，其具体流程可分为如下几个步骤（参见图2）： 图像去重：去除重复图像及极相似图像； 常见噪声图像过滤：过滤掉人脸、包装、发票等无关的常见类型噪声图像 总结 在企业级深度学习图像应用中，海量高质量图像样本的获取，是取得优异算法性能的重要前提。 不过，“爬图容易挑图难”，即使积累了海量样本数据，却因为缺乏有效的处理手段和标注人力而望洋兴叹，这也是经常遇到的一种数据困境。
1.1K20发布于 2018-07-20 - 来自专栏小刀志
基于海量样本数据的高级威胁发现
海量样本数据运营 要进行高级威胁的持续自动化发现，离不开海量样本数据作为来源。面对海量的威胁样本数据，必须及时获取有关这些数据的准确信息。 接下来，我将简单描述一下如何进行海量样本数据的运营，以及做好海量样本数据的运营如何支撑起情报生产和高级威胁发现的任务。 什么是漏斗模型？ 面向海量样本数据运营的漏斗模型 为了适用于针对威胁检测的海量样本数据运营，我们提出了面向海量样本数据运营的漏斗模型。 情报生产和高级威胁发现 海量样本数据的运营，用于支持情报生产业务和高级威胁发现业务。接下来我将简单描述一下如何基于海量样本数据运营进行情报生产和高级威胁发现。 什么是威胁情报？ 然后我们对指标数据进行丰富化处理，包括去除误报、指标评分、上下文补充，这些处理是依赖于信誉库和沙箱报告中的其他内容进行的。最后是情报的输出。 什么是高级威胁？
5.4K10编辑于 2022-12-12 - 来自专栏大数据与微服务架构
千亿级海量数据库OceanBase
OceanBase是阿里集团研发的可扩展性关系型数据库，实现了数千亿条记录、数百TB数据上的跨行跨表事务。 OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量。 一、OceanBase系统架构： 1、客户端：使用OceanBase的方式与MySQL完全相同，支持JDBC、C客户端访问，基于MySQL数据库开发的应用可以直接迁移至OceanBase。 2、RootServer：管理集群中的所有服务器，子表数据分布及副本管理，RootServer一般一主一备，主备之间强制数据同步。 主要功能：集群管理、数据分布以及副本管理。 三、OceanBase扩展 OceanBase融合了分布式存储系统和关系型数据库这两种技术，UpdateServer相当于一个高性能内存数据库，底层采用关系型数据库技术实现，ChunkServer相当于一个分布式文件存储系统
2.7K10发布于 2020-04-11 - 来自专栏算法研习社
海量数据面试题总结(2)-BitMap
本系列文章对海量数据面试题进行了归类和总结，给出海量数据处理问题的通用解决思路，后面附有例题，希望大家能够举一反三。 假设要对0-7内的5个元素[4,7,2,5,3]进行排序(元素没有重复)。我们可以使用BitMap算法达到排序目的。要表示8个数，我们需要8个bit。 1. 现在我们遍历一次bytes区域，把值为1的byte的位置输出(2,3,4,5,7)，这样便达到了排序的目的。 二、解决思路 1. 先确定每个数字的存储空间。 如int32类型的每个数字需要32位存储空间，共有2^32种数，需要2^32=4G的连续内存空间才可以将所有数字一一表示。 2. 采用2-BitMap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit = 8GB内存。
1.2K10发布于 2020-07-20 - 来自专栏Eliauk的小窝
项目如何适配国产海量数据库
mybatis-plus-join-boot-starter</artifactId> <version>1.4.7</version> </dependency> </dependencies> 2、 即可 注意：postgresql的驱动类是：org.postgresql.Driver 要注意的是：postgresql的url中需要指定currentSchema=xxxx 这是一个默认访问的数据库，
1.1K10编辑于 2024-03-16 - 来自专栏新智元
语言处理AI被谷歌地图训练：年删帖过亿条，训练样本海量
机器学习工具还帮助谷歌地图团队删除了近2亿份「低清晰度或违反规则」的违规照片和视频。 最重要的是，由于这些违规操作，谷歌删除了100万个用以诈骗的用户账号。 算法可通过TensorFlow在GitHub上公开获得，TensorFlow是谷歌自己的开源机器学习软件库。 谷歌地图项目早已在用机器学习来识别汽车牌照，现在还在使用相同的技术从路牌中获取信息。
1.3K20编辑于 2022-04-06 - 来自专栏乐沙弥的世界
安装MySQL样本数据库Sakila
对此，MySQL为我们提供了一些样本数据库，我们可以基于这些数据库作基本的操作以及压力测试等等。本文描述的是安装sakila数据库。该数据库需要安装在MySQL 5.0以上的版本。以下是其描述。 1、下载种子数据库 下载位置：http://dev.mysql.com/doc/index-other.html 2、安装种子数据库sakila [root@localhost ~]# unzip sakila-db.zip
1.2K30发布于 2018-08-13 YashanDB数据库海量数据存储方案解析
在现代的数据库应用中，如何有效存储与管理海量数据，一直是技术发展与应用实践中的重大挑战。面对不断增长的数据量，传统数据库的存储方案往往难以满足高效性、扩展性和可靠性的需求。 因此，合理的海量数据存储方案显得尤为重要。本文将重点讨论YashanDB的各类存储方案与技术架构，帮助读者理解其背后的原理与优势。 适合高并发、海量数据分析等应用场景。共享集群部署共享集群通过共享存储，所有实例均可读写，提高了数据访问的效率。该模式通常用于对高可用、高性能以及可扩展性都有较高要求的场景。 自动选主在数据库主实例出现故障时，系统能够自动选取备库作为新的主库，保证业务瞬时切换，降低故障恢复时间。 结论YashanDB提供了多样化的海量数据存储解决方案，结合先进的存储架构、逻辑管理、并发控制与高可用机制，能够高效支撑不同规模业务场景下对数据的存储与管理需求。
14000编辑于 2025-07-06- 来自专栏腾讯云数据库(TencentDB)
腾讯云数据库海量数据交互之道
TDSQL-A是在腾讯业务场景下诞生的在线分布型OLAP数据库系统，在处理海量数据分析业务的过程中持续对产品构架进行升级调整，是PG生态中分析型MPP产品的又一力作。 本文将由腾讯云数据库专家工程师伍鑫老师为大家详细介绍TDSQL-A的发展历程、技术架构和创新实践，以下为分享实录： TDSQL-A发展历程 TDSQL-A是一款基于PostgreSQL自主研发的分布式在线关系型数据库 是一个面向海量数据实时在线分析产品，采用无共享MPP构架。面向分析型场景的极致性能优化，我们自研了列式存储，同时也支持行列混合存储模式。 同时用户也可以在同一个库或同一个实例里，去根据业务场景针对不同特征建立行存表和列存表，可以自动在查询计划中选择更好的access path。 ﹀ ﹀ ﹀ -- 更多精彩 -- 揭秘TDSQL-A：兼容Oracle的同时支持海量数据交互 十问十答，带你全面了解TDSQL-A核心优势 ↓↓点击阅读原文，了解更多优惠
2.3K30编辑于 2022-02-15 - 来自专栏Python与算法之美
单样本微调给ChatGLM2注入知识~
同时这也是一篇非常有趣好玩，具有强大实操性的ChatGLM2微调喂饭级教程。 我们演示了使用AdaLoRA算法，使用1条样本对ChatGLM2-6b实施微调。 (2) LLM是一种类似Key-Value形式的知识数据库，支持增删改查。通过微调可以增删修改知识，通过条件生成可以查询提取知识。 (3) LoRA微调是一种高效的融入学习算法。 ,history = []) print(response) 七，总结延伸 我们演示了使用AdaLoRA算法，使用1条样本对ChatGLM2实施微调。 summary: (1) 只需要1条样本，很少的训练时间，就可以通过微调给LLM注入知识。 (2) LLM是一种知识数据库，支持增删改查。通过微调可以增删修改知识，通过条件生成可以查询提取知识。 (2) 如果说ChatGLM2-6b可以作为一种Key-Value结构的知识数据库，我们知道这个模型的参数权重规模大概是60亿，也就是6个G，那么这个数据库能够储存超过6个G比如10个G的知识信息吗？
1.2K20编辑于 2023-09-05 - 来自专栏小工匠聊架构
Oracle海量数据优化-02分区在海量数据库中的应用-更新中
---- 概述 以前梳理了一篇文章， 案例不是很充分 Oracle-分区表解读 故本篇博文系统的再重新阐述一下 当我们对海量数据的Oracle数据库进行管理和维护时，几乎无一例外的使用了分区（partition 分区是Oracle数据库中对海量数据存储管理提供的一个应用很广泛的技术，它可以非常方便的加载数据、删除数据和移动数据，特别是对于一个拥有海量数据的OLAP及数据仓库系统的数据库来说，更是如此。 有一个分区裁剪功能，只对需要处理的分区进行扫描，这样扫描的数据块会大大的减少，使查询效率提高 分区更利于数据维护， 可以只对单独分区进行备份、恢复，这样就可以大大的缩短数据备份、恢复的时间 分区有利于数据库数据的过期化处理
2K20发布于 2021-08-16 - 来自专栏JavaQ
支撑海量数据的数据库架构如何设计？
分库分表 说白了就是大量分表来保证海量数据下的查询性能。 41 bit 可以表示的数字多达 2^41 - 1，也就是可以标识 2 ^ 41 - 1 个毫秒值，换算成年就是表示 69 年的时间。 ③10 bit：记录工作机器 id，代表的是这个服务最多可以部署在 2^10 台机器上，也就是 1024 台机器。 意思就是最多代表 2 ^ 5 个机房（32 个机房），每个机房里可以代表 2 ^ 5 个机器（32 台机器）。 ④12 bit：这个是用来记录同一个毫秒内产生的不同 id。 //testProductId(1,2,20000);//验证通过!
1.4K20发布于 2019-06-02 - 来自专栏韩伟的专栏
浅析海量用户的分布式系统设计（2）
接上篇《浅析海量用户的分布式系统设计（1）》 解决分布式系统可管理性的基本手段 1.目录服务（ZooKeeper） 分布式系统是一个由很多进程组成的整体，这个整体中每个成员部分，都会具备一些状态，比如自己的负责模块 2.[消息队列服务[(https://www.qcloud.com/product/cmq? 由于有上述的各种需求，所以开源界提供了很多游戏的日志组件库，比如大名鼎鼎的log4j，以及成员众多的log4X家族库，这些都是应用广泛而饱受好评的工具。 而在这个文件系统上，则需要有一个类似Map Reduce架构的统计系统，这样才能对海量的日志信息，进行快速的统计以及报警。 2.异步编程工具：协程、Futrue、Lamda 在分布式系统中编程，你不可避免的会碰到大量的“回调”型API。因为分布式系统涉及非常多的网络通信。
2.6K10发布于 2016-10-20 如何在YashanDB数据库中高效处理海量数据
在现代数据库技术中，海量数据的管理和处理成为了一个普遍存在的挑战。随着数据规模的不断扩大，性能瓶颈、数据一致性问题以及易用性需求等问题日益凸显。 YashanDB作为一款专为处理海量数据而设计的数据库，凭借其高可扩展性、高并发性能和高可用性，提供了一系列技术手段以应对这些挑战。 本文旨在探讨如何在YashanDB中高效地管理和处理海量数据，目标读者为数据库管理员、数据工程师及相关技术人员。 因此，MVCC非常适合处理高并发的海量数据应用场景。2. 分区与分片技术YashanDB提供了分区（Partition）和分片（Sharding）技术，以便于对大规模数据集进行更细粒度的管理。 定期监控数据库性能，分析慢查询，优化执行计划，确保海量数据高效处理。启用数据加密保护机制，加强数据安全，防止数据泄露风险。
16400编辑于 2025-07-18- 来自专栏用户8955222的专栏
中国工业企业数据库 | 特殊样本统计
在对中国工业企业数据库进行数据清洗之后，一个伴随而来的问题是：数据清洗本身会否影响估计结果？ 换句话说，基于一个特定的变量对数据进行清洗，这样的一种选择过程将导致参与回归的样本与被剔除的样本在某些方面存在系统性偏差，即对样本的选择不再随机。 排除行业分类代码统一错误的可能，使用这样的跨行转移样本来进行估计可能导致样本选择偏误。 为什么会导致样本选择偏误？ 以上只是工企数据库进行数据清洗后可能出现的两点比较突出的问题，除此之外还存在单期观测企业、在位企业、持续在位企业与其他企业是否存在系统性差异的问题。 *- 单期观测样本 preserve bys idcode: gen c = _N duplicates drop idcode, force tab c restore // 存续年份分别为1,2,3
1.8K00发布于 2021-11-02 YashanDB数据库如何保障海量数据安全与隐私
在现代信息技术迅猛发展的时代，数据库管理系统面临着数据安全与隐私保护的重大挑战。随着企业集成越来越多的海量数据，确保这些数据在存储、传输及访问过程中的安全性和隐私保护变得尤为重要。 YashanDB作为一个高性能、高可用的数据库系统，实施了多种措施以保障数据安全与隐私内容。 2. 访问控制机制YashanDB采用了基于角色的访问控制（RBAC）和基于标签的访问控制（LBAC）机制，帮助管理用户对数据库的访问权限。 高可用性与容灾备份YashanDB设计了高可用性架构，支持主备复制机制，确保一旦主数据库故障，备库能够快速接管服务。同时，系统定期进行数据备份，以支持数据恢复，进一步保护数据的安全性。 定期执行数据库备份并测试恢复过程，确保在紧急情况下数据能够快速恢复。结论YashanDB通过加密、访问控制、完整性约束、多版本控制和高可用性等技术手段，有效保障了海量数据的安全与隐私。
19910编辑于 2025-07-05YashanDB数据库如何帮助企业应对海量数据挑战
在当前数字化转型的浪潮中，企业面临着海量数据的高并发处理与管理挑战。如何保障数据存储的高效性、系统的可扩展性以及查询的快速响应成为关键问题。 传统数据库系统在面对多样化的数据类型和复杂的业务场景时，性能瓶颈和管理复杂性逐渐显现。 YashanDB作为一款先进的企业级数据库产品，通过其多态部署架构、高性能存储引擎和智能优化器，有效提升了海量数据环境下的处理能力与业务连续性。 分布式部署结合MN（管理节点）、CN（协调节点）、DN（数据节点）实现数据的横向扩展，适用海量数据分析和复杂事务处理。 利用主备自动选主和共享集群高可用特性，实现数据库的故障自动检测与快速恢复，保证关键业务连续性。
37810编辑于 2025-08-29巧用YashanDB数据库实现海量数据快速查询
在现代数据驱动的业务场景中，如何应对海量数据的快速查询需求成为数据库技术的核心问题。数据量的持续增长给存储和计算带来巨大压力，查询性能瓶颈不仅影响用户体验，还制约业务决策的实时性。 本文针对YashanDB数据库，通过深入分析其架构与核心技术，解析其如何支持海量数据场景下的高效查询，提供系统的技术方法与优化策略，帮助开发与运维人员提升对该技术体系的理解和应用能力。 CN负责生成分布式执行计划并调度DN节点并行执行，支持海量数据的高效拆解和并行处理。 随着数据采集和处理需求的持续增长，数据库技术的体系化优化将成为提升核心竞争力的重要方向。 未来，结合智能调度、自动化运维及机器学习辅助优化，YashanDB的查询性能和系统可用性将更进一步，满足复杂业务对海量数据实时、高效访问的挑战，引领行业数据库技术的演进。
20700编辑于 2025-06-27- 来自专栏贾志刚-OpenCV学堂
GPT-3+DALL-E 2 = 海量带标签数据自动生成 ？
最近有研究人员发现，GPT-3+DALL-E 2模型如果结合在一起，就能自动生成海量的带标签数据，可以用来扩增和平衡数据集、抵御对抗攻击等。 巧妇难为无米之炊，没有数据何以训模型？ 虽说「大力出奇迹」，加大数据量就能解决这个问题，但你需要收集所有需要的样本。然后，你还需要确保每个类别有足够的标签数据，以防止模型对某些类别过拟合或欠拟合。 3、对抗性样本。使用类的名称来创建一个对抗性例子的数据集，例如「一辆类似大麦町的汽车」。 为了进一步提高对新增加的样本的信心，人们可以设置一个确定性阈值，只选择在指定排名前的生成文本。 结语 DALL-E 2是OpenAI的又一激动人心的研究成果，它为更广泛的应用场景打开了大门，能够生成海量数据集来解决计算机视觉的最大瓶颈之一。
80530编辑于 2022-05-19 YashanDB数据库如何支持海量用户的高并发访问
在当前数据密集型应用快速发展的时代，数据库系统面临着海量用户同时高并发访问的挑战，如何优化数据库以保证快速响应和稳定运行成为关键问题。 SCOL（稳态列式存储）采用切片和对象式管理，支持大规模冷数据的编码压缩及稀疏索引，极大提升海量数据的分析查询性能。 多版本机制结合分布式和共享集群的全局缓存协同，实现了海量并发读写访问的稳定响应和数据一致性。 结论随着数据规模和业务复杂度的持续增长，数据库系统对高并发处理能力的需求愈加迫切。 未来，随着硬件技术进步和分布式计算模式的发展，YashanDB将持续加强其性能与可扩展性，推动数据库技术在各行业核心应用中的深化与广泛落地。
33510编辑于 2025-08-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号