- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能头条
面向图像分析应用的海量样本过滤方案
✎ 文 | 常江龙 在图像分析应用中，海量图片样本的有效自动化过滤是一项重要的基础工作。本文介绍一种基于多重算法过滤的处理方案，能够自动提取有效图像样本，极大减少人工标注的工作量。 这些成果所采用的技术路线，很多都是利用海量的已标注样本数据，在深度神经网络上训练相应的识别或检测模型。就企业算法应用而言，往往需要根据实际的应用场景，构建自己的训练样本集，以提升算法的有效性。 总结 在企业级深度学习图像应用中，海量高质量图像样本的获取，是取得优异算法性能的重要前提。 不过，“爬图容易挑图难”，即使积累了海量样本数据，却因为缺乏有效的处理手段和标注人力而望洋兴叹，这也是经常遇到的一种数据困境。 Clustering by fast search and find of density peaks, Science, 2014, 344(6191):1492-6, Alex Rodriguez
1.2K20发布于 2018-07-20 - 来自专栏小刀志
基于海量样本数据的高级威胁发现
在 MITRE ATT&CK™ 攻击矩阵模型中，除去侦察和资源开发两个前置战术阶段之外，从初始访问开始，共有 6 个战术阶段中存在与漏洞利用有关的技术点。 海量样本数据运营 要进行高级威胁的持续自动化发现，离不开海量样本数据作为来源。面对海量的威胁样本数据，必须及时获取有关这些数据的准确信息。 接下来，我将简单描述一下如何进行海量样本数据的运营，以及做好海量样本数据的运营如何支撑起情报生产和高级威胁发现的任务。 什么是漏斗模型？ 面向海量样本数据运营的漏斗模型 为了适用于针对威胁检测的海量样本数据运营，我们提出了面向海量样本数据运营的漏斗模型。 然后我们对指标数据进行丰富化处理，包括去除误报、指标评分、上下文补充，这些处理是依赖于信誉库和沙箱报告中的其他内容进行的。最后是情报的输出。 什么是高级威胁？
5.5K10编辑于 2022-12-12 - 来自专栏大数据与微服务架构
千亿级海量数据库OceanBase
OceanBase是阿里集团研发的可扩展性关系型数据库，实现了数千亿条记录、数百TB数据上的跨行跨表事务。 OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量。 一、OceanBase系统架构： 1、客户端：使用OceanBase的方式与MySQL完全相同，支持JDBC、C客户端访问，基于MySQL数据库开发的应用可以直接迁移至OceanBase。 三、OceanBase扩展 OceanBase融合了分布式存储系统和关系型数据库这两种技术，UpdateServer相当于一个高性能内存数据库，底层采用关系型数据库技术实现，ChunkServer相当于一个分布式文件存储系统
2.7K10发布于 2020-04-11 - 来自专栏科研猫
临床样本组学研究Day6 : 临床样本的代谢组学研究
reaction monitoring， MRM）进行检测，检测灵敏度高、特异性强、准确度高 非靶向医学代谢组学：基于液质联用技术（LC—MS），无偏向性、尽可能多地检测细胞、组织、器官或体液等生物样本内所有的小分子代谢物 脂质分子，对实验组和对照组进行对比分析，通过统计分析筛选差异代谢物/脂质分子，进而寻找代谢物/脂质代谢变化与生理病理变化的相对关系； 常见的代谢组学的分类 3 试验流程 代谢组学的试验流程，主要包括生物样本制备 2.血浆代谢组学用于预测卒中风险/分型 Neurology. 2019 Apr 16;92(16):e1890-e1898. ①研究思路： 血浆样本来自于ARIC队列研究 首先，在2010和2014年两批样本都检测到小分子代谢物 5 研究目的和设计方案 代谢组学主要用于： 发现疾病病理状态与正常生理状态下的体液样本的差异小分子代谢物，用于疾病病情严重程度，预后评估和事件预测生物标记物的发现和鉴定； 利用血液或体液样本，从代谢组学图谱特征的角度发现疾病的异质性
1.8K31编辑于 2022-04-09 - 来自专栏信数据得永生
Python 单样本学习实用指南：1~6 全
本章将涵盖以下主题： 人脑概述 机器学习-历史概述 单样本学习-概述 设置环境 编码练习 技术要求 需要使用以下库来学习和执行本章中的项目： Python Anaconda Jupyter 笔记本 PyTorch kNN – 基本的单样本学习 在本练习中，我们将把 kNN 与拥有少量数据集的神经网络进行比较。 我们将使用从scikit-learn库导入的iris数据集。 如果希望获得可运行的代码，请在这个页面中查看本书的 GitHub 存储库。 如果您想在真实的数据集上探索前面的练习，请参考GitHub 存储库。 总结 在本章中，我们探索了用于单样本学习的不同形式的基于模型的架构。 您可以从本书的 GitHub 存储库中找到本章的代码文件。
2K10编辑于 2023-04-27 - 来自专栏数据科学（冷冻工厂）
RNA-seq 详细教程：样本质控（6）
样本QC RNA-seq 分析中一个有用的初始步骤通常是评估样本之间的整体相似性： 哪些样本彼此相似，哪些不同？ 这是否符合实验设计的预期？ 数据集中的主要变异来源是什么？ 令人担忧的是，我们看到两个样本没有与正确的 strain 聚类。这表明可能存在样本交换，应进行调查以确定这些样本是否确实是标记的 strain。如果我们发现有一个交换，我们可以交换元数据中的样本。 热图显示数据集中所有成对样本组合的基因表达相关性。由于大多数基因没有差异表达，样本之间通常具有很高的相关性（值高于 0.80）。低于 0.80 的样本可能表示您的数据和/或样本污染中存在异常值。 沿轴的分层树指示哪些样本彼此更相似，即聚集在一起。顶部的色块表示数据中的子结构，您会希望看到您的重复一起作为每个样本组的一个块。我们的期望是样本聚集在一起类似于我们在 PCA 图中观察到的分组。 pheatmap 总体而言，我们观察到高相关性 (> 0.999)，表明没有异常样本。此外，与 PCA 图类似，您会看到样本按样本组聚集在一起。
1.4K30编辑于 2023-02-27 - 来自专栏用户7627119的专栏
如何用少量样本做m6A研究
这么多的RNA量有时候很难从癌症病人样本中获得，这也就限制其在临床癌症研究中的应用。 m6A测序方法的不断优化，让我们进一步有更多可能去研究m6A的方方面面 ? 4、进一步降低总RNA的样本量 为了能进一步降低对样本量需求，因而对32μg、12μg、6μg和2μg的总RNA样本进行了实验比对，发现2μg总RNA比较适合进行low-input 的MeRIP-Seq 从2μg样本中所获得的peak和其他更多RNA样本用量的peak一样， m6A修饰在终止密码子附近有富集，同时GGAC修饰位点也有显著富集。 ? 图6：2μg样品量文库与其它文库的比对 低微量样本的MeRIP-seq结果究竟如何，那就用事实说话！ ? 图7：两个癌症样本中发现的m6A修饰及差异性peaks 参 考 文 献 1.Refined RIP-seq protocol for epitranscriptome analysis with low
1.7K20发布于 2020-08-05 - 来自专栏数据科学（冷冻工厂）
RNA-seq 详细教程：样本质控（6）
质控DESeq2 工作流程的下一步是 QC，其中包括样本和基因程度上，以对计数数据执行 QC 检查，以帮助我们确保样本或重复看起来良好。图片2. 样本QCRNA-seq 分析中一个有用的初始步骤通常是评估样本之间的整体相似性：哪些样本彼此相似，哪些不同？这是否符合实验设计的预期？数据集中的主要变异来源是什么？ 令人担忧的是，我们看到两个样本没有与正确的 strain 聚类。这表明可能存在样本交换，应进行调查以确定这些样本是否确实是标记的 strain。如果我们发现有一个交换，我们可以交换元数据中的样本。 热图显示数据集中所有成对样本组合的基因表达相关性。由于大多数基因没有差异表达，样本之间通常具有很高的相关性（值高于 0.80）。低于 0.80 的样本可能表示您的数据和/或样本污染中存在异常值。 沿轴的分层树指示哪些样本彼此更相似，即聚集在一起。顶部的色块表示数据中的子结构，您会希望看到您的重复一起作为每个样本组的一个块。我们的期望是样本聚集在一起类似于我们在 PCA 图中观察到的分组。
2.6K41编辑于 2023-01-29 - 来自专栏Eliauk的小窝
项目如何适配国产海量数据库
即可 注意：postgresql的驱动类是：org.postgresql.Driver 要注意的是：postgresql的url中需要指定currentSchema=xxxx 这是一个默认访问的数据库，
1.2K10编辑于 2024-03-16 - 来自专栏科研猫
临床样本组学研究Day6 : 临床样本的单细胞转录组测序
传统的转录组测序技术（bulk RNA-seq）是基于群体细胞，每个样本包含成千上万个细胞，所以最终反映的是基因在群体细胞中平均表达水平，从而掩盖了不同细胞之间的表达异质性。 今天我们就来聊聊基于临床样本的单细胞转录组测序。 （3）高通量测序：库检合格以后，利用Illumina测序平台进行测序，获得测序数据； （4）进行数据分析。 即使在同一个样本中，也会存在多种不同的细胞形态。因此，不论测定了多少样本，我们都可以采用拟时序分析对样本中的细胞转化和变化进行描述。 为什么要进行拟时序分析？ 在组织中分选特定细胞，组织样本的处理和细胞分选技术非常重要（技术注意事项可以多向测序公司咨询）； 3．对于利用临床样本纯单细胞测序研究来说，要重视单细胞测序数据分析算法的个性化，利用各种不同巧妙的算法尽可能多挖掘测序数据中隐藏的信息
1.8K21编辑于 2022-04-09 - 来自专栏新智元
语言处理AI被谷歌地图训练：年删帖过亿条，训练样本海量
超过9500万条违反谷歌相关规则的地图页面评论被删除，其中6万条在不同程度上与新冠相关的问题有关。 谷歌地图每天会收到大约200万条来自用户贡献的信息。 算法可通过TensorFlow在GitHub上公开获得，TensorFlow是谷歌自己的开源机器学习软件库。 谷歌地图项目早已在用机器学习来识别汽车牌照，现在还在使用相同的技术从路牌中获取信息。
1.3K20编辑于 2022-04-06 - 来自专栏乐沙弥的世界
安装MySQL样本数据库Sakila
对此，MySQL为我们提供了一些样本数据库，我们可以基于这些数据库作基本的操作以及压力测试等等。本文描述的是安装sakila数据库。该数据库需要安装在MySQL 5.0以上的版本。以下是其描述。 1、下载种子数据库 下载位置：http://dev.mysql.com/doc/index-other.html 2、安装种子数据库sakila [root@localhost ~]# unzip sakila-db.zip
1.2K30发布于 2018-08-13 YashanDB数据库海量数据存储方案解析
在现代的数据库应用中，如何有效存储与管理海量数据，一直是技术发展与应用实践中的重大挑战。面对不断增长的数据量，传统数据库的存储方案往往难以满足高效性、扩展性和可靠性的需求。 因此，合理的海量数据存储方案显得尤为重要。本文将重点讨论YashanDB的各类存储方案与技术架构，帮助读者理解其背后的原理与优势。 适合高并发、海量数据分析等应用场景。共享集群部署共享集群通过共享存储，所有实例均可读写，提高了数据访问的效率。该模式通常用于对高可用、高性能以及可扩展性都有较高要求的场景。 自动选主在数据库主实例出现故障时，系统能够自动选取备库作为新的主库，保证业务瞬时切换，降低故障恢复时间。 结论YashanDB提供了多样化的海量数据存储解决方案，结合先进的存储架构、逻辑管理、并发控制与高可用机制，能够高效支撑不同规模业务场景下对数据的存储与管理需求。
16100编辑于 2025-07-06- 来自专栏腾讯云数据库(TencentDB)
腾讯云数据库海量数据交互之道
TDSQL-A是在腾讯业务场景下诞生的在线分布型OLAP数据库系统，在处理海量数据分析业务的过程中持续对产品构架进行升级调整，是PG生态中分析型MPP产品的又一力作。 本文将由腾讯云数据库专家工程师伍鑫老师为大家详细介绍TDSQL-A的发展历程、技术架构和创新实践，以下为分享实录： TDSQL-A发展历程 TDSQL-A是一款基于PostgreSQL自主研发的分布式在线关系型数据库 是一个面向海量数据实时在线分析产品，采用无共享MPP构架。面向分析型场景的极致性能优化，我们自研了列式存储，同时也支持行列混合存储模式。 同时用户也可以在同一个库或同一个实例里，去根据业务场景针对不同特征建立行存表和列存表，可以自动在查询计划中选择更好的access path。 ﹀ ﹀ ﹀ -- 更多精彩 -- 揭秘TDSQL-A：兼容Oracle的同时支持海量数据交互 十问十答，带你全面了解TDSQL-A核心优势 ↓↓点击阅读原文，了解更多优惠
2.3K30编辑于 2022-02-15 - 来自专栏JavaQ
支撑海量数据的数据库架构如何设计？
如果你运气不太好，数据库服务器的配置不是特别的高的话，弄不好你还会经历数据库宕机的情况，因为负载太高对数据库压力太大了。 那么百万并发的数据库架构如何设计呢？多数都是分库分表加主从吧？ 分库分表 说白了就是大量分表来保证海量数据下的查询性能。 在写入数据的时候，需要做两次路由，先对订单 id hash 后对数据库的数量取模，可以路由到一台数据库上，然后再对那台数据库上的表数量取模，就可以路由到数据库上的一个表里了。 写入主库的时候，会自动同步数据到从库上去，保证主库和从库数据一致。 然后查询的时候都是走从库去查询的，这就通过数据库的主从架构实现了读写分离的效果了。 然后从库的读请求增加到了 3200，需要扩容了。 这时，你直接给主库再挂载一个新的从库就可以了，两个从库，每个从库支撑 1600 的读请求，不需要因为读请求增长来扩容主库。
1.4K20发布于 2019-06-02 - 来自专栏小工匠聊架构
Oracle海量数据优化-02分区在海量数据库中的应用-更新中
---- 概述 以前梳理了一篇文章， 案例不是很充分 Oracle-分区表解读 故本篇博文系统的再重新阐述一下 当我们对海量数据的Oracle数据库进行管理和维护时，几乎无一例外的使用了分区（partition 分区是Oracle数据库中对海量数据存储管理提供的一个应用很广泛的技术，它可以非常方便的加载数据、删除数据和移动数据，特别是对于一个拥有海量数据的OLAP及数据仓库系统的数据库来说，更是如此。 有一个分区裁剪功能，只对需要处理的分区进行扫描，这样扫描的数据块会大大的减少，使查询效率提高 分区更利于数据维护， 可以只对单独分区进行备份、恢复，这样就可以大大的缩短数据备份、恢复的时间 分区有利于数据库数据的过期化处理
2K20发布于 2021-08-16 - 来自专栏AI SPPECH
6：L防御对抗样本攻击：蓝队的模型安全加固
本文探讨了2026年对抗样本攻击的最新技术与防御挑战，分享了L的模型加固策略，详细解析了输入变换作为对抗样本检测与防御的重要手段，并通过实战案例展示如何防御基拉的对抗样本攻击。 工程实践意义、风险、局限性与缓解策略 6. 未来趋势与前瞻预测 1. 背景动机与当前热点 本节核心价值：理解为什么对抗样本攻击成为蓝队的重要挑战，以及当前对抗样本防御领域的应用现状。 2.1 对抗样本攻击的最新技术与防御挑战 对抗样本攻击的技术已经从简单的FGSM（快速梯度符号法）扩展到更复杂的攻击方法： 基于优化的攻击：使用更复杂的优化算法生成对抗样本，如PGD（投影梯度下降） 自适应攻击 ，提高模型的整体鲁棒性 2.3 输入变换：构建对抗样本的检测与防御 输入变换是防御对抗样本攻击的重要手段。 这样既可以防御对抗样本攻击，又能确保整个系统的安全性。 6. 未来趋势与前瞻预测 本节核心价值：展望对抗样本防御的未来发展趋势，以及可能的技术突破。 随着技术的不断发展，对抗样本防御将迎来新的变革。
31410编辑于 2026-03-26 如何在YashanDB数据库中高效处理海量数据
在现代数据库技术中，海量数据的管理和处理成为了一个普遍存在的挑战。随着数据规模的不断扩大，性能瓶颈、数据一致性问题以及易用性需求等问题日益凸显。 YashanDB作为一款专为处理海量数据而设计的数据库，凭借其高可扩展性、高并发性能和高可用性，提供了一系列技术手段以应对这些挑战。 本文旨在探讨如何在YashanDB中高效地管理和处理海量数据，目标读者为数据库管理员、数据工程师及相关技术人员。 6. 监控与性能调优YashanDB提供了实时监控和调优工具，帮助用户实时掌握数据库性能状况。 定期监控数据库性能，分析慢查询，优化执行计划，确保海量数据高效处理。启用数据加密保护机制，加强数据安全，防止数据泄露风险。
18800编辑于 2025-07-18- 来自专栏用户8955222的专栏
中国工业企业数据库 | 特殊样本统计
在对中国工业企业数据库进行数据清洗之后，一个伴随而来的问题是：数据清洗本身会否影响估计结果？ 换句话说，基于一个特定的变量对数据进行清洗，这样的一种选择过程将导致参与回归的样本与被剔除的样本在某些方面存在系统性偏差，即对样本的选择不再随机。 排除行业分类代码统一错误的可能，使用这样的跨行转移样本来进行估计可能导致样本选择偏误。 为什么会导致样本选择偏误？ 以上只是工企数据库进行数据清洗后可能出现的两点比较突出的问题，除此之外还存在单期观测企业、在位企业、持续在位企业与其他企业是否存在系统性差异的问题。 剔除这部分特殊样本的前提是识别出这些样本，下面的代码是可供参考的识别方案。
1.8K00发布于 2021-11-02 YashanDB数据库如何保障海量数据安全与隐私
在现代信息技术迅猛发展的时代，数据库管理系统面临着数据安全与隐私保护的重大挑战。随着企业集成越来越多的海量数据，确保这些数据在存储、传输及访问过程中的安全性和隐私保护变得尤为重要。 YashanDB作为一个高性能、高可用的数据库系统，实施了多种措施以保障数据安全与隐私内容。 高可用性与容灾备份YashanDB设计了高可用性架构，支持主备复制机制，确保一旦主数据库故障，备库能够快速接管服务。同时，系统定期进行数据备份，以支持数据恢复，进一步保护数据的安全性。 定期执行数据库备份并测试恢复过程，确保在紧急情况下数据能够快速恢复。结论YashanDB通过加密、访问控制、完整性约束、多版本控制和高可用性等技术手段，有效保障了海量数据的安全与隐私。 在实际应用中，应结合行业最佳实践，对数据库安全策略进行定期评审和调整，以适应不断变化的安全环境。
22210编辑于 2025-07-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号