回答情况：
提问时间：
问题标签：
我有一个包含数百万个样本的数据集，它们有5个特性和1个目标，我正在使用它作为回归模型。有了非常大的样本计数，一些模型(比如随机森林)变得非常大(腌制时有几个GB )。(理论上)或去除重复对模型准确性的影响是什么？
浏览 0提问于2021-03-13得票数 0
回答已采纳
因此，我们有一个相当大的数据库和一个存储过程，可以搜索大量的文档。根据上下文的不同，它要么获取数百万个文档，要么只获取100个文档。
关键是，数百万份文件需要30秒的时间，这是超现实的。如果我在五个查询的每个OPTION (RECOMPILE)之后添加，则100个文档需要1秒，数百万个文档(预期)需要30秒。
浏览 8提问于2016-12-13得票数 6
(例如一些大的图形上下文、位图和CALayers)。
有没有办法查看应用程序启动以来的最大值？我想到了一个山顶洞人的方法，那就是在我们分配了大的图形上下文、位图和CALayers之后，添加一个虚拟循环，比如说一百万或一千万，这样内存使用就会在几秒钟内保持不变，并且可以在仪器中看到。但是，如果有5层，我们应该分配一个图形上下文，获取位图，并将其设置为层，然后立即释放图形上下文，因为它不再需要。然后我们继续下一个图形上下文、位图和层，等等，而不是创建五个图
浏览 1提问于2012-08-16得票数 3
我在一个相当大的数据集上运行一个回归模型，得到了一个相当糟糕的$R^2$评分为0.2(参见下面的图)，尽管该模型看起来像是指向正确的方向。我的问题是，当你有超过一百万个数据点时，你能现实地期望$R^2$在真实世界的数据中有相当大的噪音吗？
对这些传统措施的怀疑促使了诸如这这样的文章，这些文章讨论了数据的数量如何降低统计测试的质量。
浏览 0修改于2021-03-03得票数 3
回答已采纳
我在我的几个模型中使用了一个自定义模型管理器。此管理器有助于加快数据库插入速度。我需要执行数据迁移，这涉及到迁移数百万条记录/对象。在我的数据迁移中，我需要我的自定义管理器。有谁知道怎么弄到它吗。在数据迁移上下文中，如果我运行model.objects，就会返回Django的模型管理器。
浏览 34提问于2019-02-01得票数 2
回答已采纳
我的表有大约20个功能和数百万的观察(行)。
我需要在这个表上创建模型，但是，由于它是巨大的，像随机森林或XGB这样的训练模型需要花费很长时间。我主要是使用python在木星实验室服务器上使用scikit-learn和XGBoost包，而且在数据非常大的时候，我也在努力解决这个问题。同样重要的是，我有windows (而不是Linux)。当数据如此大时，是否有更好的包或平台可供使用？
浏览 0修改于2021-10-11得票数 5
回答已采纳
我已经读到，在不同的有界上下文中拆分应用程序的原因是由于普遍存在的语言以及大实体的分裂。例如，我可以有一个具有逻辑支持和销售的产品实体，我可以在不同的有界上下文中将模型划分为两个产品模型--支持和销售有界上下文，但我也可以创建两个不同的实体SupportProduct和SalesProduct那么，为什么我也需要不同的有界上下文呢？
浏览 2提问于2021-12-28得票数 0
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
我已经搜索了很多关于有界上下文的内容，我知道它是领域驱动设计中的一种模式，它是用来使用数据库上下文将我们的大模型划分成更小的模型，但它让我有点困惑。实际上我不知道它到底是干什么的？
浏览 8修改于2014-02-15得票数 0
回答已采纳
关于培训LDA：经过培训，现在我们有了一个新的LDA模型，因此我们可以使用它来预测哪些主题具有新的文档。但在向模型提供新文档之前，我们需要将其转换为单词向量，其向量长度将是我们的字典长度(数百万字)。因此
浏览 3提问于2017-09-26得票数 1
回答已采纳
3回答
是否有一种通用的方法，可以用ROC曲线来验证一个模型？我的理解是，我们可以使用它来比较不同的阈值来确定最佳值，甚至可以看到不同的组在k折叠验证中的行为方式.，但是它需要总是比较不同的阈值。有人告诉我，我应该考虑用ROC曲线来验证我的模型(logistic回归)，但它们并不意味着看分类的阈值，我一直被告知，它应该被用来验证模型之外的一般情况。模型本身甚至不使用交叉验证，因为数据集本身相当大(总计超过一百万个条目)。我是不是漏掉了什么？
浏览 0提问于2022-11-21得票数 1
我正在编写一个Python3 (64位)程序，使用64位Windows 10上的gmpy2模块计算pi到至少一百万位数字，我使用的是Chudnovsky算法。该系列算法是天才的，易于理解，易于实现。我遇到的问题是用gmpy2表示非常大的精确实数。检查gmpy2系统限制。它们看起来很棒。根据需要设置了百万数字π的精确上下文。为一个字符串变量分配百万数字pi。为一个mpfr变量分配一个mpfr变量--使用mpfr(‘百万位数字pi’)打印字符串变量，
浏览 6提问于2019-09-26得票数 3
回答已采纳
1回答
由于我所基于的数据非常大(数以百计的百万行)，我们有三个表，它们按小时、按天和按月汇总数据。我很好奇是否正确的方法是创建三个模型，尽管它们有相似之处，但每种类型的数据一个模型。
浏览 2提问于2014-12-10得票数 1
使得单个子域只有一个模型。
此外，我还阅读了域模型可以在不同的有界上下文之间共享。例如，Employee在Payroll和HR有界上下文之间共享。
还是就一个人？如果是后者，人们将如何在
浏览 1修改于2016-05-27得票数 2
是否有一种方法来估计模型拟合时的剩余时间？例如model.fit(x, y)
我有一个相当大的数据集(数百万行)，这需要一些时间
浏览 6提问于2014-03-03得票数 3
回答已采纳
在这个视图中，管理员将使用许多实体(每个实体都有个人数据库上下文)。我应该创建一个包含所有实体的大模型吗？听起来很愚蠢。或者我应该以某种方式将多个模型连接到一个视图(从未听说过)？
浏览 0修改于2013-05-17得票数 0
回答已采纳
上下文:我们的数据库中有两个相当大的表，一个保存着8000万条记录，另一个保存着1.6亿条记录。我们看到了性能问题，并正在考虑对这两个表使用表分区。我知道没有一个“一刀切”的答案，但可能有一个一般性的建议，比如“传递X百万条记录，你应该对表进行分区”。有很多关于如何分区的指导，但不是“什么时候”。
浏览 0提问于2020-10-07得票数 6
但是，我不知道如何使用TensorFlow服务来服务此模型。我可以从上面看到两个问题：
1)这些图没有导出的模型，每次调用时都会使用图构建器(例如structured_graph_builder.py)、上下文协议缓冲区和一大堆我目前还不完全理解的东西来构建图(我如何将这些模型导出为Serving和SessionBundleFactory所需的“捆绑”形式？如果没有，似乎需要在C++中重新实现图形构建逻辑/步骤，因为服务只在C++上下文中运行。2) demo.sh实际上是两个通
浏览 6修改于2016-06-11得票数 10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号