回答情况：
提问时间：
问题标签：
我有一个包含数百万个样本的数据集，它们有5个特性和1个目标，我正在使用它作为回归模型。有了非常大的样本计数，一些模型(比如随机森林)变得非常大(腌制时有几个GB )。(理论上)或去除重复对模型准确性的影响是什么？
浏览 0提问于2021-03-13得票数 0
回答已采纳
因此，我们有一个相当大的数据库和一个存储过程，可以搜索大量的文档。根据上下文的不同，它要么获取数百万个文档，要么只获取100个文档。
关键是，数百万份文件需要30秒的时间，这是超现实的。如果我在五个查询的每个OPTION (RECOMPILE)之后添加，则100个文档需要1秒，数百万个文档(预期)需要30秒。
浏览 8提问于2016-12-13得票数 6
(例如一些大的图形上下文、位图和CALayers)。
有没有办法查看应用程序启动以来的最大值？我想到了一个山顶洞人的方法，那就是在我们分配了大的图形上下文、位图和CALayers之后，添加一个虚拟循环，比如说一百万或一千万，这样内存使用就会在几秒钟内保持不变，并且可以在仪器中看到。但是，如果有5层，我们应该分配一个图形上下文，获取位图，并将其设置为层，然后立即释放图形上下文，因为它不再需要。然后我们继续下一个图形上下文、位图和层，等等，而不是创建五个图
浏览 1提问于2012-08-16得票数 3
我在一个相当大的数据集上运行一个回归模型，得到了一个相当糟糕的$R^2$评分为0.2(参见下面的图)，尽管该模型看起来像是指向正确的方向。我的问题是，当你有超过一百万个数据点时，你能现实地期望$R^2$在真实世界的数据中有相当大的噪音吗？
对这些传统措施的怀疑促使了诸如这这样的文章，这些文章讨论了数据的数量如何降低统计测试的质量。
浏览 0修改于2021-03-03得票数 3
回答已采纳
我在我的几个模型中使用了一个自定义模型管理器。此管理器有助于加快数据库插入速度。我需要执行数据迁移，这涉及到迁移数百万条记录/对象。在我的数据迁移中，我需要我的自定义管理器。有谁知道怎么弄到它吗。在数据迁移上下文中，如果我运行model.objects，就会返回Django的模型管理器。
浏览 34提问于2019-02-01得票数 2
回答已采纳
我的表有大约20个功能和数百万的观察(行)。
我需要在这个表上创建模型，但是，由于它是巨大的，像随机森林或XGB这样的训练模型需要花费很长时间。我主要是使用python在木星实验室服务器上使用scikit-learn和XGBoost包，而且在数据非常大的时候，我也在努力解决这个问题。同样重要的是，我有windows (而不是Linux)。当数据如此大时，是否有更好的包或平台可供使用？
浏览 0修改于2021-10-11得票数 5
回答已采纳
我已经读到，在不同的有界上下文中拆分应用程序的原因是由于普遍存在的语言以及大实体的分裂。例如，我可以有一个具有逻辑支持和销售的产品实体，我可以在不同的有界上下文中将模型划分为两个产品模型--支持和销售有界上下文，但我也可以创建两个不同的实体SupportProduct和SalesProduct那么，为什么我也需要不同的有界上下文呢？
浏览 2提问于2021-12-28得票数 0
我的研究实验室正在开发一个网页，其中显示了大约50个左右的3d模型的可滚动列表。我们的第一个想法是使用单独的THREE.js WebGL上下文来实现这一点，但是考虑到WebGL的体系结构，这似乎是不可取的，浏览器似乎将页面上的上下文数量限制在大约2^4。我不需要这些上下文来做任何令人印象深刻的事情:单个几何图形只有几百个三角形，没有纹理，每次只有一个动画，当使用鼠标旋转相机时。
我能说服WebGL以浏览器不会抱怨的方式做我想做的事吗？我想也许有一个大的几何学，我所有的个别模型</
浏览 0提问于2015-05-30得票数 1
回答已采纳
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
我已经搜索了很多关于有界上下文的内容，我知道它是领域驱动设计中的一种模式，它是用来使用数据库上下文将我们的大模型划分成更小的模型，但它让我有点困惑。实际上我不知道它到底是干什么的？
浏览 8修改于2014-02-15得票数 0
回答已采纳
当我尝试一种不同的模型，比如说Logistic回归时，性能急剧下降，从80%下降到30%。如果我能够在DecisionTrees模型中这样使用字符串，我可能会接受这个结果，但是既然我对两个模型都使用了相同的字符串到整数转换，那么为什么会有这么大的差异呢？
我不能说细节，但让我给你打个比方。比方说，您正在根据数百万对象的有用性对其进行分类。所以你说锤子是4，螺丝刀6，洗衣机10等等。当然，你有不止一个螺丝刀，有时你会忘记，给它一个5的值，或者其他什么东西。该模型遍历数<e
浏览 0修改于2017-01-25得票数 4
回答已采纳
模型A在空状态下开始，而模型B有大约220 k记录(有相当大的索引，但这不应该影响，因为这个模型从来没有更新过)。然后，应用程序将这些记录设置为即将创建的实体A，然后保存上下文。问题是将2k记录的nsorderedset设置为实体--在iPhone 4S中，iOS 6.0.1的实例大约要花费4秒，而在同一设备中保存上下文大约要花费4秒。这就需要8秒来创建模型A的一个新实例。我已经尝试过启用/禁用模型
浏览 4提问于2012-12-26得票数 0
回答已采纳
一切都很好，我一直在用 更新-数据库-verbose 然而，使用新数据或新结构和模型更新数据库；update-database已停止工作，并且它不再跟踪模型和新表中的更改。我在互联网上搜索过，有些人说我必须删除数据库上下文并重新创建它才能使其工作。我不能这样做，这个项目有点大，如果我删除数据库上下文，超过4k行将受到影响。
浏览 68提问于2013-07-19得票数 3
回答已采纳
关于培训LDA：经过培训，现在我们有了一个新的LDA模型，因此我们可以使用它来预测哪些主题具有新的文档。但在向模型提供新文档之前，我们需要将其转换为单词向量，其向量长度将是我们的字典长度(数百万字)。因此
浏览 3提问于2017-09-26得票数 1
回答已采纳
5回答
(在实际的应用程序中，真实名称更易于阅读，但脱离上下文几乎没有意义，所以我希望这一点足够清楚。)(这里发生的事情应该很简单，但基本上我有一个非常大的数组(以百万计)，我在yFloat*zShort长度的块中遍历该数组，将该块中的所有元素相加，并将最后的和插入到另一个数组中。因此，如果hArray有一百万个元素长，而我的块长度是200，我将对前200个元素求和，在cNSMutableArray中插入总和，然后在hArray中继续下200个元素。当外部循环大约为25k，内部循环大约为200时，此代码大约需要4
浏览 1提问于2010-01-02得票数 3
回答已采纳
3回答
是否有一种通用的方法，可以用ROC曲线来验证一个模型？我的理解是，我们可以使用它来比较不同的阈值来确定最佳值，甚至可以看到不同的组在k折叠验证中的行为方式.，但是它需要总是比较不同的阈值。有人告诉我，我应该考虑用ROC曲线来验证我的模型(logistic回归)，但它们并不意味着看分类的阈值，我一直被告知，它应该被用来验证模型之外的一般情况。模型本身甚至不使用交叉验证，因为数据集本身相当大(总计超过一百万个条目)。我是不是漏掉了什么？
浏览 0提问于2022-11-21得票数 1
我正在编写一个Python3 (64位)程序，使用64位Windows 10上的gmpy2模块计算pi到至少一百万位数字，我使用的是Chudnovsky算法。该系列算法是天才的，易于理解，易于实现。我遇到的问题是用gmpy2表示非常大的精确实数。检查gmpy2系统限制。它们看起来很棒。根据需要设置了百万数字π的精确上下文。为一个字符串变量分配百万数字pi。为一个mpfr变量分配一个mpfr变量--使用mpfr(‘百万位数字pi’)打印字符串变量，
浏览 6提问于2019-09-26得票数 3
回答已采纳
我生成了4百万个文档，并用大容量处理器保存它们。当我将index.store.type设置为内存时，我会得到一些奇怪的NPE，但最终会有大约2百万个文档被索引。使用设置为index.store.type的相同代码，用4个线程插入3k文档/批处理都很顺利(当然，更大的设置对“内存”也不起作用)，最终结果是4百万个索引文档如预期的那样。
浏览 1提问于2014-08-04得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号