回答情况：
提问时间：
问题标签：
我有一个包含数百万个样本的数据集，它们有5个特性和1个目标，我正在使用它作为回归模型。有了非常大的样本计数，一些模型(比如随机森林)变得非常大(腌制时有几个GB )。(理论上)或去除重复对模型准确性的影响是什么？
浏览 0提问于2021-03-13得票数 0
回答已采纳
我正在使用实体框架6进行一个项目。在项目开始时，我是EF的初学者，并且选择先用EF模型构建。我想先转换到代码。考虑到模型首先已经生成了我需要的所有类和上下文，我不认为首先转换到代码是那么困难的。谢谢你的帮忙,
浏览 3提问于2014-03-27得票数 4
回答已采纳
因此，我们有一个相当大的数据库和一个存储过程，可以搜索大量的文档。根据上下文的不同，它要么获取数百万个文档，要么只获取100个文档。
关键是，数百万份文件需要30秒的时间，这是超现实的。如果我在五个查询的每个OPTION (RECOMPILE)之后添加，则100个文档需要1秒，数百万个文档(预期)需要30秒。
浏览 8提问于2016-12-13得票数 6
(例如一些大的图形上下文、位图和CALayers)。
有没有办法查看应用程序启动以来的最大值？我想到了一个山顶洞人的方法，那就是在我们分配了大的图形上下文、位图和CALayers之后，添加一个虚拟循环，比如说一百万或一千万，这样内存使用就会在几秒钟内保持不变，并且可以在仪器中看到。但是，如果有5层，我们应该分配一个图形上下文，获取位图，并将其设置为层，然后立即释放图形上下文，因为它不再需要。然后我们继续下一个图形上下文、位图和层，等等，而不是创建五个图
浏览 1提问于2012-08-16得票数 3
我希望使用entityframework6在postgresql表中执行大容量插入，并将数据作为集合从前端获取。我想使用bulkinsert (如果有的话)来存储它，因为数据几乎是一百万。是否有任何内置的方法来使用它，或者我用来执行大容量插入和删除的任何免费库？
浏览 2提问于2022-06-08得票数 0
我在一个相当大的数据集上运行一个回归模型，得到了一个相当糟糕的$R^2$评分为0.2(参见下面的图)，尽管该模型看起来像是指向正确的方向。我的问题是，当你有超过一百万个数据点时，你能现实地期望$R^2$在真实世界的数据中有相当大的噪音吗？
对这些传统措施的怀疑促使了诸如这这样的文章，这些文章讨论了数据的数量如何降低统计测试的质量。
浏览 0修改于2021-03-03得票数 3
回答已采纳
我在我的几个模型中使用了一个自定义模型管理器。此管理器有助于加快数据库插入速度。我需要执行数据迁移，这涉及到迁移数百万条记录/对象。在我的数据迁移中，我需要我的自定义管理器。有谁知道怎么弄到它吗。在数据迁移上下文中，如果我运行model.objects，就会返回Django的模型管理器。
浏览 34提问于2019-02-01得票数 2
回答已采纳
我的表有大约20个功能和数百万的观察(行)。
我需要在这个表上创建模型，但是，由于它是巨大的，像随机森林或XGB这样的训练模型需要花费很长时间。我主要是使用python在木星实验室服务器上使用scikit-learn和XGBoost包，而且在数据非常大的时候，我也在努力解决这个问题。同样重要的是，我有windows (而不是Linux)。当数据如此大时，是否有更好的包或平台可供使用？
浏览 0修改于2021-10-11得票数 5
回答已采纳
当我尝试一种不同的模型，比如说Logistic回归时，性能急剧下降，从80%下降到30%。如果我能够在DecisionTrees模型中这样使用字符串，我可能会接受这个结果，但是既然我对两个模型都使用了相同的字符串到整数转换，那么为什么会有这么大的差异呢？
我不能说细节，但让我给你打个比方。比方说，您正在根据数百万对象的有用性对其进行分类。所以你说锤子是4，螺丝刀6，洗衣机10等等。当然，你有不止一个螺丝刀，有时你会忘记，给它一个5的值，或者其他什么东西。该模型遍历数<e
浏览 0修改于2017-01-25得票数 4
回答已采纳
我已经读到，在不同的有界上下文中拆分应用程序的原因是由于普遍存在的语言以及大实体的分裂。例如，我可以有一个具有逻辑支持和销售的产品实体，我可以在不同的有界上下文中将模型划分为两个产品模型--支持和销售有界上下文，但我也可以创建两个不同的实体SupportProduct和SalesProduct那么，为什么我也需要不同的有界上下文呢？
浏览 2提问于2021-12-28得票数 0
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
我已经搜索了很多关于有界上下文的内容，我知道它是领域驱动设计中的一种模式，它是用来使用数据库上下文将我们的大模型划分成更小的模型，但它让我有点困惑。实际上我不知道它到底是干什么的？
浏览 8修改于2014-02-15得票数 0
回答已采纳
关于培训LDA：经过培训，现在我们有了一个新的LDA模型，因此我们可以使用它来预测哪些主题具有新的文档。但在向模型提供新文档之前，我们需要将其转换为单词向量，其向量长度将是我们的字典长度(数百万字)。因此
浏览 3提问于2017-09-26得票数 1
回答已采纳
3回答
是否有一种通用的方法，可以用ROC曲线来验证一个模型？我的理解是，我们可以使用它来比较不同的阈值来确定最佳值，甚至可以看到不同的组在k折叠验证中的行为方式.，但是它需要总是比较不同的阈值。有人告诉我，我应该考虑用ROC曲线来验证我的模型(logistic回归)，但它们并不意味着看分类的阈值，我一直被告知，它应该被用来验证模型之外的一般情况。模型本身甚至不使用交叉验证，因为数据集本身相当大(总计超过一百万个条目)。我是不是漏掉了什么？
浏览 0提问于2022-11-21得票数 1
我正在编写一个Python3 (64位)程序，使用64位Windows 10上的gmpy2模块计算pi到至少一百万位数字，我使用的是Chudnovsky算法。该系列算法是天才的，易于理解，易于实现。我遇到的问题是用gmpy2表示非常大的精确实数。检查gmpy2系统限制。它们看起来很棒。根据需要设置了百万数字π的精确上下文。为一个字符串变量分配百万数字pi。为一个mpfr变量分配一个mpfr变量--使用mpfr(‘百万位数字pi’)打印字符串变量，
浏览 6提问于2019-09-26得票数 3
回答已采纳
由于我的x轴上的数字有点大，它们以百万表示(即25.8512M)。但是，我希望强制格式以千为单位显示(即25,851.2k)。import plotly.graph_objects as go
按照这个和这个中的建议，我尝试将轴tickformat设置为',.6s'，但是没有成功。
浏览 4提问于2020-08-10得票数 2
我有一个numpy数组我想要一个numpy数组Y = [1, 2, 3, 1, 3]，其中[1,2]替换为1，[3,4]这是一个非常大的(想想数百万) X。
直觉是Y[X == [1,2]] = 1。但这并不管用。
浏览 0修改于2017-09-08得票数 0
1回答
由于我所基于的数据非常大(数以百计的百万行)，我们有三个表，它们按小时、按天和按月汇总数据。我很好奇是否正确的方法是创建三个模型，尽管它们有相似之处，但每种类型的数据一个模型。
浏览 2提问于2014-12-10得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号