回答情况：
提问时间：
问题标签：
当我们使用另一个集合中另一个实体的UUID查询子集时，会有相当大的延迟(avg上有5-10秒)。有什么方法可以优化这个吗？创建连接会更快吗？我们正在评估阿皮吉作为一个潜在的后端数以百万计的实体，所以这是一个巨大的问题对我们。如有任何建议，将不胜感激！
干杯
浏览 2提问于2014-09-09得票数 0
回答已采纳
我在AWS S3上有一个大的(5-10 GB)二进制文件，它需要自定义解析，可能在python中。它本质上是由数以百万计的数据组成的连续集合，它们都具有相同的结构。
浏览 0修改于2019-09-03得票数 0
回答已采纳
我有一个包含数百万个样本的数据集，它们有5个特性和1个目标，我正在使用它作为回归模型。有了非常大的样本计数，一些模型(比如随机森林)变得非常大(腌制时有几个GB )。(理论上)或去除重复对模型准确性的影响是什么？
浏览 0提问于2021-03-13得票数 0
回答已采纳
我需要处理一些数据，每5-10秒显示一次进度(我以%显示进度，但我也更新了一些图表)。我想在没有多线程的情况下完成这个任务。循环可能会很大。它可以从数百万开始，甚至高达数十亿。我想修复这个问题，重新打包并交付它，而不需要对它进行大的更改，这就需要再次进行密集的测试。多线程？很好，但稍后..。
浏览 1修改于2014-08-28得票数 1
回答已采纳
我一直试图加载一个托管在S3上的大型语言模型(> 5GB)，以便在Lambda函数中使用，但到目前为止没有成功。该函数在几分钟后就会连续超时，即使是在10240 MB内存上设置时也是如此。我认为这是因为Lambda函数的限制，以及来自S3的如此大的文件流。作为AWS的新手，是否有更好的方法来做到这一点？
浏览 4提问于2022-01-29得票数 0
回答已采纳
因此，我们有一个相当大的数据库和一个存储过程，可以搜索大量的文档。根据上下文的不同，它要么获取数百万个文档，要么只获取100个文档。
关键是，数百万份文件需要30秒的时间，这是超现实的。如果我在五个查询的每个OPTION (RECOMPILE)之后添加，则100个文档需要1秒，数百万个文档(预期)需要30秒。
浏览 8提问于2016-12-13得票数 6
(例如一些大的图形上下文、位图和CALayers)。
有没有办法查看应用程序启动以来的最大值？我想到了一个山顶洞人的方法，那就是在我们分配了大的图形上下文、位图和CALayers之后，添加一个虚拟循环，比如说一百万或一千万，这样内存使用就会在几秒钟内保持不变，并且可以在仪器中看到。但是，如果有5层，我们应该分配一个图形上下文，获取位图，并将其设置为层，然后立即释放图形上下文，因为它不再需要。然后我们继续下一个图形上下文、位图和层，等等，而不是创建五个图
浏览 1提问于2012-08-16得票数 3
我在我的几个模型中使用了一个自定义模型管理器。此管理器有助于加快数据库插入速度。我需要执行数据迁移，这涉及到迁移数百万条记录/对象。在我的数据迁移中，我需要我的自定义管理器。有谁知道怎么弄到它吗。在数据迁移上下文中，如果我运行model.objects，就会返回Django的模型管理器。
浏览 34提问于2019-02-01得票数 2
回答已采纳
我在一个相当大的数据集上运行一个回归模型，得到了一个相当糟糕的$R^2$评分为0.2(参见下面的图)，尽管该模型看起来像是指向正确的方向。我的问题是，当你有超过一百万个数据点时，你能现实地期望$R^2$在真实世界的数据中有相当大的噪音吗？
对这些传统措施的怀疑促使了诸如这这样的文章，这些文章讨论了数据的数量如何降低统计测试的质量。
浏览 0修改于2021-03-03得票数 3
回答已采纳
我的表有大约20个功能和数百万的观察(行)。
我需要在这个表上创建模型，但是，由于它是巨大的，像随机森林或XGB这样的训练模型需要花费很长时间。我主要是使用python在木星实验室服务器上使用scikit-learn和XGBoost包，而且在数据非常大的时候，我也在努力解决这个问题。同样重要的是，我有windows (而不是Linux)。当数据如此大时，是否有更好的包或平台可供使用？
浏览 0修改于2021-10-11得票数 5
回答已采纳
我已经读到，在不同的有界上下文中拆分应用程序的原因是由于普遍存在的语言以及大实体的分裂。例如，我可以有一个具有逻辑支持和销售的产品实体，我可以在不同的有界上下文中将模型划分为两个产品模型--支持和销售有界上下文，但我也可以创建两个不同的实体SupportProduct和SalesProduct那么，为什么我也需要不同的有界上下文呢？
浏览 2提问于2021-12-28得票数 0
此流量可能在每分钟数百万的范围内。该服务托管在ELB后面的亚马逊网络服务EC2上，并使用HTTP。这导致了AWS账单中包含大量数据传输费用。数据传出组件通常更高，因为除了SSL协商之外，来自web服务的50%响应有点大，并且编码为JSON。PS:在这里，访问web服务的客户端也是我的。因此，可以同时在服务器端和客户端进行更改。
浏览 0提问于2020-04-24得票数 2
有时甚至几百万。大多数情况下，它们不会加载，而是会抛出OutOfMemory错误。
这些报告的查询非常简单，带有一些where条件的selects (有时，可能会在大表上连接另外几个小表)。在SQL Server Management Studio中，查询在5-10秒内完成。
浏览 0修改于2009-06-09得票数 1
回答已采纳
我想检查这个模型的字段的、或null是否为空。if(!empty($userModel->name) && !empty($userModel->email)) // All fields have values这种方式是可行的，但是如果以后我需要向模型中添加另一个字段，那么我需要返回到if，并在那里添加另一个额外信息:模型已经保存在db中，不需要用户输入。这只是我检查一个特定模型有多完整，绝不是所
浏览 6修改于2016-12-07得票数 4
回答已采纳
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
我已经搜索了很多关于有界上下文的内容，我知道它是领域驱动设计中的一种模式，它是用来使用数据库上下文将我们的大模型划分成更小的模型，但它让我有点困惑。实际上我不知道它到底是干什么的？
浏览 8修改于2014-02-15得票数 0
回答已采纳
关于培训LDA：经过培训，现在我们有了一个新的LDA模型，因此我们可以使用它来预测哪些主题具有新的文档。但在向模型提供新文档之前，我们需要将其转换为单词向量，其向量长度将是我们的字典长度(数百万字)。因此
浏览 3提问于2017-09-26得票数 1
回答已采纳
类似于DBunit提供的功能，但不是在单元测试的上下文中，而是持续更长的时间(例如，对于持续5-10分钟的测试，在UI中完成，而不是在自动测试中完成)
例如:开发人员集成了一个新功能，并以交互方式对其进行测试备份/快照不适合这里，因为数据库非常大，并且返回到备份/快照非常耗时。因此，更轻量级的东西将是首选。
浏览 2修改于2011-01-25得票数 0
3回答
是否有一种通用的方法，可以用ROC曲线来验证一个模型？我的理解是，我们可以使用它来比较不同的阈值来确定最佳值，甚至可以看到不同的组在k折叠验证中的行为方式.，但是它需要总是比较不同的阈值。有人告诉我，我应该考虑用ROC曲线来验证我的模型(logistic回归)，但它们并不意味着看分类的阈值，我一直被告知，它应该被用来验证模型之外的一般情况。模型本身甚至不使用交叉验证，因为数据集本身相当大(总计超过一百万个条目)。我是不是漏掉了什么？
浏览 0提问于2022-11-21得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号