首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >akka能处理大量的算法来从db转换数据吗?

akka能处理大量的算法来从db转换数据吗?
EN

Stack Overflow用户
提问于 2014-07-31 15:15:35
回答 2查看 196关注 0票数 2

我是新来的阿克卡,并试图看看它是否回答了我所面临的问题。我有从数据库中提取的数据,用算法进行转换,然后发送给参与者。这涉及到大量的计算。akka能处理所有这些(通信和计算)吗?还是我必须调用另一个工具来管理微积分部分?

谢谢你们所有人。

在制品

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-07-31 16:05:41

我能提供的只是我的经验。事实上,我目前正在做类似的事情(即带有文本文件的ETL )。实际上,我们获取了大量文本文件,并将它们的行加载到PostgreSQL数据库中。这是我们的设置:

  • 英特尔Xeon 8核+ SSD
  • 同一台机器上的文件和应用程序
  • 远程数据库

我们可以在12分钟内获取、解析和加载2600万个文件行,并创建特定的数据库索引,即大约1.3GB的文件和3GB的数据库。在一个更可怕的单核和硬盘的设置,我们可以在40分钟左右完成它。

Akka的好处是,它将允许您节省更多的资源和规模,因为多个参与者可以共享一个线程。

票数 2
EN

Stack Overflow用户

发布于 2014-07-31 19:43:58

Akka可以轻松地处理每秒发送的数百万条消息,但在这里,在这篇letitcrash.com文章中很好地处理了这个主题。只要您在单独的调度程序(线程池)中排除阻塞操作,参与者模型就会大大简化并行计算,这当然给您在这样的数据处理应用程序中提供了很好的时钟时间。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/25062701

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档