B2C网站中卡夫卡/风暴/火花的可能用例

Question

我的公司有一个B2C网站，每天为成千上万的网络用户服务。

它使用PHP、angular.js和MySQL。

我们喜欢进入新的技术领域，我们看到一些热门趋势是卡夫卡/火花/风暴。

我们如何在架构中使用这些技术，以及如何从这些技术中获益？

谢谢

Answer 1

迁移到上面描述的新类型的堆栈有一些常见的动机，例如：

• 解耦:例如，团队1的应用程序A不应该影响团队2的应用程序B。您应该能够独立地开发和部署这两个应用程序("A/team 1不需要等待B/team 2，反之亦然“)，例如A上的负载激增也不应该对B. 事件来源、CQRS、微服务等造成附带损害。(对于更广泛意义上的“去耦”方面的脑筋，我建议看由Rich ( Clojure的创建者和Datomic的联合创始人)制作的简单容易。
• 可伸缩性、弹性、容错性、“反应性”(这与解耦相关)：例如，您可能需要不止一台机器(通常是数十台)来处理应用程序的传入数据或向客户端提供请求。您的应用程序还应该动态响应增加/减少的容量需求，这是反应性宣言 (cf )背后的思想之一。最近的白纸的光明，前TypeSafe，公司背后的斯卡拉和阿克卡)。

在你的情况下，离开你已经拥有的东西是否有意义，当然要由你来评估和决定。例如，可能您当前的设置已经满足了您的需要，可能还不够。

但是，如果您想朝这个方向走，下面是一些更多的提示可以帮助您开始：

• 日志:关于实时数据的统一抽象，每个软件工程师都应该知道些什么，作者Jay，阿帕奇卡夫卡的创作者之一
• 事件源，微服务。为了给你举一些具体的例子，你可以阅读沃尔玛( Walmart，博客帖子)等零售商，也可以阅读大型金融公司，比如Capital (幻灯片/谈话 from StrangeLoop 2016)，它们采用了这些概念。如果您喜欢阅读所有这些的更高级别的概述，您可能想看看事件源、CQRS、流处理和Apache :连接是什么？。一个关键的想法是，通过事件源，您实际上是在架构级别上利用不可变的好处(另一个Rich，价值价值解释了为什么不可变/值是如此重要)。这意味着您拥有应用程序中发生的所有事件(例如，“客户ABC在T时购买了项目XYZ ")的不可变的”会计分类账“，您可以利用这些事件来重新处理历史数据(例如修复在生产中发现的错误)、A/B测试(针对同一组历史数据)等等。
• 另一篇很好的文章是数据二分法:对我们对待数据和服务方式的再思考，它与上述主题联系在一起，并在概念层面上解释了为什么现在许多工程师用卡夫卡或火花等技术重新设计他们的架构。正如作者所写的，这里的一个动机是用人的术语来“衡量”，因为与计算机不同的是，我们的人脑并不是每18个月将其能力翻一番。

如果你想了解更多关于这个主题的信息，我推荐马丁·克莱普曼的短而免费的电子书如何理解流处理:事件流如何帮助您的应用程序更具可伸缩性、可靠性和可维护性 (IIRC )，它大约有60页。马丁还在写一本更长的书设计数据密集型应用程序，预定在2017年3月以最终形式出版；你已经可以通过O‘’Reilly早期访问访问目前几乎完成的草稿了。

Answer 2

您正在使用的技术，形成一个web应用程序堆栈。与卡夫卡、星火、风暴服务器等技术完全不同，而则完全不同。因此，我将解释每一种方法的用途，以及它们如何帮助你。

Kafka是一个分布式流媒体平台。用外行的话来说，这只是一种排队机制。如果您的应用程序具有运行在集群上的某种后端进程。因此，PHP后端将向后端进程发送请求数据。

Apache 很好，它主要用于大规模数据处理.它还提供流媒体功能(小型批处理流)、图形API、mini.当您想要处理集群中的大量数据时，您应该考虑这一点。

Apache 这是一个分布式实时计算系统。根据我的理解，这为您提供了更好的实时处理数据的流式功能。

总之，所有这些技术都适用于具有实时处理功能的分布式处理()。如果您想要合并这些系统中的任何一个，PHP后端可能充当代表最终用户使用这些系统的中间人。另外，您可能希望有多个PHP后端实例，以避免它成为瓶颈。