首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >创建演示数据的DevOps方法?

问创建演示数据的DevOps方法?
EN

DevOps用户
提问于 2020-02-07 00:48:15
回答 2查看 85关注 0票数 -1

是否有一个很好的DevOps方法来构造一个为产品创建演示数据的工作流?当应用程序不断变化时,这种情况是很困难的。有几种情况需要考虑。

  1. 无论是旧的演示数据在新构建中变得过时,还是旧的数据在新构建中被认为已损坏。
  2. 引入了新的业务逻辑,需要与应用程序交互才能形成新的数据。您不能查看新架构、静态规则或旧数据来派生/填充此类数据。
  3. 程序经理有关于演示数据需要什么样的内部信息,而不是工程师。因此,工作流需要在流程中匹配,从某种程度上(构建->测试->部署)。

一种方法是运行包含演示数据的测试。因此,在测试运行之后,我们可以为演示提取数据。但是我可以看到,测试可能非常长,而且不像导入csv文件那样即时。此外,PM和工程师之间的协调似乎是紧密耦合的。

另一种方法是从存储库开始使用新方案并从那里生成数据。但是,这需要创建生成规则的开销,而这些规则可能与应用程序本身的逻辑不同步。

似乎自顶向下的方法更好,所以每次发布都会生成动态数据集。而不是使用与旧的静态数据的向后兼容性思维。

问题是,应用程序和数据保持同步,每次迭代都有效,同时允许PM和工程师彼此并行工作,而不依赖于彼此。

EN

回答 2

DevOps用户

发布于 2020-02-07 12:08:09

欢迎来到DevOps SE!

是否有可能使数据管理和数据集的操作本身成为一种资产?数据似乎变得更重要了,所以更多的以数据为中心的方法可能会有所帮助。

程序经理有关于演示数据需要什么样的内部信息。

这也证明了过程中的组织筒仓和缺乏沟通:即使在DevOps之前,在敏捷团队(例如scrum )中,您不仅可以拥有工程师,还可以拥有产品所有者和测试人员,他们不仅负责向团队提供有用的测试,而且还负责向团队提供有用的测试数据。

也就是说,第四种可能的情况可能是,您从生产中获取一个数据集,并对其进行混淆/匿名化。如果它太大,你需要把它减少到一个代表性的组合。要做到这一点,DevOps的一种方法是在完全理解这些步骤之后自动化所有这些步骤。=>工作现实场景。

尽管有一些法律上的变通方法,但这些方法需要付出大量额外努力:

  • 数据置乱
  • 数据匿名化
  • 综合数据

根据您的域,也可能有适用的、或多或少灵活的企业主数据管理工具,在这些工具中,产品所有者可以管理和编辑各种数据配置文件。

由于DevOps方法不仅仅是找到一个可以使用的工具,而且还要做一些实验来找出更多的信息,下面是最近关于这些主题的学术研究的例子。

示例研究:超越默默无闻:数据匿名的组织方法 (Hargitai等人)。2018)

匿名化不是应用正确算法的纯技术性问题,而是一个复杂的社会技术过程,依赖于多方利益相关者的协作。

或者:使用合成和真实数据的机器学习:不同医疗保健数据集和不同算法的评估指标的相似性。(Heyburn等人,2018年)

本文通过实验研究了对合成数据进行机器学习的有效性。

票数 1
EN

DevOps用户

发布于 2020-02-10 21:17:07

是否有可能按其功能的成熟度/稳定性水平来隔离数据?用于对API进行版本化的方法在这里可能会很好地工作。

从概念上讲,这意味着稳定功能的数据可以通过底层数据存储的快照从构建复制到构建(可能只需根据上下文进行少量更改)。

预览(开发中的不稳定)功能的数据最好是生成-这样,无论如何改变功能,总是有可能得到产品将是什么样的新视图。一代可以发生(例如)作为一个演示前的步骤,或直接在应用程序(自动填写用户界面,它甚至可以使之看起来整洁)。

一旦预览功能毕业生稳定,它的数据可以包括到快照(作为额外的发布过程步骤)

最好是在通用的方法上与工程保持一致,为新功能生成数据,然后为其数据和代码本身提供生成器。

这种混合办法可实现以下好处:

  • 建立和调整开发、工程和产品之间关于如何获取测试数据的期望。
  • 不需要处理时间的指数增长来生成整个数据集。
  • 启用正在开发的特性的快速迭代
  • 对开发人员进行教育,使他们更加了解DevOps (他们必须获取最后的稳定数据快照,并在开发人员开始开发特性时将其放入开发环境中)。
  • 启用所有参与方之间的快速反馈循环,从而提高产品质量(如果快照不推出或应用程序崩溃,那么发布过程就会中断)

这种方法没有太多的缺点,但我要强调几个最重要的问题:

  • 这需要工作。这种方法的要点是修复(或实际定义)该过程,因此需要额外花费一英里来权衡、解释、原型和构建对齐。
  • 它不会解决预览功能的延迟问题,例如,如果功能B依赖于A,而且它们都在开发中,则必须生成两者的数据,并且必须在B之前稳定A。

总的来说,这不是一个容易的问题,你正在处理,如果你能分享你的经验,它是如何进行,你的项目已经走了什么道路和背后的推理。干杯!

票数 0
EN
页面原文内容由DevOps提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://devops.stackexchange.com/questions/10740

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档