是否有一个很好的DevOps方法来构造一个为产品创建演示数据的工作流?当应用程序不断变化时,这种情况是很困难的。有几种情况需要考虑。
一种方法是运行包含演示数据的测试。因此,在测试运行之后,我们可以为演示提取数据。但是我可以看到,测试可能非常长,而且不像导入csv文件那样即时。此外,PM和工程师之间的协调似乎是紧密耦合的。
另一种方法是从存储库开始使用新方案并从那里生成数据。但是,这需要创建生成规则的开销,而这些规则可能与应用程序本身的逻辑不同步。
似乎自顶向下的方法更好,所以每次发布都会生成动态数据集。而不是使用与旧的静态数据的向后兼容性思维。
问题是,应用程序和数据保持同步,每次迭代都有效,同时允许PM和工程师彼此并行工作,而不依赖于彼此。
发布于 2020-02-07 12:08:09
欢迎来到DevOps SE!
是否有可能使数据管理和数据集的操作本身成为一种资产?数据似乎变得更重要了,所以更多的以数据为中心的方法可能会有所帮助。
程序经理有关于演示数据需要什么样的内部信息。
这也证明了过程中的组织筒仓和缺乏沟通:即使在DevOps之前,在敏捷团队(例如scrum )中,您不仅可以拥有工程师,还可以拥有产品所有者和测试人员,他们不仅负责向团队提供有用的测试,而且还负责向团队提供有用的测试数据。
也就是说,第四种可能的情况可能是,您从生产中获取一个数据集,并对其进行混淆/匿名化。如果它太大,你需要把它减少到一个代表性的组合。要做到这一点,DevOps的一种方法是在完全理解这些步骤之后自动化所有这些步骤。=>工作现实场景。
尽管有一些法律上的变通方法,但这些方法需要付出大量额外努力:
根据您的域,也可能有适用的、或多或少灵活的企业主数据管理工具,在这些工具中,产品所有者可以管理和编辑各种数据配置文件。
由于DevOps方法不仅仅是找到一个可以使用的工具,而且还要做一些实验来找出更多的信息,下面是最近关于这些主题的学术研究的例子。
示例研究:超越默默无闻:数据匿名的组织方法 (Hargitai等人)。2018)
匿名化不是应用正确算法的纯技术性问题,而是一个复杂的社会技术过程,依赖于多方利益相关者的协作。
或者:使用合成和真实数据的机器学习:不同医疗保健数据集和不同算法的评估指标的相似性。(Heyburn等人,2018年)
本文通过实验研究了对合成数据进行机器学习的有效性。
发布于 2020-02-10 21:17:07
是否有可能按其功能的成熟度/稳定性水平来隔离数据?用于对API进行版本化的方法在这里可能会很好地工作。
从概念上讲,这意味着稳定功能的数据可以通过底层数据存储的快照从构建复制到构建(可能只需根据上下文进行少量更改)。
预览(开发中的不稳定)功能的数据最好是生成-这样,无论如何改变功能,总是有可能得到产品将是什么样的新视图。一代可以发生(例如)作为一个演示前的步骤,或直接在应用程序(自动填写用户界面,它甚至可以使之看起来整洁)。
一旦预览功能毕业生稳定,它的数据可以包括到快照(作为额外的发布过程步骤)
最好是在通用的方法上与工程保持一致,为新功能生成数据,然后为其数据和代码本身提供生成器。
这种混合办法可实现以下好处:
这种方法没有太多的缺点,但我要强调几个最重要的问题:
总的来说,这不是一个容易的问题,你正在处理,如果你能分享你的经验,它是如何进行,你的项目已经走了什么道路和背后的推理。干杯!
https://devops.stackexchange.com/questions/10740
复制相似问题