处理python中的大量配置参数

Question

在我的机器学习项目中，我有大量从配置文件中加载的参数，例如YAML文件。我想知道，除了一些'setup_by_cfg‘函数之外，还有关于如何将它们集成到代码基中的最佳实践吗？我在考虑类方法，但是实现会耦合到参数文件，这可能会有问题吗？

# option A
# setup_by_cfg.py

def setup_a(cfg):
    return A(a=cfg.a, b=cfg.b)

def setup_b(cfg):
    ...

# option B
# coupled in class implementation

class A:
    # ...
    @classmethod
    def from_cfg(cls, cfg):
        return cls(a=cfg.a, b=cfg.b)


class B:
    # ...
    @classmethod
    def from_cfg(cls, cfg):
        # ...

Answer 1

九头蛇的instantiate API可能是一个很适合你。使用此API，您可以通过调用具有特殊A键的信任项上的instantiate来创建类_target_和类_target_的实例：

from hydra.utils import instantiate

...

a_instance = instantiate(cfgA)
b_instance = instantiate(cfgB)

下面是一个完整的例子：

from hydra.utils import instantiate
from omegaconf import OmegaConf


class A:
    def __init__(self, x: int, y: int) -> None:
        self.x = x
        self.y = y

yaml_data = """
_target_: __main__.A
x: 123
y: 456
"""

cfgA = OmegaConf.create(yaml_data)

a = instantiate(cfgA)
assert isinstance(a, A)
assert a.x == 123
assert a.y == 456