如何理解训练过程中生成的文件夹？ ================================================================ DI-engine 在训练过程中会生成很多文件夹： - 在 **串行（serial）** 模式下, DI-engine 生成 log 和 checkpoint 文件夹. - 在 **并行（parallel）** 模式下, DI-engine 生成 log, checkpoint, data 和 policy 文件夹. 我们将分别介绍这两种模式。 串行模式 -------------------- 在串行模式下，生成的文件树如下： :: cartpole_dqn ├── ckpt │   ├── ckpt_best.pth.tar │   ├── iteration_0.pth.tar │   └── iteration_561.pth.tar ├── formatted_total_config.py ├── log │   ├── buffer │   │   └── buffer_logger.txt │   ├── collector │   │   └── collector_logger.txt │   ├── evaluator │   │   └── evaluator_logger.txt │   ├── learner │   │   └── learner_logger.txt │   └── serial │   └── events.out.tfevents.1626453528.CN0014009700M.local └── total_config.py - log/buffer 在 buffer 这个文件夹里, 有一个名为 ``buffer_logger.txt`` 的文件，其中包含buffer中有关数据使用情况的一些信息。 经过一定次数的采样后，会打印出采样信息，显示采样数据的属性，并且也展示出数据的质量。 表格如下图所示： +-------+----------+----------+--------------+--------------+--------------+---------------+---------------+ | Name | use_avg | use_max | priority_avg | priority_max | priority_min | staleness_avg | staleness_max | +-------+----------+----------+--------------+--------------+--------------+---------------+---------------+ | Value | float | int | float | float | float | float | float | +-------+----------+----------+--------------+--------------+--------------+---------------+---------------+ 一定秒数后，吞吐量信息（进入buffer的数据数量、采样次数、删除数量、目前拥有的有效数量）将打印如下： +-------+--------------+--------------+--------------+--------------+ | Name | pushed_in | sampled_out | removed | current_have | +-------+--------------+--------------+--------------+--------------+ | Value | float | float | float | float | +-------+--------------+--------------+--------------+--------------+ - log/collector 在收集器文件夹中，有一个名为“collector_logger.txt”的文件，其中包含一些与环境交互相关的信息。 - 设默认置 n_sample 模式。 collector 的基本信息: n_sample 和 env_num. n_sample 表示采集的数据样本数. 对于 env_num，它表示collector将与多少个环境交互。 - collector与环境交互时产生的特殊信息，例如 - episode_count: 收集数据的episode数量 - envstep_count: 收集数据的envstep数量 - train_sample_count: 训练样本数据个数 - avg_envstep_per_episode: 每个 eposide中平均的 envstep - avg_sample_per_episode: 每个episode中的平均样本数 - avg_envstep_per_sec: 每秒平均的env_step - avg_train_sample_per_sec: 每秒平均的训练样本数 - avg_episode_per_sec: 每秒平均episode数 - collect_time: 收集时间 - reward_mean: 平均奖励 - reward_std: 奖励的标准差 - each_reward: collector与环境交互时的每个episode的奖励。 - reward_max: 最大reward - reward_min: 最小reward - total_envstep_count: 总 envstep 数 - total_train_sample_count: 总训练样本数 - total_episode_count: 总 episode 数 - total_duration: 总持续时间 - log/evaluator 在 evaluator 文件夹中，有一个名为 ``evaluator_logger.txt`` 的文件，其中包含有关 evaluator 与环境交互时的一些信息。 - [INFO]: env 完成episode，最终奖励：xxx，当前episode：xxx - train_iter: 训练迭代数 - ckpt_name: 模型路径，如iteration_0.pth.tar - episode_count: episode计数 - envstep_count: envstep计数 - evaluate_time: evaluator花费的时间 - avg_envstep_per_episode: 每个episode的平均envstep - avg_envstep_per_sec: 每秒的平均envstep - avg_time_per_episode: 每秒的平均episode - reward_mean: 平均奖励 - reward_std: 奖励的标准差 - each_reward: evaluator与环境交互时的每个episode的奖励。 - reward_max: 最大reward - reward_min: 最小reward - log/learner 在learner文件夹中，有一个名为“learner_logger.txt”的文件，其中包含有关learner的一些信息。 以下信息是在 DQN 训练期间生成的 - 策略神经网络架构： :: INFO:learner_logger:[RANK0]: DI-engine DRL Policy DQN( (encoder): FCEncoder( (act): ReLU() (init): Linear(in_features=4, out_features=128, bias=True) (main): Sequential( (0): Linear(in_features=128, out_features=128, bias=True) (1): ReLU() (2): Linear(in_features=128, out_features=64, bias=True) (3): ReLU() ) ) (head): DuelingHead( (A): Sequential( (0): Sequential( (0): Linear(in_features=64, out_features=64, bias=True) (1): ReLU() ) (1): Sequential( (0): Linear(in_features=64, out_features=2, bias=True) ) ) (V): Sequential( (0): Sequential( (0): Linear(in_features=64, out_features=64, bias=True) (1): ReLU() ) (1): Sequential( (0): Linear(in_features=64, out_features=1, bias=True) ) ) ) ) - leaner信息： 网格表： +-------+------------+----------------+ | Name | cur_lr_avg | total_loss_avg | +-------+------------+----------------+ | Value | 0.001000 | 0.098996 | +-------+------------+----------------+ - serial 将buffer、collector、evaluator、learner的相关信息保存到名为 ``events.out.tfevents`` 的文件中，供 **tensorboard** 使用。 DI-engine 将串行文件夹中的所有 tensorboard 文件保存为 **一个 tensorboard 文件** ，而不是各自的文件夹。 因为在跑如果跑n个实验的时候，当n很大时，4*n个各自的tensorboard文件不容易判别。 所以在串行模式下，所有的 tensorboard文件都在串行文件夹中 （但是，在并行模式下，tensorboard文件位于各自的文件夹中）。 - ckpt 在这个文件夹中，有模型参数 checkpoints： - ckpt_best.pth.tar. 达到最高评价分数的最佳模型. - "iteration" + iter number. 每 ``iter_number`` 保存的模型。 您可以使用 ``torch.load('ckpt_best.pth.tar')`` 来加载模型。 并行模式 -------------------- :: cartpole_dqn ├── ckpt │   └── iteration_0.pth.tar ├── data ├── log │   ├── buffer │   │   ├── buffer_logger.txt │   │   └── buffer_tb_logger │   │   └── events.out.tfevents.1626453752.CN0014009700M.local │   ├── collector │   │   ├── 4890b4c5-f084-4c94-b440-75f9fa602388_614285_logger.txt │   │   ├── c029d882-fe4f-4a1d-9451-13015bbca192_750418_logger.txt │   │   └── fc68e215-f062-4a1b-a0fd-dcf5f375b290_886803_logger.txt │   ├── commander │   │   ├── commander_collector_logger.txt │   │   ├── commander_evaluator_logger.txt │   │   ├── commander_logger.txt │   │   └── commander_tb_logger │   │   └── events.out.tfevents.1626453748.CN0014009700M.local │   ├── coordinator_logger.txt │   ├── evaluator │   │   ├── 1496df45-8858-4f38-82da-b4a39461a268_451909_logger.txt │   │   └── 2e8879e3-8af5-4ebb-8d50-8af829f03845_711157_logger.txt │   └── learner │   ├── learner_logger.txt │   └── learner_tb_logger │   └── events.out.tfevents.1626453750.CN0014009700M.local └── policy ├── policy_0d2a6a81-fd73-4e29-8815-3607f1428aaa_907961 └── policy_0d2a6a81-fd73-4e29-8815-3607f1428aaa_907961.lock: 并行模式下，log文件夹有5个子文件夹，包括buffer、collector、evaluator、learner、commander和一个文件coordinator_logger.txt - log/buffer 在 buffer 文件夹中, 有一个名为 ``buffer_logger.txt`` 的文件和一个名为 ``buffer_tb_logger`` 的子文件夹。 ``buffer_logger.txt`` 中的数据与串行模式下的数据相同。 在 buffer_tb_logger 文件夹中，有一个 ``events.out.tfevents`` tensorboard 文件。 - log/collector 在collector文件夹中，有很多 ``collector_logger.txt`` 文件，包括collector与环境交互时的collector信息。并行模式有很多collector，所以有很多 ``collector_logger.txt`` 文件记录信息。 ``collector_logger.txt`` 中的数据与串行模式相同。 - log/evaluator 在 evaluator 文件夹中，有很多 ``evaluator_logger.txt`` 文件，包括 evaluator 与环境交互时有关 evaluator 的信息。 并行模式有很多evaluator，所以有很多 ``evaluator_logger.txt`` 文件记录信息。 ``evaluator_logger.txt`` 中的数据与串行模式相同。 - log/learner 在learner文件夹中，有一个名为 ``learner_logger.txt`` 的文件和一个名为 ``learner_tb_logger`` 的子文件夹。 ``learner_logger.txt`` 中的数据与串行模式相同。 在 learner_tb_logger 文件夹中保存了一些 tensorboard 文件 ``events.out.tfevents``，可以被 tensorboard 使用。 在并行模式下，将所有tb文件放在同一个文件夹中太难了, 所以每个 tb 文件都放在一个文件夹中，其中包含相应的文本记录器文件。 它与串行模式不同。在串行模式下，我们将所有 tb 文件放在串行文件夹中。 - log/commander 在commander文件夹中，有三个文件： ``commander_collector_logger.txt``, ``commander_evaluator_logger.txt``, ``commander_logger.txt`` 和一个名为 ``learner_tb_logger`` 的子文件夹. 在 ``commander_collector_logger.txt`` 里, 有一些coordinator需要的collector的信息。 如train_iter、step_count、avg_step_per_episode、avg_time_per_step、avg_time_per_episode、reward_mean、reward_std 在 ``commander_evaluator_logger.txt`` 里, 有一些coordinator需要的evaluator的信息。 如train_iter、step_count、avg_step_per_episode、avg_time_per_step、avg_time_per_episode、reward_mean、reward_std 在 ``commander_logger.txt`` 里, 有一些关于coordinator何时将会结束的信息 collector和evaluator文件夹中有很多文件，看起来很不方便。 所以我们在commander里面做了一个整合。 这就是并行模式下存在collector 和evaluator 文件夹但commander 文件夹具有collector 文本文件和evaluator 文本文件的原因。 - ckpt: 并行模式下 checkpoint 文件夹与串行模式的相同。 在这个文件夹中，有模型参数 checkpoints： - ckpt_best.pth.tar. 达到最高评价分数的最佳模型. - "iteration" + iter number. 每 ``iter_number`` 保存的模型。 您可以使用 ``torch.load('ckpt_best.pth.tar')`` 来加载模型。 - data 在这个文件夹中，有很多数据文件。 在串行模式下，所有数据都存储在内存中; 在并行模式下，数据分为元数据和文件数据： 元数据仍然存储在内存中，但文件数据存储在文件系统中。 - policy 在此文件夹中，有一个策略文件。 该文件包含策略参数。用于将learner的最新参数发送给collector进行更新。 在并行模式下，coordinator使用策略文件的路径注册collector，collector使用策略文件中的数据作为自己的参数。