如何理解训练过程中生成的文件夹？¶

DI-engine 在训练过程中会生成很多文件夹：

在 串行（serial） 模式下, DI-engine 生成 log 和 checkpoint 文件夹.

在 并行（parallel） 模式下, DI-engine 生成 log, checkpoint, data 和 policy 文件夹.

我们将分别介绍这两种模式。

串行模式¶

在串行模式下，生成的文件树如下：

cartpole_dqn
├── ckpt
│   ├── ckpt_best.pth.tar
│   ├── iteration_0.pth.tar
│   └── iteration_561.pth.tar
├── formatted_total_config.py
├── log
│   ├── buffer
│   │   └── buffer_logger.txt
│   ├── collector
│   │   └── collector_logger.txt
│   ├── evaluator
│   │   └── evaluator_logger.txt
│   ├── learner
│   │   └── learner_logger.txt
│   └── serial
│       └── events.out.tfevents.1626453528.CN0014009700M.local
└── total_config.py

log/buffer

在 buffer 这个文件夹里, 有一个名为 buffer_logger.txt 的文件，其中包含buffer中有关数据使用情况的一些信息。

经过一定次数的采样后，会打印出采样信息，显示采样数据的属性，并且也展示出数据的质量。表格如下图所示：

Name

use_avg

use_max

priority_avg

priority_max

priority_min

staleness_avg

staleness_max

Value

float

int

float

float

float

float

float

一定秒数后，吞吐量信息（进入buffer的数据数量、采样次数、删除数量、目前拥有的有效数量）将打印如下：

Name

pushed_in

sampled_out

removed

current_have

Value

float

float

float

float
log/collector
在收集器文件夹中，有一个名为“collector_logger.txt”的文件，其中包含一些与环境交互相关的信息。
- 设默认置 n_sample 模式。 collector 的基本信息: n_sample 和 env_num. n_sample 表示采集的数据样本数. 对于 env_num，它表示collector将与多少个环境交互。
- collector与环境交互时产生的特殊信息，例如
  episode_count: 收集数据的episode数量
  
  envstep_count: 收集数据的envstep数量
  
  train_sample_count: 训练样本数据个数
  
  avg_envstep_per_episode: 每个 eposide中平均的 envstep
  
  avg_sample_per_episode: 每个episode中的平均样本数
  
  avg_envstep_per_sec: 每秒平均的env_step
  
  avg_train_sample_per_sec: 每秒平均的训练样本数
  
  avg_episode_per_sec: 每秒平均episode数
  
  collect_time: 收集时间
  
  reward_mean: 平均奖励
  
  reward_std: 奖励的标准差
  
  each_reward: collector与环境交互时的每个episode的奖励。
  
  reward_max: 最大reward
  
  reward_min: 最小reward
  
  total_envstep_count: 总 envstep 数
  
  total_train_sample_count: 总训练样本数
  
  total_episode_count: 总 episode 数
  
  total_duration: 总持续时间
log/evaluator
在 evaluator 文件夹中，有一个名为 evaluator_logger.txt 的文件，其中包含有关 evaluator 与环境交互时的一些信息。
- [INFO]: env 完成episode，最终奖励：xxx，当前episode：xxx
- train_iter: 训练迭代数
- ckpt_name: 模型路径，如iteration_0.pth.tar
- episode_count: episode计数
- envstep_count: envstep计数
- evaluate_time: evaluator花费的时间
- avg_envstep_per_episode: 每个episode的平均envstep
- avg_envstep_per_sec: 每秒的平均envstep
- avg_time_per_episode: 每秒的平均episode
- reward_mean: 平均奖励
- reward_std: 奖励的标准差
- each_reward: evaluator与环境交互时的每个episode的奖励。
- reward_max: 最大reward
- reward_min: 最小reward

log/learner

在learner文件夹中，有一个名为“learner_logger.txt”的文件，其中包含有关learner的一些信息。

以下信息是在 DQN 训练期间生成的

策略神经网络架构：

INFO:learner_logger:[RANK0]: DI-engine DRL Policy
DQN(
  (encoder): FCEncoder(
    (act): ReLU()
    (init): Linear(in_features=4, out_features=128, bias=True)
    (main): Sequential(
      (0): Linear(in_features=128, out_features=128, bias=True)
      (1): ReLU()
      (2): Linear(in_features=128, out_features=64, bias=True)
      (3): ReLU()
    )
  )
  (head): DuelingHead(
    (A): Sequential(
      (0): Sequential(
        (0): Linear(in_features=64, out_features=64, bias=True)
        (1): ReLU()
      )
      (1): Sequential(
        (0): Linear(in_features=64, out_features=2, bias=True)
      )
    )
    (V): Sequential(
      (0): Sequential(
        (0): Linear(in_features=64, out_features=64, bias=True)
        (1): ReLU()
      )
      (1): Sequential(
        (0): Linear(in_features=64, out_features=1, bias=True)
      )
    )
  )
)

leaner信息：

网格表：

Name

cur_lr_avg

total_loss_avg

Value

0.001000

0.098996

serial

将buffer、collector、evaluator、learner的相关信息保存到名为 events.out.tfevents 的文件中，供 tensorboard 使用。

DI-engine 将串行文件夹中的所有 tensorboard 文件保存为 一个 tensorboard 文件 ，而不是各自的文件夹。因为在跑如果跑n个实验的时候，当n很大时，4*n个各自的tensorboard文件不容易判别。所以在串行模式下，所有的 tensorboard文件都在串行文件夹中（但是，在并行模式下，tensorboard文件位于各自的文件夹中）。
ckpt
在这个文件夹中，有模型参数 checkpoints：
ckpt_best.pth.tar. 达到最高评价分数的最佳模型.

“iteration” + iter number. 每 iter_number 保存的模型。
您可以使用 torch.load('ckpt_best.pth.tar') 来加载模型。

并行模式¶

cartpole_dqn
├── ckpt
│   └── iteration_0.pth.tar
├── data
├── log
│   ├── buffer
│   │   ├── buffer_logger.txt
│   │   └── buffer_tb_logger
│   │       └── events.out.tfevents.1626453752.CN0014009700M.local
│   ├── collector
│   │   ├── 4890b4c5-f084-4c94-b440-75f9fa602388_614285_logger.txt
│   │   ├── c029d882-fe4f-4a1d-9451-13015bbca192_750418_logger.txt
│   │   └── fc68e215-f062-4a1b-a0fd-dcf5f375b290_886803_logger.txt
│   ├── commander
│   │   ├── commander_collector_logger.txt
│   │   ├── commander_evaluator_logger.txt
│   │   ├── commander_logger.txt
│   │   └── commander_tb_logger
│   │       └── events.out.tfevents.1626453748.CN0014009700M.local
│   ├── coordinator_logger.txt
│   ├── evaluator
│   │   ├── 1496df45-8858-4f38-82da-b4a39461a268_451909_logger.txt
│   │   └── 2e8879e3-8af5-4ebb-8d50-8af829f03845_711157_logger.txt
│   └── learner
│       ├── learner_logger.txt
│       └── learner_tb_logger
│           └── events.out.tfevents.1626453750.CN0014009700M.local
└── policy
    ├── policy_0d2a6a81-fd73-4e29-8815-3607f1428aaa_907961
    └── policy_0d2a6a81-fd73-4e29-8815-3607f1428aaa_907961.lock:

并行模式下，log文件夹有5个子文件夹，包括buffer、collector、evaluator、learner、commander和一个文件coordinator_logger.txt

log/buffer

在 buffer 文件夹中, 有一个名为 buffer_logger.txt 的文件和一个名为 buffer_tb_logger 的子文件夹。

buffer_logger.txt 中的数据与串行模式下的数据相同。

在 buffer_tb_logger 文件夹中，有一个 events.out.tfevents tensorboard 文件。
log/collector

在collector文件夹中，有很多 collector_logger.txt 文件，包括collector与环境交互时的collector信息。并行模式有很多collector，所以有很多 collector_logger.txt 文件记录信息。

collector_logger.txt 中的数据与串行模式相同。
log/evaluator

在 evaluator 文件夹中，有很多 evaluator_logger.txt 文件，包括 evaluator 与环境交互时有关 evaluator 的信息。并行模式有很多evaluator，所以有很多 evaluator_logger.txt 文件记录信息。

evaluator_logger.txt 中的数据与串行模式相同。
log/learner

在learner文件夹中，有一个名为 learner_logger.txt 的文件和一个名为 learner_tb_logger 的子文件夹。

learner_logger.txt 中的数据与串行模式相同。

在 learner_tb_logger 文件夹中保存了一些 tensorboard 文件 events.out.tfevents，可以被 tensorboard 使用。

在并行模式下，将所有tb文件放在同一个文件夹中太难了, 所以每个 tb 文件都放在一个文件夹中，其中包含相应的文本记录器文件。它与串行模式不同。在串行模式下，我们将所有 tb 文件放在串行文件夹中。
log/commander

在commander文件夹中，有三个文件： commander_collector_logger.txt, commander_evaluator_logger.txt, commander_logger.txt 和一个名为 learner_tb_logger 的子文件夹.

在 commander_collector_logger.txt 里, 有一些coordinator需要的collector的信息。如train_iter、step_count、avg_step_per_episode、avg_time_per_step、avg_time_per_episode、reward_mean、reward_std

在 commander_evaluator_logger.txt 里, 有一些coordinator需要的evaluator的信息。如train_iter、step_count、avg_step_per_episode、avg_time_per_step、avg_time_per_episode、reward_mean、reward_std

在 commander_logger.txt 里, 有一些关于coordinator何时将会结束的信息

collector和evaluator文件夹中有很多文件，看起来很不方便。所以我们在commander里面做了一个整合。这就是并行模式下存在collector 和evaluator 文件夹但commander 文件夹具有collector 文本文件和evaluator 文本文件的原因。
ckpt:
并行模式下 checkpoint 文件夹与串行模式的相同。
在这个文件夹中，有模型参数 checkpoints：
ckpt_best.pth.tar. 达到最高评价分数的最佳模型.

“iteration” + iter number. 每 iter_number 保存的模型。
您可以使用 torch.load('ckpt_best.pth.tar') 来加载模型。
data

在这个文件夹中，有很多数据文件。在串行模式下，所有数据都存储在内存中; 在并行模式下，数据分为元数据和文件数据：元数据仍然存储在内存中，但文件数据存储在文件系统中。
policy

在此文件夹中，有一个策略文件。该文件包含策略参数。用于将learner的最新参数发送给collector进行更新。在并行模式下，coordinator使用策略文件的路径注册collector，collector使用策略文件中的数据作为自己的参数。

Name	use_avg	use_max	priority_avg	priority_max	priority_min	staleness_avg	staleness_max
Value	float	int	float	float	float	float	float

Name	pushed_in	sampled_out	removed	current_have
Value	float	float	float	float

Name	cur_lr_avg	total_loss_avg
Value	0.001000	0.098996