Skip to content

关于训练结果提示AvgLossD下降过程中nan与生成结果黑屏的问题 #31

@26CrossTutor

Description

@26CrossTutor

老师您好,我在尝试复现项目内容的过程中出现了以下问题:当我运行03f脚本训练DG-Fonts时,连续两次发现当200 epochs的数据训练到三分之一左右(两次训练分别是67与76),AvgLoss_D突然由逐渐下降(1.22)变为nan,在此之后生成的效果全为黑屏(如图所示)。我查看了main.py中的内容,没有发现限制loss下降的情况。
我在虚拟机训练时为了适配环境,将脚本文件中的CUDA_VISIBLE_DEVICES参数置为0,nproc_per_node参数置为1,生成过程中的崩溃是否会与该配置的修改有关?
068_false

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions