SimplexLab/TorchJD

Library for Jacobian descent with PyTorch. It enables the optimization of neural networks with multiple losses (e.g. multi-task learning).

它解决了什么问题

TorchJD 解决了使用多重损失函数训练神经网络的挑战，这在多任务学习中经常发生。它提供了处理不同损失之间冲突的工具，防止单一任务主导其他任务，或冲突的梯度阻碍优化过程。

相关

  • 项目
    UM-ARM-Lab/pytorch_kinematics

    用于 PyTorch 的并行且可微的机器人运动学库，提供快速的正向运动学、逆运动学及 Jacobian 计算。

  • 项目
    metaopt/torchopt

    支持显式、隐式和零阶微分的高效 PyTorch 库，适用于双层优化和元学习。

  • 项目
    facebookresearch/multimodal

    一个用于大规模训练最先进多模态模型的 PyTorch 库，为 CLIP 和 BLIP-2 等模型提供模块化构建块和预训练权重。

  • 项目
    Xilinx/brevitas

    一个支持训练后量化和量化感知训练的 PyTorch 库，用于优化模型的效率。

  • 项目
    pytorch/ao

    一个原生 PyTorch 的模型优化库，提供量化和稀疏性工具，以加速训练和推理并减少内存使用。