Using VehicleMAE in CLIP for ReID task

[Air000]

你好，我加载VehicleMAE的预训练权重到CLIP的image encoder，训练CLIP-ReID模型，使用默认训练参数，发现表现不佳，mAP掉了20几个点。把stride从16改成12，结果就能接近原模型，但是仍然比原模型低一点，这种情况是不是需要去调学习率？

[Vehicle-AHU]

我们没有尝试将VehicleMAE的预训练权重加载到CLIP-ReID模型进行微调，同时我也没有仔细了解过CLIP-ReID的代码，因此没办法给你提供准确的建议。但CLIP-ReID模型的参数是针对CLIP模型微调所设计的，因此直接用于VehicleMAE预训练权重可能会导致性能降低，也正如你所说修改部分参数可以将性能提升至接近原模型，我认为你可以调整其他参数进行尝试。