图片embedding微调记录

用站内的美食风景图片微调Qwen3-VL-2B-Embedding模型DINO是纯拉开单图的距离训了。如果有每个图所在的POI店铺/景点text信息纯图对比学习把这些POI信息融入实现了跨卡对比学习输入图片A batch内正例图片A的augment图 batch内负例其他POI的图其中其他POI 图片所在POI的其他POI为提升负例难度将相似的其他POI作为负例把 POI类目 相同的POI聚到一个batch里。尝试了image2text生成式训练 然后取图片emb。尝试了图文CLIP训练。尝试了卡相似度阈值卡正负例就是推理好的Base模型的embedding在训练时算两两相似度给正负例卡阈值分数。尝试了用Qwen3.5多模态模型写提示词 推理选出高质量的站内图训练。都没能明显超越Base模型。但Base-Emb和微调Emb融合的方法两路emb各自检索完之后召回列表加权求和单路缺失则放弃能比较稳定的超过Base-Emb的效果虽然超过的不多。