基于CLIP模型和生成式模型的街道深度图生成方法

本发明涉及一种基于生成式模型和CLIP模型的街道空间深度图生成方法，首先，通过CLIP模型的文本编码器，生成描述距离的文本编码，通过CLIP模型的图像编码器将街道影像转换为图像编码。将本编码与图像编码进行余弦相似度运算，得到距离的相似度评分。通过多层感知机，将相似度评分转化为原始街道影像各区块的距离编码。引入扩散模型Diffusion作为先验模块，将距离编码映射到相应的图像编码，捕捉距离编码中包含的语义信息。最后，通过图像解码器生成街道影像深度图，实现对街道空间的准确深度建模。该方法利用CLIP模型的跨模态表示能力，有效融合文本和图像信息，提高深度图的生成准确性。该发明在城市规划、自动驾驶等领域具有广泛应用前景。