大型视觉语言模型 (LVLM) 助力下的照片地理位置定位

相比 LLM 的大火，LVLM 则因为应用相对狭窄而少有关注，这篇拿 GeoSpy 来聊聊。

老虫友大概都有印象，虫部落早期的一些邀请码题目（虫部落原创邀请码系列题目及参考答案汇总目录），就有涉及到照片地理定位。

这些照片丢失了 EXIF 元数据，所以解答过程中，以手动 + 视觉识别工具的混合方法为主。手动即肉眼检查细节，天气、标识、语言翻译等；视觉识别工具，常见如 Google 图片、TinEye、Yandex 和一些本地街景数据库。

现在 GeoSpy 通过大量的模型训练，将位置识别推进到更精细的水平。比如其创始人@daniel Heinen 分享的这条推文：GeoSpy for LEO/GOV can pivot from low-context images to exact addresses. ，一张在室内拍摄的照片，窗景包含了街景，那么也能被定位（目前支持的城市有限）。



不同是拍摄视角，被粉刷变色的墙面，一部分特征物消失或被替换...伴随 LVLM 的发展，这些识别障碍的门槛也在逐渐降低或消失。

当然在民用领域，有些地方的照片覆盖量极少，如朝鲜，大概任凭技术如何发展，也很难轻松被定位。

GeoSpy 在地理空间情报领域的精耕细作，其主要服务对象是政企，普通用户还是以各位熟悉的传统工作流来处理比较靠谱。

1. 从基础特征开始

• 始终先检查元数据，即使没有 GPS 数据，也可能获得日期、时间或相机信息（不排除这些信息被修改的可能）
• 寻找独特的特征，各种牌照、标识、着装、建筑风格；
• 挖掘出处的信息，这张照片是谁提供的？对方又是从哪里获取的等等。
  

2. 扩大搜索范围

• 接上，寻找来自同一来源的其它照片
• 查找相关地区的本地街景地图服务
• 通过卫星图像匹配照片涉及的大型视觉特征
• 使用当地语言搜索、当地社媒平台，通常会找到更多相关结果
• 尝试多个搜索引擎，暂且抛下对某些非惯用工具（比如Yandex、百度）的偏见或许有用。
  

4. 交叉验证所有信息

• 不同时间和视角下的照片主体特征差异
• 不同信息来源的描述差异
  

如果这里面缺失一些往期相关题目解答中提到的，也欢迎各位补充。