我知道要做什么,却不知道该搜什么
“搜索照片”至少是几件不同的事:搜相机、日期和 GPS 这些元数据;用 OCR 找出收据、截图里的文字;再用一句描述找出画面相似或意思相关的照片。后两者常被混在“图像识别”里,人脸聚类、地点反向地理编码和后台任务又是另外几条链路。
我起初会猜 Python,因为图像处理和本地模型的教程里常见它。但这只是直觉,不是项目的技术决策。要把功能加到已有项目,得先读它现在用什么语言、怎么存照片和元数据、后台作业在哪运行;要是一个现成项目已经做了大半,可能连从头设计都不需要。
这也是我觉得模型不能把“你想用什么库”再丢回给用户的原因。用户不懂那些库,才需要模型去查 GitHub 和官方文档,核对功能有没有做完、怎么部署、Windows 和显卡到底走哪条路径。
先搜项目,发现我未必需要从零做
按这些条件查下去,最贴近的候选之一是 LibrePhotos。它不是一个孤立的图像识别库,而是一套自托管照片管理系统:项目文档列出了 Django 后端、机器学习流程和后台任务,也有 React 前端;功能包括人脸识别与聚类、地点、语义搜图和事件相册。它的图像模型组合也不是一个“万能模型”:ExifTool 读写元数据,InsightFace 处理人脸,OpenCLIP 生成语义搜索向量,ONNX Runtime 负责本地推理。项目结构与技术说明 模型与功能说明
更让我意外的是,LibrePhotos 提供 Windows 独立版:解压后运行一个文件夹里的 librephotos.exe,API、网页、任务进程、机器学习服务和 ExifTool 都已经打包,不需要先装 Python、Docker 或数据库服务。**“底层用了 Python”不等于“运行它就得先搭 Python 环境”。**照片仍留在原来的目录里,应用另行保存索引、模型和日志。Windows 独立版说明
| 方案 | 对应功能 | Windows 与 GPU 路径 |
|---|---|---|
| LibrePhotos | OCR 文字搜索(可选)、CLIP 语义搜索、人脸与地点、自动扫描和任务详情 | 有 Windows 独立版;文档称原生 Windows 通过 Direct3D 12 调用 GPU |
| Immich | 元数据、物体、人脸与 CLIP 搜索,人脸聚类和地图 | 功能覆盖面广;Windows 上要用 GPU,官方加速文档指向 WSL2 部署 |
这里的关键不是宣布某一个项目胜出。LibrePhotos 是完整应用,未必能直接嵌进另一个项目;Immich 的部署方式也可能不符合 Windows 原生运行的要求。但它们先把问题从“我要用什么 Python 库”变成了几个可以核实的选项:直接试用现成应用、把它当作架构参考,或只把适合的模块接入原项目。LibrePhotos 的 Windows GPU 路径和 Immich 的 WSL2 限制,分别见前者的 GPU 说明与后者的硬件加速文档。
每天扫描,不等于每天改写照片
我说的“每天更新元数据”也需要拆开:一种是定时发现新增或改动的照片,重新读取 EXIF、生成搜索索引;另一种是把应用里改过的地点、标签或说明写回照片文件。前者可以是增量扫描,后者会改变原始文件,风险不一样。
LibrePhotos 文档里已经有每日扫描设置。每轮只处理新增或改变的文件,随后排入人脸、地点和图像内容等任务;任务页能看排队和运行状态、处理进度、开始与结束时间,失败时还能打开错误详情。定时扫描说明 任务系统说明
语义搜索也不是凭空给图片贴一段文字。LibrePhotos 用 OpenCLIP 分别把图片和搜索词编码成向量,再找相近的结果;OCR 则是另一条流程。它默认不启用 OCR,开启后会把识别到的文字存进数据库,所以截图或票据里的敏感内容也要算进隐私边界。语义搜索说明 OCR 设置说明
我希望模型按这个顺序推进,而不是让我先报出库名:
- 读现有代码和运行环境,确认原项目的语言、存储方式、任务入口和 Windows 约束。
- 搜 GitHub 与官方文档,先找覆盖需求的完整应用,再看能否复用模块。
- 对照实际部署方式,检查 Windows、RTX 3060、许可、模型下载和任务记录是否合适。
- 选一个候选,用少量照片验证识别效果与 GPU 调用;再决定接入原项目还是采用独立服务。
- 确认每日增量任务、进度和错误详情,再扩大处理范围。
联网搜索只是这条链里的一个环节。模型还得读本地项目、拿官方资料交叉核对、知道任务是继续排队还是已经失败;到需要修改代码时,再进入实际运行和验证。它最该替我省下的,是为了问对问题而先学会一整套陌生名词的时间。
我说的“模型缺陷”,其实是整条工具链的缺口
把这件事叫作“国产模型最大能力缺陷”,说的是我实际用到的产品体验:模型不能替我自动查全球资料和 GitHub,我就得先知道该搜什么,再把搜到的东西整理成有效提示词。可我恰恰不熟悉这类图像处理技术。让我先指定 Python、OCR、CLIP、人脸库和任务队列,等于先要求我解决最难的那一部分。
我说 ChatGPT 的 Luna 能搞定,指的不是它天生知道每个库的状态,而是它能把联网检索、项目对照和 Windows 约束放进同一轮工作里。查到的项目仍要读源码和部署文档核实,GPU 是否真被调用也得在本机验证;但“先替我查一圈”不该成为我还得自己会写提示词才能换来的高级选项。
严格说,网络访问不是模型权重里的能力,而是模型服务有没有接入搜索、GitHub、项目文件和本地执行环境。把差距归结成“所有国产模型都不够聪明”并不准确;但对使用者来说,如果一个助手不能主动检索和读仓库,它就是把资料员和架构师的工作都留给了我。产品把这些工具接起来,是模型能否真正接手工程任务的一部分。
我并不期待模型看到“智能相册”四个字就自动改动几千张照片。我期待它先读清现有项目,再告诉我有哪些现成方案、各自怎样跑在 Windows 上、3060 的加速条件是什么、每天的后台工作怎样留下记录。碰到必须改写原图或暴露人脸数据的选择,再把边界讲清楚。
这次检索已经找到了可以先验证的项目。对我来说,能从一句不太专业的需求开始,查出“也许不用从零写”,才是一个工程助手该有的起点。
参考资料
- LibrePhotos GitHub 仓库与架构
- LibrePhotos 功能和机器学习技术说明
- LibrePhotos Windows 独立版
- LibrePhotos 定时扫描与任务详情
- LibrePhotos 语义搜索、OCR 设置和Windows GPU 路径
- Immich GitHub 仓库与硬件加速文档
写作附记
原始提示词
国产模型最大的能力缺陷,不能自动翻墙查询全球的资料、获取合适的 github 开源库
比如最近的任务:结合项目现在的技术栈,主要运行在 Windows 平台,能不引入更加智能的功能,比如搜索文字,能关联查询图片的内容,通过识别图片能找到相关的内容,还有就是,能按照照片的经纬度、人像自动聚合智能相册,本地是有显卡的英伟达 3060,前面这些功能,能做成后台任务,每天自动更新元数据,有任务记录,有任务工作详情
这里需要用的技术栈很多,都是我不熟悉的技术内容,语言大概率是 Python,为什么呢,需要驱动本地模型,做图像的元数据处理,我也无法有效提供合适的提示词,只能模型自动联网学习、查找资料,境外的模型,这个算是基础能力,ChatGPT 的 luna 模型都能搞定
评论
评论区将在滚动到此处后加载。