终端开发

安卓开发那些事之开发规范 安卓组件化之组件通信及拦截 安卓开发那些事之版本管理 安卓组件化之持续集成与自动构建 安卓组件化之组件调试和运行 安卓组件化之组件管理(导入、依赖、升级) 安卓组件化之框架设计 安卓开发那些事总纲 Android Textview 对HTML 的支持 appium 爬坑之基于 Chromedriver 测试 Android webview Linux 搭建 Android 编译构建环境 appium爬坑之iMac上基于appium多设备并发测试 appium爬坑之iMac上appium环境搭建及使用真机测试Android项目简介 H5页面通过指定Schema拉起Android应用 Android JSBridge简介 Gradle插件开发系列之发布gradle插件到开源库 Gradle插件开发系列之开发第一个gradle插件 Gradle插件开发系列之gradle插件调试方法 Gradle插件开发系列之总纲 一款检查Gradle依赖配置是否冲突的插件 记一次升级Android Gradle Plugin后databing编译报错填坑经历 iMac上 Xcode 相关设置及常见问题 iOS开发 -- 首次使用Xcode运行iOS项目代码 使用Android Studio开发可独立运行(runnable)混淆过的Jar程序 Android安装包精简系列之资源精简 Android安装包精简系列之图片优化 Android安装包精简系列之为什么要优化精简安装包 Android安装包精简系列(总纲) Android安装包精简系列之图标转字体 gradle相关资料汇总 Android编译常见错误解决 Android编译编译速度提升 终端基于gradle的开源项目运行环境配置指引 制作终端产品演示的gif 一个关于APK Signature Scheme v2签名的神奇bug定位经历 如何随apk一起打包并使用SQLite SDK热更之gradle插件(如何在SDK代码中自动插桩及如何生成补丁包) 关于Android的APK Signature Scheme v2签名相关的资料汇总 封装HttpURLConnection实现的简单的网络请求库 一款基于Java环境的读取应用包名、签名、是否V2签名等基本信息的工具 Android的APK Signature Scheme v2签名及一款基于Java环境的校验工具介绍 如何使用Eclipse开发可执行Jar程序,并生成混淆过的jar程序 Android 相关的学习资料整理(持续更新) macOS(Sierra 10.12)上Android源码(AOSP)的下载、编译与导入到Android Studio Android开发常用命令备忘 Google也看不下去被玩坏的悬浮窗了么? Android开发常用工具资源 SDK热更系列之概述(持续整理编辑中~) SDK热更系列之SDKHotfix待优化点 Android 终端开发相关的一些神图(持续更新) SDK热更系列之Demo项目介绍概述 SDK热更系列之Demo体验方法 SDK热更系列之如何获取应用在当前设备上的so对应的指令集 Gradle Android插件使用的中那些特别注意的点 Experimental Plugin User Guide(From Android Tools Project Site) 基于Android Studio使用gradle构建包含jni以及so的构建实例 基于Instrumentation框架的自动化测试 - Android自动化测试系列(四) Instrumentation框架介绍-Android自动化测试系列(三) 关于终端设备的设备唯一性的那些事之MAC地址 关于终端设备的设备唯一性的那些事之IMEI Android 检查应用是否有root权限 ant常见错误解决方案 Gradle介绍 iMac上Android Studio 相关设置及常见问题 ADB命令系列之再说ADB 再看Android官方文档之分享 再看Android官方文档之Fragment&数据保存 再看Android官方文档之Activity&Intent 再看Android官方文档之ActionBar和兼容性 ADB命令系列之 adb shell input(Android模拟输入)简单总结 再看Android官方文档之建立第一个APP Android开发调试常用工具 ANR(网络资料整理) Java参数引用传递引发的惨案(又一次Java的String的“非对象”特性的踩坑经历) android.view.WindowManager$BadTokenException,Unable to add window Android签名校验机制(数字证书) Robotium二三事-Android自动化测试系列(二) Robotium介绍-Android自动化测试系列(一) Android开发中遇到的那些坑 Eclipse使用中部分经验总结 Android中关于Nativa编译(NDK、JNI)的一些问题 Android简单实现的多线程下载模块 Android内存耗用之VSS/RSS/PSS/USS ADB命令系列之 Advanced Command URL编码中的空格(编码以后变为+) Android MD5后 bye数组转化为Hex字符串的坑(记一次为女神排忧解难的经历) Android学习之路 ADB命令系列之 Base Command Android Log的那些坑…………

开发工具

使用 Jekyll 搭建技术博客并部署到 CentOS 服务器 开发中常用的文档管理、云端笔记等效率工具介绍 iMac(OS X)常用图片处理工具介绍 使用 Octopress 搭建技术博客并使用腾讯云静态网站托管 使用腾讯云静态网站托管个人博客 使用 Jekyll 搭建技术博客 iMac上安装Python2.7 和 Python3 iMac 使用自带的 Apache 启用本地web服务 发布开源代码到jcenter Gradle环境变量那些事 iMac搭建jekyll本地环境 iMac(OS X)开发和使用中经验汇总(持续更新) iMac配置基于crontab的定时任务 iMac配置支持读取NTFS硬盘 新iMac机器装机及开发环境搭建攻略 git常用命令整理(已包括branch、tag等持续更新~) iMac使用过程中的简单故障解决 iMac上RubyGems相关的问题汇总 开发中常用的一些Chrome插件介绍 iMac(OS X)日常开发中各种代理设置方法汇总(shell、Android Studio、gem、npm) Markdown格式优化及使用技巧 iMac下制作含透明度图片及判断图片透明度 iMac(OS X)中设置大小写敏感的分区并切换 Linux & MacOS中一些常用命令备忘 iMac(OS X)搭建私有maven仓库,提供Nexus Responsitory镜像 iMac(OS X)El Capitan 更新遇到的那些坑 vi常用命令 iMac(OS X)常用开发工具介绍 iMac(OS X)不可或缺的套件管理器 —— Homebrew 开发环境通用设置 windows中一些常用命令备忘 问题定位之快速模拟请求 Ant中的SVN 使用 Markdown语法简介 SVN 常用命令

标签

android 48

Linux 搭建 Android 编译构建环境 H5页面通过指定Schema拉起Android应用 Android编译常见错误解决 一个关于APK Signature Scheme v2签名的神奇bug定位经历 关于Android的APK Signature Scheme v2签名相关的资料汇总 封装HttpURLConnection实现的简单的网络请求库 一款基于Java环境的读取应用包名、签名、是否V2签名等基本信息的工具 Android的APK Signature Scheme v2签名及一款基于Java环境的校验工具介绍 如何使用Eclipse开发可执行Jar程序,并生成混淆过的jar程序 Android 相关的学习资料整理(持续更新) macOS(Sierra 10.12)上Android源码(AOSP)的下载、编译与导入到Android Studio Android开发常用命令备忘 Google也看不下去被玩坏的悬浮窗了么? Android开发常用工具资源 Android 终端开发相关的一些神图(持续更新) Gradle Android插件使用的中那些特别注意的点 Experimental Plugin User Guide(From Android Tools Project Site) iMac(OS X)搭建私有maven仓库,提供Nexus Responsitory镜像 基于Android Studio使用gradle构建包含jni以及so的构建实例 基于Instrumentation框架的自动化测试 - Android自动化测试系列(四) Instrumentation框架介绍-Android自动化测试系列(三) 关于终端设备的设备唯一性的那些事之MAC地址 关于终端设备的设备唯一性的那些事之IMEI Android 检查应用是否有root权限 iMac(OS X)El Capitan 更新遇到的那些坑 ant常见错误解决方案 Gradle介绍 iMac上Android Studio 相关设置及常见问题 ADB命令系列之再说ADB 再看Android官方文档之分享 再看Android官方文档之Fragment&数据保存 再看Android官方文档之Activity&Intent 再看Android官方文档之ActionBar和兼容性 ADB命令系列之 adb shell input(Android模拟输入)简单总结 再看Android官方文档之建立第一个APP Android开发调试常用工具 ANR(网络资料整理) Java参数引用传递引发的惨案(又一次Java的String的“非对象”特性的踩坑经历) android.view.WindowManager$BadTokenException,Unable to add window Android签名校验机制(数字证书) Eclipse使用中部分经验总结 Android内存耗用之VSS/RSS/PSS/USS ADB命令系列之 Advanced Command URL编码中的空格(编码以后变为+) Android MD5后 bye数组转化为Hex字符串的坑(记一次为女神排忧解难的经历) Android学习之路 ADB命令系列之 Base Command Android Log的那些坑…………

tags 46

安卓开发那些事之开发规范 安卓组件化之组件通信及拦截 安卓开发那些事之版本管理 安卓组件化之持续集成与自动构建 安卓组件化之组件调试和运行 安卓组件化之组件管理(导入、依赖、升级) 安卓组件化之框架设计 安卓开发那些事总纲 Android Textview 对HTML 的支持 使用 Jekyll 搭建技术博客并部署到 CentOS 服务器 2018年春节仙本那海岛游行程规划 照片整理系列之单次整理流程 照片整理系列之整理及归档的总体方案 使用 Octopress 搭建技术博客并使用腾讯云静态网站托管 使用腾讯云静态网站托管个人博客 使用 Jekyll 搭建技术博客 颜色透明度对照表 Android JSBridge简介 Gradle插件开发系列之发布gradle插件到开源库 Gradle插件开发系列之开发第一个gradle插件 Gradle插件开发系列之gradle插件调试方法 发布开源代码到jcenter Gradle环境变量那些事 Gradle插件开发系列之总纲 一款检查Gradle依赖配置是否冲突的插件 记一次升级Android Gradle Plugin后databing编译报错填坑经历 服务器迁移到腾讯云笔记 2018年春节沙巴仙本那海岛游 聚会桌游助手 nodejs入门之后台服务的几种启动方式 nginx下多域名配置示例 nodejs入门之连接mysql mysql迁移之新建用户、备份还原数据库 iMac配置基于crontab的定时任务 iOS开发 -- 首次使用Xcode运行iOS项目代码 新iMac机器装机及开发环境搭建攻略 旅行中不可或缺的软件 iMac上RubyGems相关的问题汇总 接口设计六大原则 Canvas上更高效的画SVG 微信小程序开发之SVG的使用 旅行出行前准备列表 使用Android Studio开发可独立运行(runnable)混淆过的Jar程序 2017年端午川西滇北香格里拉环线(近200张图慎点) 照片整理系列之基于命令行的照片整理及查看工具 gradle相关资料汇总

照片整理系列之整理及归档的总体方案

「 在路上 」 ——  2020年05月07日

背景

如今,随着拍摄设备的普及,我们随时随地都可以留下各种影像,随着时间的积累,会有越来越多的照片。极大方便的同时也带来了很多问题,例如:

  • 想找某一张很久前的照片没法找到

  • 看到一张照片以后想不到什么时候拍摄的

  • 想看一下某一年某一段时间的照片

17年的时候,写了一个简单的照片整理和查看工具,对于平时的照片处理已经足够了。从19年初开始,规划将所有的历史照片整理归档,后续可以做一些电子相册等。

为了前面的规划,首先第一步就是要整理和归档照片。基本上从19年上半年陆续启动了历史照片的整理工作,由于工作的原因,断断续续整理,目前基本上把从2008年到2020年初的大部分照片都已经整理完成了(视频尚未开始,因此这篇文章仅仅记录照片整理)。这里的照片包括:

  • 各种网盘、SD卡、硬盘、U盘、手机的历史数据

  • 人人网、QQ空间、微博等使用过的社交平台的照片

总体方案

  • 所有照片按照时间归档,照片文件名格式为:YYYY-MM-DD_hh-mm-ss.JPG,例如2013-03-09_11-51-23.JPG,如果重名,就添加-(1)等标示

  • 所有照片按月分文件夹归档(后续会介绍为什么按照月份),例如:200801

  • 对于日期不明确的照片,采用交叉验证的方式推测一个大概日期,然后以尽可能精确的时间命名

  • 数据归档整理结束以后,建立一个照片的数据库,对于照片的信息(备注、标签、特征等),都保存在数据库,仅仅在展示时使用真实数据,平时通过操作数据库管理照片信息

操作方法

怎么获取并按照指定格式归档照片

  • 自动归档

    使用之前自己专门开发的一款查看照片信息的工具,具体的使用方法可以参考文章 基于命令行的照片整理及查看工具 | 子勰的博客 通过命令行对于可以被按照拍摄时间成功重新命名的照片,在整理到目标目录后,原目录的照片会被删除;对于无法被重命名的照片,不做整理,同时保留该文件夹内上一张可以被重命名的照片做对比参照。

  • iOS Photos归档

    对于iPhone的截图、或者别人发送的不带位置信息的照片的截图,目前使用上面的工具或者一些其他工具都不能查看时间信息。但是如果导入到iMac的 Photos ,是可以识别的。因此可以先把所有照片导入 Photos,然后按照日期导出,这样也阔以拿到照片信息

  • 微博、人人网、QQ空间时间戳归档

    对于发布到社交平台的照片,绝大部分都会被压缩导致时间信息被抹去,对于这类照片,在下载时结合当时的动态内容,可以推断一个推测时间

  • 基于文件名分析归档

    对于部分拍摄设备或者软件,虽然因为压缩会丢失照片的附加信息,但是文件名有些时使用时间戳命名的,可以通过时间戳转换得到时间

  • 通过上下文分析

    对于以上方法都无法分析出的照片,只能通过历史记忆,然后寻找同时候照片,推断时间

对于不能自动归档的部分照片,怎么快速批量归档

  • 照片名称批量修改文件名

    对于上面提到的提供上下文分析或者Photos归档的照片,需要将他们按照指定格式重命名,可以使用下面的命令快速实现

      ➜  33  ls
      IMG_3456.jpg IMG_3457.jpg IMG_3459.jpg IMG_3460.jpg IMG_3461.jpg IMG_3463.jpg IMG_3464.jpg IMG_3465.jpg rename.sh
      ➜  33  cat rename.sh
      #/bin/bash
      cd $1
      pwd
      i=1; for x in *.JPG ; do mv $x "$2-$3-$4-00-00-00-($i).JPG"; let i=i+1; done
      i=1; for x in *.png ; do mv $x "$2-$3-$4-00-00-00-($i).PNG"; let i=i+1; done
      i=1; for x in *.jpg ; do mv $x "$2-$3-$4-00-00-00-($i).JPG"; let i=i+1; done
      i=1; for x in *.PNG ; do mv $x "$2-$3-$4-00-00-00-($i).PNG"; let i=i+1; done
      echo "Finished"
      ➜  33  /bin/bash ./rename.sh ~/zixie/temp/1/33 2018 11 23
      /Users/zixie/zixie/temp/1/33
      mv: rename *.JPG to 2018-11-23-00-00-00-(1).JPG: No such file or directory
      mv: rename *.png to 2018-11-23-00-00-00-(1).PNG: No such file or directory
      mv: rename *.PNG to 2018-11-23-00-00-00-(1).PNG: No such file or directory
      Finished
      ➜  33  ls
      2018-11-23-00-00-00-(1).JPG 2018-11-23-00-00-00-(4).JPG 2018-11-23-00-00-00-(7).JPG
      2018-11-23-00-00-00-(2).JPG 2018-11-23-00-00-00-(5).JPG 2018-11-23-00-00-00-(8).JPG
      2018-11-23-00-00-00-(3).JPG 2018-11-23-00-00-00-(6).JPG rename.sh
      ➜  33		
    

怎么批量整理已经归档的照片

这部分内容主要包括:

  • 将照片按月分文件夹保存,这部分比较容易,手动即可操作

  • 将 .jpg 和 .png 的照片统一将扩展名改为大写

  • 将部分命令不合格的照片找出来,例如有时候走神会把照片命名为格式:YYYY-MM-DD-hh-mm-ss.JPG,例如2013-03-09-11-51-23.JPG

这部分也专门写了脚本来处理,下面是一个事例:

  201802  ls
2018-02-01_09-21-52.jpg 2018-02-01_20-15-28.jpg 2018-02-02_19-02-23.jpg
2018-02-01_15-50-00.JPG 2018-02-02_12-02-13.jpg 2018-02-03-12-44-03.JPG
2018-02-01_15-53-55.jpg 2018-02-02_12-16-01.jpg 2018-02-03_13-05.JPG
  201802  cat ~/zixie/github/PhotoManager/shell/optimize.sh
#!/bin/sh
# author zixie
#/bin/bash ~/zixie/github/PhotoManager/shell/optimize.sh ./

function renamePhotos(){
	echo "----------- process photo start -----------"
	echo `pwd`"/ start to check:"
	for photsName in *.jpg;do echo "process $photsName" && mv $photsName `echo $photsName |  tr 'a-z' 'A-Z'`;done
	for photsName in *.png;do echo "process $photsName" && mv $photsName `echo $photsName |  tr 'a-z' 'A-Z'`;done
	echo "----------- process photo end -----------"
}
export -f renamePhotos

cd $1
pwd
echo "============ zixe check photos start ======================"
renamePhotos
for file in ./*
do
	if [ -d "$1/$file" ]; then
        cd $1/$file
		renamePhotos
    fi
done
echo "----------- delete DS_Store-----------"
find $1 -name .DS_Store -delete
echo "----------- find bad name photo -----------"
find $1 -not -name "????-??-??_??-??-??*.JPG"
find $1 -not -name "????-??-??_??-??-??*.PNG"
echo "============ zixe check photos finished ======================"
  201802  /bin/bash ~/zixie/github/PhotoManager/shell/optimize.sh ~/3/
~/3
============ zixe check photos start ======================
----------- process photo start -----------
~/3/ start to check:
process *.jpg
mv: rename *.jpg to *.JPG: No such file or directory
process *.png
mv: rename *.png to *.PNG: No such file or directory
----------- process photo end -----------
----------- process photo start -----------
~/3/201802/ start to check:
process 2018-02-01_09-21-52.jpg
process 2018-02-01_15-53-55.jpg
process 2018-02-01_20-15-28.jpg
process 2018-02-02_12-02-13.jpg
process 2018-02-02_12-16-01.jpg
process 2018-02-02_19-02-23.jpg
process *.png
mv: rename *.png to *.PNG: No such file or directory
----------- process photo end -----------
----------- delete DS_Store-----------
----------- find bad name photo -----------
~/3//201802/2018-02-03_13-05.JPG
~/3//201802/2018-02-03-12-44-03.JPG
============ zixe check photos finished ======================
  201802  ls
2018-02-01_09-21-52.JPG 2018-02-01_20-15-28.JPG 2018-02-02_19-02-23.JPG
2018-02-01_15-50-00.JPG 2018-02-02_12-02-13.JPG 2018-02-03-12-44-03.JPG
2018-02-01_15-53-55.JPG 2018-02-02_12-16-01.JPG 2018-02-03_13-05.JPG

怎么保存和操作这个量级的照片

  • 存储

    个人目前是使用两个移动硬盘:

    • 一个硬盘作为备份盘,只用来备份,只做拷入拷出的操作,每次拷贝结束检查完整性

    • 一个硬盘作为日用盘,用来转移数据和临时存放中间数据和常用照片;例如有照片处理的时候,从备份硬盘拷出,新的照片处理完以后先按照最终归档保存到日用盘,然后再复制到备份盘

    • 所有照片,按月为目录保存。由于拍照越来越方便,而且单张照片存储空间越来越大,因此有时候一年的照片可能会有上万张,10多G,刚开始我是按年分类存放,后来在照片迁移的时候就会发现由于同一目录文件太多,经常会出现电脑无响应导致迁移中断,每次对比校验完整性都很麻烦,而且也出现过异常中断导致硬盘扇区损坏,文件不可见等问题,虽然使用扇区修复工具基本文件都可以找回,但每次都很麻烦,后面改为按月归档,就完美解决了。

  • 处理

    首先备份盘和日用盘之间的所有操作都是复制,不可剪切。如果备份盘要删除,先迁移到日用盘,转到电脑删除,重新归档处理完成以后,再去替换备份盘,也是复制,删除,重命名的方式

    日常处理都不直接在移动硬盘处理,从日用盘先复制一份到电脑,处理并检查无误以后迁移到日用盘,再检查一次迁移到备份盘

遇到的其他问题

  1. 部分拍摄设备记录的时间不是格林尼治时间,而是当地时间,对于这类照片,需要批量结合时区调整时间。而且这类照片很难发现,尤其是时区相差不大的时候,这种情况在使用相机是比较容易遇到

  2. 有时候会使用连拍等方式,导致会有很多很相似的照片,这部分照片其实可以选择后只保留个别几张

  3. 如果不是先拍照片,而是使用微信里面的拍摄拍照,然后发送,即使选择原图,微信也会清除位置信息,因此建议任何时候先用手机相机拍照,然后再让各种软件使用。对于这类照片,可以用iOS的 Photos 结合上下文逐张分析确认,这部分工作最耗时,我19年和20年先后处理几千上万张这样的照片,基本用了一个月,直接吐血

  4. 最新的 iPhone 默认拍照格式为HEIF,为苹果专用格式,可以通过 Photos 导出为JPG,也阔以直接在手机系统里面修改默认照片格式为JPG


赞赏

取消
微信扫一扫,赞赏子勰
扫码支持
屌丝程序猿,鸡血攻城狮!努力学技术,潜心做精品!