Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)开发日志

xiaoqianWX

qscdefb 发表于 2024-12-2 15:51
第七点的3*256*256里面，3是对应RGB三个波段、而256是预设图片大小吗？那么进行了这个scaling后，可以理 ...

“12色的图片”并不被常规的文件格式接受，而且对于人类来说也不友好（如果要检查输入结果是否正确）
4*3和1*12也没有什么本质区别

qscdefb

xiaoqianWX 发表于 2024-12-2 16:58
“12色的图片”并不被常规的文件格式接受，而且对于人类来说也不友好（如果要检查输入结果是否正确）
4*3 ...

这样的话，能够更仔细解释一下scaling experiment到底做了什么吗？

我不是Carl2

qscdefb 发表于 2024-12-2 15:51
第七点的3*256*256里面，3是对应RGB三个波段、而256是预设图片大小吗？那么进行了这个scaling后，可以理 ...

1. 对图片输入的理解没问题，实际操作中是输入了4张512像素的RGB图
2. B07的限制是晚上和白天表现不同，当前训练是用白天数据训练再泛化到夜间的，确实是训练模式阻止了B07的输入，如果使用VIIRS DNB训练就能加入MWIR了。噪点我反而觉得不是问题，CGAN可以处理掉噪点。

xiaoqianWX

qscdefb 发表于 2024-12-2 20:07
这样的话，能够更仔细解释一下scaling experiment到底做了什么吗？

最早我们设计模型的时候主要考虑的是能不能用，而并没有过多考虑U-net的一些机制
其中我们发现最重要的是filter数量，在我们scale到12*512*512这个输入后，我们的filter数量/px input是明显小于原版pix2pix的，因此拟合的效果差
在经过修改后（模型也变大了4倍），效果明显好了很多，同时原先训练中经常出现的一些斜纹之类的，普遍可以称为“炼烂了”的结果也不存在了

xiaoqianWX

2024/12/18
又有半个月了，在离开美国前再写个更新
AI-VIS 1.5系列的工作结束了
AI-VIS 1.5系列总结：
1. AI-VIS 1.5 small：几乎可以在任何较新电脑上运行，硬件开销极低
2. AI-VIS 1.5 large：性能开销略高一些，但今天的中端硬件均可在几十秒内跑完一张图
最终SSIM = 0.933, LPIPS = 0.100
3. SuperRes 1.5：见上文
4. SuperRes数据集：已经ship到huggingface: https://huggingface.co/datasets/ ... d03-500m-2km-paired
共249,058对数据，其中62,736来自机动观测，186,322来自于圆盘切片

未来还需要做的：
1. 系统性重新评估过去的几个模型
2. 探讨研究应用

AI-VIS 1.5 large最终training run的一些图：

xiaoqianWX

欢迎回来！我们已经开始训练AI-VIS 1.6，延续AI-VIS 1.5-large的架构，测试loss函数使用ConvNeXt-large作为perceptual similarity在AI-VIS上的提升
这将作为AI-VIS 2.0的测试，在这个模型完成后我们将会对下一代架构进行实验
同时，我们希望能在AI-VIS 2.0测试更多实际应用场景相比现有方案能带来多大的提升，如何将AI-VIS这项技术更好的推行给各类用户群体

我不是Carl2

2025/05/01

论文终于被接收了。

我不是Carl2

论文链接: https://ieeexplore.ieee.org/document/10988561
论文作者: @xiaoqianWX @大水台6 @HCl @我不是Carl2 （顺序打乱了一下

周二下午，IEEE悄悄地把我们的论文放上了Early Access，也就是说它能够相对正式地与大家见面了。对于我们四个来说，甚至对于不少关注过AI-VIS进展的朋友们来说，这真的是一次很漫长的等待。
如大家所见，AI-VIS的贴子是23年9月底开的，12月炼出了第一个勉强能看的模型，初次投稿是在24年1月17号的凌晨5点多。论文刚刚投稿的时候，王总还没收到大学的录取通知，没有edu邮箱能填，现在已经是在CIMSS打工的大气系学生了；如果审稿和返修再慢一点，论文接收时PY都要毕业了。

从各种方面来看，这都是一个奇怪的组合。三个本科生和一个研究生学的专业各不相同，天文，化学，医学，还有一个总算和论文有点相关的大气；写论文的经验可以说几乎为零，此前我最多是写过伪VIS教程那样的小文章，拿去应付高中的学业要求都没拿到A（气晕）；机器学习我们也是从零开始摸索，好在有pix2pix这个简单易用且有一定升级空间的框架。填写投稿信息的过程无时无刻不在提醒着，我们是气象遥感领域的“异类”，更别说论文第一页“This research received no external funding”的脚注如今本就不多见。但无论如何，共同的热爱还是将我们从网络上聚到了一起，磕磕绊绊地闯进学术界的一角。

论文共计一次大修，一次拒稿重投，一次桌拒，和一次漫长等待后的小修。一审返回大修的时候，我还在贴子里汇报过进度，随后就对大家报喜不报忧了。
不得不承认，现代学科兴趣与专业的鸿沟的确存在。从现在的角度看，初次返修改的相当业余，被拒稿实在不足为怪。但我并不后悔没能把握住那次机会，与现在的版本比照，很难想象当初有可能一次性改到适合发表的水准。

风吧吧友中不乏气象专业人士，与他们的科研成果相比，AI-VIS显然不是最出彩的那个。但它毫无疑问是最依赖风吧这个社区的，用王总的话说，这是一个真正的“社区科研”项目。为此我想对这里的所有人说一声谢谢。我想再感谢一下我们研究组的成员，在漫长的审稿过程中，王总，大水台，PY他们的贡献远远超出了共同作者所应做的。感谢风羽酱在研究早期的启发与帮助，以及协助寻找台风案例的热心吧友。感谢一路上与我们交流过夜间可见光相关话题的朋友们，爱好者的视角有时真的能补足前沿科研所忽略的部分。我还想感谢在贴子里驻足过的吧友，如果没有这个社区的氛围，我想我们也无法坚持为爱发电这么久。

从20年的那个夏天的伪VIS算起，生成夜间可见光这个主题已经伴随我五年了。大自然赋予了这颗星球的昼夜交替，而我们想看看这颗星球的背面被照亮的样子。如果说，三年前我们在夜半球一侧点亮了一颗暗淡的红矮星，那么现在，我们可以随意地掌控这颗恒星的方位。
在未来的时间里，我们希望还能让这颗恒星再明亮一些，再清晰一些。

我不是Carl2
写于2025年5月10日太阳天顶角不断减小的航班上

xiaoqianWX

AI-VIS推理代码和模型权重已开源！

见：https://github.com/Dapiya/AI-VIS

欢迎各位使用AI-VIS实现各种有趣的功能！

申请AI-VIS 1.5 small/large可以通过这个form: https://docs.google.com/forms/d/ ... OnBhL5cQANw7tEZhgeo
如无法访问google forms也可以站内私信我

同时，AI-VIS也迎来了第一个第三方提供平台
在此特别感谢weather-models.info地支持

xiaoqianWX

2025.6.8

我们制作了一份测试数据，供各类用户查看测试
包含5.30 0000-2350UTC的H9圆盘数据
固定太阳天顶角方位角为直射于卫星星下点

Google Drive:
https://drive.google.com/drive/f ... -6iu3Zq?usp=sharing

Dapiya:
https://archive.dapiya.top/Custom/aivis_test_h9/

Sample: