【光子神经网络】TDONN

文章概览

TDONN（trainable diffractive optical neural network）

基本信息

• 2024年
• Nature Communication
• 董大、Junwei Cheng

特点

• 多模态：图像、音频、运动姿态
• 可训练
• 衍射

思路

1. 多模态GPT4牛牛牛，但是数字电路有限制
2. ONN牛牛牛，但是规模小
3. DONN牛牛牛（这里没讲DONN牛在哪），但是不能实时训练
4. TDONN！

原理

1. 输出层：把16个特征输入，编码成光强
2. 隐藏层：用温度控制折射率，调节衍射光强分布
3. 输出层：4个PhotoDetector（PD）检测输出光功率

疑问

1. 用温度调折射率的思路简直脑洞大开，前人有做过类似的吗

2. 温度控制很难很精准吧

3. 温度控制能耗很高吧

4. 延迟30.2ps，比那篇慢很多啊

知识

1. diffractive 衍射的
2. 训练小神经网络的一些技巧
   1. 数据集增强（如旋转）
   2. 数据预处理（如裁剪）
   3. drop-out（这里用的好像跟咱的不一样，他是如果一段时间后，仍不能增加CF，就不在调整这个神经元了，难道神经元是一个一个调节的？）

多想多做，发篇一作