ShapeAwareNet

📖 项目概述

ShapeAwareNet 是一个完整的深度学习框架，完全从底层实现，不依赖任何高级深度学习库。项目采用模块化设计，实现了全连接层、激活函数、批量归一化、Dropout、Softmax等基础组件，并创新性地引入了可逆加法耦合块 (Additive Coupling Block)，构建了具有形状感知能力的神经网络。

核心创新点

• 可逆批量归一化 - 完整实现可逆版本，支持精确重构
• 增强型加法耦合块 - 集成BatchNorm的可逆块设计
• 形状感知网络 - 通过可逆块保持特征空间结构
• 完整对比实验 - ShapeAwareNet vs TraditionalNet

ShapeAwareNet (可逆网络):
Input(784) → Linear(256) → BatchNorm → ReLU → Dropout 
          → [可逆块 × 2] → Linear(10) → Softmax → Output

TraditionalNet (传统网络):
Input(784) → Linear(256) → BatchNorm → ReLU → Dropout 
          → Linear(256) → BatchNorm → ReLU → Dropout 
          → Linear(256) → BatchNorm → ReLU → Dropout 
          → Linear(10) → Softmax → Output

✨ 核心特性

🏗️ 架构设计

模块化结构

ShapeAwareNet/
├── include/              # 头文件
│   ├── layers/          # 网络层接口
│   │   ├── Layer.h      # 基类
│   │   ├── LinearLayer.h
│   │   ├── ActivationLayer.h
│   │   ├── BatchNormLayer.h
│   │   ├── DropoutLayer.h
│   │   └── SoftmaxLayer.h
│   ├── blocks/          # 可逆块
│   │   └── AdditiveCouplingBlock.h
│   ├── networks/        # 网络结构
│   │   ├── ShapeAwareNet.h
│   │   └── TraditionalNet.h
│   ├── data/            # 数据加载
│   │   └── MNISTLoader.h
│   └── utils/           # 工具类
│       ├── LossFunctions.h
│       └── ModelSaver.h
├── src/                 # 实现文件
├── tools/               # Python工具
│   └── ubyte_exporter.py
└── main.cpp             # 主程序

类继承关系

Layer (抽象基类)
├── LinearLayer          # 全连接层
├── ReLULayer            # ReLU激活
├── SigmoidLayer         # Sigmoid激活
├── DropoutLayer         # Dropout正则化
├── InvertibleBatchNorm  # 可逆批量归一化
├── SoftmaxLayer         # Softmax输出
└── EnhancedAdditiveCouplingBlock  # 可逆块

🚀 快速开始

训练ShapeAwareNet

#include "networks/ShapeAwareNet.h"
#include "data/MNISTLoader.h"
#include "utils/LossFunctions.h"

int main() {
    // 加载MNIST数据
    auto train_data = MNISTLoader::load_training_set(60000);
    auto test_data = MNISTLoader::load_test_set(10000);
    
    // 创建网络 (输入784，隐藏256，输出10，2个可逆块)
    ShapeAwareNet net(784, 256, 10, 2, 0.3);
    
    // 训练循环
    for (int epoch = 0; epoch < 10; ++epoch) {
        net.set_training(true);
        
        // 前向传播
        Eigen::MatrixXd pred = net.forward(X_batch);
        
        // 计算损失
        double loss = LossFunctions::cross_entropy(pred, y_batch);
        
        // 反向传播
        Eigen::MatrixXd grad = LossFunctions::grad_cross_entropy(pred, y_batch);
        net.backward(grad);
        
        // 更新参数
        net.update_params(0.001);
    }
    
    // 评估
    net.set_training(false);
    Eigen::MatrixXd test_pred = net.forward(test_data.images);
    double acc = LossFunctions::accuracy(test_pred, test_data.labels);
    
    // 保存模型
    net.save("scn_model.bin");
    
    return 0;
}

使用Python工具制作数据集

cd tools
pip install -r requirements.txt
python ubyte_exporter.py

# 图形界面操作：
# 1. 加载图片文件夹
# 2. 为每张图片标注标签 (0-9)
# 3. 设置训练/测试比例、图像尺寸
# 4. 导出为MNIST格式文件

🔧 API参考

ShapeAwareNet 类

构造函数

创建可逆神经网络实例。

主要方法

损失函数

🔄 可逆块设计原理

加法耦合块 (Additive Coupling Block)

y₁ = x₁
y₂ = x₂ + F(x₁)

逆变换：
x₁ = y₁
x₂ = y₂ - F(y₁)

可逆批量归一化

正向传播与反向传播

// 正向传播
y₁ = x₁
y₂ = x₂ + F(x₁)

// 反向传播
∂L/∂x₁ = ∂L/∂y₁ + ∂L/∂y₂ * (∂F/∂x₁)
∂L/∂x₂ = ∂L/∂y₂

💡 完整示例

MNIST手写数字识别

#include <iostream>
#include "networks/ShapeAwareNet.h"
#include "networks/TraditionalNet.h"
#include "data/MNISTLoader.h"
#include "utils/LossFunctions.h"

int main() {
    // 加载数据
    auto train = MNISTLoader::load_training_set(60000);
    auto test = MNISTLoader::load_test_set(10000);
    
    // 创建两个网络
    ShapeAwareNet scn(784, 256, 10, 2, 0.3);
    TraditionalNet tn(784, 256, 10, 3, 0.3);
    
    // 训练参数
    const int epochs = 10;
    const double lr = 0.001;
    const int batch_size = 64;
    
    // 训练ShapeAwareNet
    std::cout << "Training Shape-Aware Net...\n";
    for (int epoch = 0; epoch < epochs; ++epoch) {
        scn.set_training(true);
        double loss_sum = 0.0;
        
        // 批训练
        for (int batch = 0; batch < train.images.rows() / batch_size; ++batch) {
            auto X_batch = train.images.middleRows(batch * batch_size, batch_size);
            auto y_batch = train.labels.middleRows(batch * batch_size, batch_size);
            
            scn.zero_grad();
            auto pred = scn.forward(X_batch);
            double loss = LossFunctions::cross_entropy(pred, y_batch);
            loss_sum += loss;
            
            auto grad = LossFunctions::grad_cross_entropy(pred, y_batch);
            scn.backward(grad);
            scn.update_params(lr);
        }
        
        // 评估
        scn.set_training(false);
        auto test_pred = scn.forward(test.images);
        double acc = LossFunctions::accuracy(test_pred, test.labels);
        
        std::cout << "Epoch " << epoch+1 << "/" << epochs 
                  << " Loss: " << loss_sum / (train.images.rows()/batch_size)
                  << " Acc: " << acc*100 << "%\n";
    }
    
    // 保存模型
    scn.save("scn_model.bin");
    
    // 对比传统网络
    // ... 类似训练过程
    
    return 0;
}

📊 性能对比实验

MNIST测试结果

特征相关性分析

梯度稳定性分析

📁 数据集支持

内置数据集

• MNIST - 手写数字识别 (60k训练+10k测试)
• 自定义Ubyte格式 - 通过Python工具制作

数据加载器API

⚙️ 配置选项

网络超参数

📈 实验结果

训练曲线对比

Epoch 10 loss: 0.000959
Epoch 20 loss: 0.000921
Epoch 30 loss: 0.000888
Epoch 40 loss: 0.000858
Epoch 50 loss: 0.000831

Epoch 10 loss: 0.005618
Epoch 20 loss: 0.004943
Epoch 30 loss: 0.004451
Epoch 40 loss: 0.004073
Epoch 50 loss: 0.003773

关键发现

• ✅ ShapeAwareNet损失降低更快，最终损失更低
• ✅ 重构误差几乎为0，验证可逆块正确性
• ✅ 在简单数据集上准确率相当，但在复杂任务上可逆网络优势更明显
• ⚠️ 梯度方差更大，需要更精细的学习率调优

🔍 故障排除

# 安装Eigen3
sudo apt-get install libeigen3-dev

# 或手动指定路径
cmake .. -DEigen3_DIR=/path/to/eigen3

# 下载MNIST数据集
wget http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz
wget http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz
wget http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz
wget http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz
gunzip *.gz

📝 更新日志

版本 2.0.0 (2026-03-27)

• ✨ 完整的模块化重构，头文件和实现分离
• 💾 添加模型保存/加载功能
• 🔧 修复SigmoidLayer编译错误
• 📊 增强统计分析功能（特征相关性、梯度方差）
• 🐛 修复BatchNorm反向传播中的VectorwiseOp问题

版本 1.0.0 (2026-03-20)

• 🎉 初始发布
• 🔄 实现可逆加法耦合块
• 📦 完整的MNIST训练流程
• 🐍 Python数据集制作工具
• 📈 传统网络对比实验

⚖️ 许可证