Superpoint Transformer | 代码复现

    基于图结构：
    将点云划分为超点（superpoints），每个超点表示具有相似几何和语义属性的点集。
    构建超点之间的 图结构，图的节点是超点，边是超点之间的关系（如几何相邻性、相似性等）。
    使用 图神经网络 (GNN) 在超点图上进行推理。
    
    超点分割：
    通过传统的分割算法（如基于欧几里得距离、法向量聚类）对点云进行分割。
    不需要处理所有点，而是通过图节点的稀疏化表示大幅降低计算复杂度。

    基于 Transformer：
    将超点看作序列，使用 Transformer 架构 对超点进行推理。
    自注意力机制捕获超点之间的全局依赖关系，无需显式构建图结构。
    
    超点生成：
    类似 SPG，先通过几何特征生成超点，但在超点之间的推理中采用了不同的方法（基于自注意力）。

    输入表示：
    图结构 G=(V,E)G=(V,E)，其中 VV 是超点节点，EE 是节点之间的边。
    每个节点有一个特征向量，表示超点的属性（如大小、平均颜色、几何特性）。
    
    图神经网络 (GNN)：
    在图上运行 GNN，例如 Edge Convolution (EdgeConv)，用来捕获超点之间的几何关系。
    通过消息传递机制更新节点特征。
    依赖图结构，因此需要预定义超点之间的连接关系。
    
    限制：
    图结构构建可能存在信息丢失，尤其是在点云稀疏或超点划分质量不高的情况下。
    图操作可能对并行性支持不够，特别是在大规模数据上。

    输入表示：
    超点序列 S=[s1,s2,...,sn]S=[s1​,s2​,...,sn​]，每个超点 sisi​ 是一个特征向量，表示超点的属性。
    不需要构建显式图结构。
    
    Transformer 架构：
    使用 多头自注意力机制 (Multi-head Self-Attention) 计算超点之间的相关性：
    Attention(Q,K,V)=softmax(QK⊤dk)V
    Attention(Q,K,V)=softmax(dk​
    
    ​QK⊤​)V 其中 QQ, KK, VV 是超点的特征表示。
    每个超点的表示更新时，会考虑所有其他超点的全局关系，适合捕获长距离依赖。

    全局感知能力强，自注意力机制可以捕获远程依赖关系。
    支持并行计算，尤其适合 GPU 加速。

    ./install.sh

    conda activate spt

    python -c "import torch; print(torch.cuda.is_available())"

    conda create -n spt python=3.9 -y
    conda activate spt
    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
    python -c "import torch; print(torch.cuda.is_available())"

    找到以下代码：

    CUDA_VERSION=`nvcc --version | grep release | sed 's/.*, release //' | sed 's/,.*//'`
    CUDA_MAJOR=`echo ${CUDA_VERSION} | sed 's/\..*//'`
    CUDA_MINOR=`echo ${CUDA_VERSION} | sed 's/.*\.//'`
    
    if [[ ! " ${CUDA_SUPPORTED[*]} " =~ " ${CUDA_VERSION} " ]]
    then
    echo "Found CUDA ${CUDA_VERSION} installed, which is not among the supported versions: "`echo ${CUDA_SUPPORTED[*]}`
    echo "Please update CUDA to one of the supported versions."
    exit 1
    fi

    pip install torch==${TORCH} torchvision --index-url https://download.pytorch.org/whl/cu${CUDA_MAJOR}${CUDA_MINOR}
    pip install pyg_lib torch_scatter torch_cluster torch_spline_conv -f https://data.pyg.org/whl/torch-${TORCH}+cu${CUDA_MAJOR}${CUDA_MINOR}.html

    pip install torch==${TORCH} torchvision --index-url https://download.pytorch.org/whl/cu118
    pip install pyg_lib torch_scatter torch_cluster torch_spline_conv -f https://data.pyg.org/whl/torch-${TORCH}+cu118.html

    ./install.sh

    # @package paths
    
    # 数据集路径
    data_dir: ./data/s3dis/
    
    # 日志路径
    log_dir: ./logs/

    if not osp.exists(val_dir):
    if self.val_mixed_in_train:
        os.makedirs(osp.dirname(val_dir), exist_ok=True)
        try:
            os.symlink(train_dir, val_dir, target_is_directory=True)
            print(f"Created symbolic link from {train_dir} to {val_dir}")
        except FileExistsError:
            print(f"Symbolic link {val_dir} already exists, skipping creation.")
    else:
        os.makedirs(val_dir, exist_ok=True)
    
    if not osp.exists(test_dir):
    if self.test_mixed_in_val:
        os.makedirs(osp.dirname(test_dir), exist_ok=True)
        try:
            os.symlink(val_dir, test_dir, target_is_directory=True)
            print(f"Created symbolic link from {val_dir} to {test_dir}")
        except FileExistsError:
            print(f"Symbolic link {test_dir} already exists, skipping creation.")
    else:
        os.makedirs(test_dir, exist_ok=True)

    python src/train.py experiment=semantic/s3dis datamodule.fold=5 logger=csv

    python src/train.py experiment=semantic/s3dis datamodule.fold=5 logger=csv trainer.max_epochs=10 datamodule.dataloader.batch_size=1 trainer.accelerator=cpu trainer.devices=1

    python src/train.py experiment=semantic/s3dis datamodule.fold=5 logger=csv datamodule.dataloader.batch_size=1 datamodule.sample_graph_k=8 datamodule.sample_graph_r=0.5 datamodule.sample_point_max=300 datamodule.max_num_nodes=5000 datamodule.max_num_edges=20000 callbacks.gradient_accumulator.scheduling='{0: 4}' trainer.max_epochs=10

    python src/eval.py experiment=semantic/s3dis datamodule.fold=5 ckpt_path=/home/msi/code/Largescale_PointCloud_Semantic/superpoint_transformer/logs/train/runs/2025-01-09_11-00-32/checkpoints/epoch_009.ckpt