跳转至

真实图片工作流

这是从 toy example 走向真实实验时最该看的路径。

1. 从模板开始

使用:

  • configs/reference_alignment_template.yaml

2. 换成真实 Candidate Model

把 toy candidate factory 替换成你的真实模型工厂,并填写真实 layer names。

3. 选择参考模型

常见组合:

  • semantic reference:SigLIP 或其他 HF vision encoder
  • generation reference:SD3-Medium + sd3_reference

4. 指向你的图片目录

dataset:
  type: image_folder
  image_root: /path/to/images
  recursive: true
  batch_size: 2
  prompt: ""

如果 generation reference 需要更有意义的文本输入,建议改用 CSV / JSONL manifest。

5. 提取特征

repralign extract-features --config configs/reference_alignment_template.yaml

6. 分别对每个 Reference 做分析

repralign analyze \
  --candidate-cache outputs/reference_alignment/candidate_features.npz \
  --reference-cache outputs/reference_alignment/semantic_reference_features.npz \
  --metric cknna \
  --output-csv outputs/reference_alignment/semantic_cknna.csv \
  --output-json outputs/reference_alignment/semantic_cknna.json

然后对 generation reference 重复一次。

7. 绘图

repralign plot \
  --input-csv outputs/reference_alignment/semantic_cknna.csv \
  --input-csv outputs/reference_alignment/generation_cknna.csv \
  --output-png outputs/reference_alignment/cknna_comparison.png \
  --title "Representation Alignment"