跳转至

当前限制

repralign 已经可以做真实实验,但仍然是一个较早期的研究工具。

现阶段限制

  • token-level alignment 还不是一等公民
  • 超大数据集还缺少更高效的磁盘缓存策略
  • generation reference 工作流依赖目标 pipeline 是否暴露稳定的内部模块
  • 想精确贴近某篇论文,还需要自己验证实验协议

一个重要提醒

repralign 支持的是和多模态论文里相同类别的分析方法,并不自动意味着结果等同于任何已发表论文。要做到强对齐,通常还需要一致的:

  • candidate model
  • reference model
  • dataset
  • preprocessing
  • layer selection
  • metric setting