DALLE 3技术分析 - 训练方式/模型结构

1. 引言:

从 DALLE 3 开发者技术轨迹中，以及模型的演示视频，我们可以推导 DALLE 3 模型的某些架构信息。

2. DALLE 2 的评价:

DALLE 2 的性能不佳，主要归因于 CLIP 模型的限制。

CLIP 在为后续的 diffusion model 提供充足内容和详细特征上遇到了困难。

在生成详细图像方面，该模型遇到了显著的挑战。

3. GPT 模型的作用:

之前的实验使用 GPT 2 作为音频/视觉媒体的核心处理系统，任务是解释人类的文本输入并将其转化为 diffusion model 的视觉表示。

该基于 GPT 2 模型的性能超越了其众多同时代的模型，使得这种策略看起来是可行的。

对于 DALLE 3，作为自回归核心的 GPT 模型的确切版本，是 GPT 3 还是 GPT 4，尚未确定。但为了此次分析，我们假设使用了 GPT 4。

4. GPT 4 的图像解读:

几个月前，GPT 4 的图像解读能力已经显著提高，但 OpenAI 并未公之于众。

从商业角度来看，OpenAI 可能没有足够的计算资源进行图像解释。这引起了一个问题：计算能力被引导到哪里？

随着 DALLE 3 的发布，我们猜测 GPT 4 的图像能力被用于生成适合 DALLE 3 的训练数据。

GPT 4 的图像模型的架构可能采用与 BLIP2/mini GPT 4 相似的方法。这可能包括一个额外的视觉编码器(VIT)和几个转换层（例如 Qformer）来将图像转换为模型可以理解的格式。

预计 OpenAI 的 visual encoder/decoder 是自行训练的，可能导致更好的结果。

5. GPT 4 图像发布延迟的可能原因:

GPT 4 图像版本发布之久的可能原因：服务器被用于生产 image-text pair 数据集。

有了充足的数据，自然就为 DALLE 3 的创造铺平了道路。

6. DALLE 3 的假设结构和训练:

OpenAI 首先训练了一个高效的 visual encoder/decoder。

之后，他们可能采用与 miniGPT 4 类似的方法来训练 GPT 4 进行图像处理。

拥有了图像能力的 GPT 4 之后，可以生成一个全面的 image-text pair 数据集。这也可能是图像(image tokens)到文本(text tokens)的格式。

text tokens 到 image tokens 的配对可能被用于培养 DALLE 的主要部分，我们暂时称之为“GPT 4 image creator”。

接下来的步骤可能涉及将 image tokens 转换回图像。目前，diffusion model 在此任务上表现出色，甚至超过了原生 decoder。

我们猜测使用了一个 diffusion decoder 进行图像生成。

7. 最后的话:

此分析避免深入到模型的复杂细节，例如模型之间是否有潜在的 residual 结构，或 text tokens 是否与 image tokens 同时输入到 diffusion model 中。确定这些细节需要实际的实验操作。另外由于已经写的太长了，其中部分基于视频内容的推理暂时没有解释。