DALL-E 是 OpenAI 开发的一种生成式 AI 模型，可以通过文本描述创建图像。它结合了自然语言处理和计算机视觉技术，可以根据用户提示生成视觉内容。DALL-E 基于类似于 GPT 模型的 Transformer 架构，通过对大量文本-图像对数据集进行训练，学习将单词与视觉元素关联起来。例如，像“一只戴着太阳镜的双头火烈鸟”这样的提示可能会产生一个超现实但连贯的图像，与该描述相符。该模型的优势在于它能够解释抽象或非常规的想法，并将其转化为看似合理的视觉效果，即使所描述的场景在真实世界数据中不存在。
该模型的工作原理是将文本输入处理成潜在空间表示，该表示捕获提示的语义和风格特征。然后，通过一系列神经网络层将此表示解码为基于像素的图像。在训练期间，DALL-E 使用 Transformer 架构的修改版本来处理离散文本标记和连续图像数据。例如，当给定“一个形似鳄梨的扶手椅”这样的提示时，该模型会将文本分解为标记（例如，“扶手椅”、“鳄梨”、“形状”），并将它们映射到从训练数据中学到的视觉模式，例如纹理、形状和颜色组合。该模型还采用扩散等技术（在 DALL-E 2 等更高版本中），以迭代方式将嘈杂的初始输出细化为高质量图像。
开发人员可以通过 OpenAI 的 API 与 DALL-E 交互，该 API 允许设置诸如图像分辨率（例如，1024x1024）、输出计数和样式调整等参数。实际应用包括快速设计概念原型、为应用程序生成占位符视觉效果或为用户界面创建自定义插图。但是，其局限性包括文本和输出之间偶尔会出现不匹配（例如，错误地解释空间关系，如“蓝色球体上的红色立方体”）以及对细节的精细控制的限制。该模型的闭源性质还意味着开发人员无法在自定义数据集上对其进行微调。伦理方面的考虑，例如训练数据中可能存在的偏差或滥用生成误导性内容，进一步强调了在将 DALL-E 集成到项目中时需要负责任地实施。