文生图领域权威榜单artificial analysis竞技场宣布，字节跳动的seed团队推出的图像生成模型seedream 3.0在综合性能上已达到与文生图sota模型gpt-4o相当的水平，稳步超越了recraft v3、ideogram、imagen 3、midjourney v6.1等模型，跻身全球顶级行列。
Seedream 3.0是字节最近推出的新一代文生图主力模型，目前已在即梦和豆包等平台全面上线。根据Seedream 3.0的技术报告，该模型是一款原生高分辨率、支持中英文双语的图像生成基础模型，无需后处理即可直接生成2K分辨率的图像，适用于多种比例的场景。此外，模型在处理小字体高保真生成和多行文本排版等业界难题上也取得了突破性的成果。
值得注意的是，Seedream 3.0能够在约3秒内快速生成1K分辨率的高品质内容，相较之下，业界同类模型生成同样分辨率内容通常需要10秒以上，而之前的文生图SOTA模型GPT-4o平均耗时为77秒。
立即进入“豆包AI人工智官网入口”；
立即学习“豆包AI人工智能在线问答入口”；
图注：Seedream3.0技术报告中评测结果
豆包大模型团队在推文中介绍，Seedream3.0的研发始于2024年末，团队通过调研设计师等用户群体的实际需求，不仅将图文匹配、结构、美感等行业共识性指标列为攻坚方向，还将小字生成、复杂文本排版、2K高清直出、快速图片生成等难题设定为核心目标。
为了实现2K分辨率和多尺寸图像的直出能力，团队利用了Transformers架构对变长输入序列的灵活处理能力，在从512x512到2048x2048的多种分辨率和不同长宽比上进行混合训练，使模型能够不经过额外深加工就实现高清直出，同时支持多种分辨率输出。
为支持快速生成高品质图像，模型采用了自研的推理加速算法，通过一致性噪声预测和重要时间步采样，实现了对模型的无损加速。在确保图文匹配、美学质量和结构准确度等指标的前提下，Seedream 3.0仅需3秒即可生成1K分辨率的图像。
图注：Seedream3.0输出图像细节丰富，蝴蝶绒毛根根分明
Seedream3.0还显著提升了小字体高保真生成和多行文本语义排版的表现，满足了设计师对海报设计的需求。团队在预训练阶段引入了跨模态旋转位置编码，弥补了传统方法在模态特征对齐上的不足，进一步增强了文字渲染能力。
图注：Seedream3.0模型可完成小字生成、多行文本排版，并兼顾画面美感
据Seedream团队介绍，与之前的2.0版本相比，Seedream 3.0在数据和RLHF阶段也采用了全新的方案。团队使用了缺陷感知的训练策略，使有效数据集扩充超过20%，同时设计了精准的美感描述维度，并进一步拓展了RLHF奖励模型，使Seedream 3.0具备多维度质量判别能力，综合性能大幅提升。
图注：Seedream3.0在美感等方面较2.0进一步提升
Seedream团队表示，“新模型在海报创作、生成效率、结构与美感等方面取得了显著进步，但在生成可用性、美感与结构、智能化方面仍有提升空间。”
据了解，未来，团队计划探索更高效的结构设计，包括构建效果更好、成本更低、生成更快的文生图模型，并进一步拓展模型对世界知识的理解，赋予模型交织生成等能力。同时，团队也计划探索数据、模型量级、奖励模型等维度的Scaling现象，将认知积累应用于下一代模型中。
Seedream 3.0技术报告：https://www.php.cn/link/8d462d62ac0734241b98c97bafca11fc
Seedream 3.0官方网页：https://www.php.cn/link/4ab209885a134d73b39bc96504b7e301
