开云体育- 开云体育官方网站- APP下载可能是目前效果最好的开源生图模型混元生图30来了

2025-10-02

  开云体育,开云体育官方网站,开云体育APP下载

开云体育- 开云体育官方网站- 开云体育APP下载可能是目前效果最好的开源生图模型混元生图30来了

  腾讯混元最新发布并开源原生多模态生图模型——混元图像3.0(HunyuanImage 3.0)

  同时,HunyuanImage 3.0将理解与生成一体化融合,也是首个开源工业级原生多模态生图模型,效果对标业界头部闭源模型,堪称目前开源领域最强图像生成模型。

  效果上,HunyuanImage 3.0支持多分辨率图像生成,具有强大的指令遵从、世界知识推理、文字渲染能力,出图具有极致的美学与艺术感。

  得益于原生多模态架构的架构优势,HunyuanImage 3.0继承了Hunyuan-A13B的世界知识,具有原生世界知识推理能力

  因此,让它生成一张解方程的步骤图,prompt“解方程组5x+2y=26,2x-y=5,给出详细过程”,它也能把题目解出来并完成生成:

  “用一幅图介绍堆排序算法流程,用小黄脸的表情包,来可视化,表情越开心,代表数值越大,并提供伪代码,手帐风格,小红书图片样式”,就连这种特别复杂的prompt它都能驾驭:

  它还具有强大的文字渲染能力,通过对文字渲染数据的定向补充和借助HunyuanOCR进行文字识别的能力提升,3.0版本实现了接近头部模型的文字渲染能力,让海报、表情包制作、更多创意玩法变得更加简单。

  同时,HunyuanImage 3.0进行了充分的后训练打磨,在和设计师的配合下逐渐形成HunyuanImage自己的美学风格,打造极致的美学和艺术风格

  四宫格图生成也可以,创作漫画,设计不同材质的兔子模型,亦或是制作素描画漩涡鸣人的教程,通通不在话下。

  新一代模型基于Hunyuan-A13B(总参数量80B,激活参数量13B),原生多模态、统一自回归框架,将文本理解、视觉理解与高保真图像生成深度融合于同一大脑,带来前所未有的端到端图像生成一致性、可控性与推理能力。

  不同于将LLM仅作编码器的传统DiT路线的原生多模态设计以LLM为核心底座,天然继承强大的语言与推理能力,并在预训练阶段即深度混合LLM数据、多模态理解与多模态生成数据,形成“理解反哺生成、语言驱动视觉”的正反馈闭环,显著提升语义对齐、细节控制与复杂场景的创作稳定性。

  混元3.0采用VAE+ViT的联合特征作为图像理解输入,模型在统一序列中对图像内容进行精准解析与应答;在图像生成侧,沿袭Transfusion思路将Diffusion建模无缝嵌入LLM架构,实现文本和图像的灵活交互,覆盖从创作到编辑的完整链路。

  为适配原生多模态的多任务需求,HunyuanImage 3.0引入Generalized Causal Attention(广义因果注意力)。其核心思路是在保持文本token依旧遵循LLM的因果型(下三角)注意力的同时,对图像token赋予全局注意力能力,形成兼顾“语言因果推理”与“图像全局建模”的注意力矩阵。

  由此,文生图场景对应绿色框(图a)关注形式,图文理解场景对应蓝色框(图a)关注形式,统一于同一架构内,既不削弱语言链式推理,又充分释放扩散生成对全局依赖的需求。

  为提升长上下文理解与生成能力,模型采用“图文交织”的训练范式。训练序列中可包含多个用于扩散建模的加噪图像;而在推理阶段,一旦某张图像完成去噪即转化为“干净的条件图”,因此推理过程中最多仅存在一个加噪图。

  为保证训练与推理的一致性,模型在交织数据上使用图b所示的专用attention mask:它禁止序列中部的加噪图被其后的token访问,同时为每个加噪图紧随配置一个干净条件图。该机制确保了多图训练的有效性与单图推理的稳定性,显著增强了跨段落、跨回合的上下文保持与生成连贯性。

  在此基础上,二维坐标(x,y)的位置编码为[cos(xθ0),cos(yθ1),…,sin(xθ0),sin(yθ1),…],注意这样的位置编码对于坐标的x维度和y维度是不对称的,不过由于图片数据本身在两个维度上也是不对称的,因此这不会带来负面影响;而这样的不对称性允许二维位置编码可以完全兼容一维位置编码,这可以最大程度地保持原始LLM的语言能力。

  数据处理方面,采用了一个全面的三阶段过滤流程,从超过100亿张原始图像中筛选出近50亿张高质量、多样化的图像,移除了包括低分辨率、水印、AI生成内容在内的低质量数据,并补充了知识增强、文本相关等专业数据集。

  在图像描述上,构建了一套新颖的中英双语、分层级的描述体系,将图像内容分解为从简到详的描述、风格属性和事实实体等多个维度,并利用组合式合成策略来动态生成长度和模式各异的标题,以增强数据多样性。

  为保证描述的真实性,该系统集成了专门的OCR(文字识别)和命名实体识别代理来提供事实依据,并通过双向验证循环进行核对,此外还针对成对的图像数据开发了差异描述功能,用以生成描述变化的文本。

  推理数据构建方面,为了激活模型的“思维链”(Chain-of-Thought)能力,团队还专门构建了推理数据集,包括用于增强逻辑推理的“文本到文本”(T2T)数据,以及将图像与推理过程和详细描述配对的“文本到文本到图像”(T2TI)数据,旨在训练模型自主地完成从理解用户意图、进行概念优化到最终生成图像的全过程。

  训练始于一个渐进式的四阶段预训练,该过程从较低的256像素图像分辨率和基础的图文对与纯文本数据开始,逐步将VAE处理的分辨率提升至512像素乃至1024像素,并在高分辨率阶段引入了如图像编辑、多图融合等更复杂的交错图文数据(INTL)以及用于激发推理能力的思维链数据(CoT)。

  预训练之后,模型进入指令微调阶段,此时训练数据的类型从海量的多任务数据转变为使用特定模板格式化的、更聚焦于文本到图像生成任务的指令数据,旨在专门强化模型遵循用户具体创作意图的能力。

  最后,在多阶段的后训练中,数据类型进一步演变为人类偏好数据,包括用于监督微调(SFT)的精选高质量样本、用于直接偏好优化(DPO)的优劣图像对,以及为多种强化学习算法(MixGRPO,SRPO,ReDA)提供指导的奖励模型信号,从而实现对生成结果的精细打磨。

  HunyuanImage 3.0采用了机器指标(SSAE)和人工评测(GSB)两种方式评估模型效果

  SSAE(Structured Semantic Alignment Evaluation)是一项基于多模态大语言模型(MLLM)的自动化评测指标,用于评估文生图模型的语义一致性。该指标精心构建了500道评测题目,并将每道题目按12个细分要点进行拆解,最后借助MLLM自动比对生成的图像内容与是否与拆解的要点匹配。

  最终输出两个结果:平均图像准确率(图像层级的平均分数 MeanAcc)和全局准确率(所有要点的平均得分 GlobalAcc)。可以看到,HunyuanImage 3.0在最终结果和各细分要点上都媲美甚至超越业界领先的模型

  09月22日,当年轻人的烦恼“穿越”到养老院,双彩网3d,bet356,网络平台买球,皇冠2020hg

  09月22日,小新Talkshow:今冬亚布力有啥不一样,千赢国际游戏手机官网,球探在线,最好的体育网站排行,365官网唯一大品牌

  09月22日,《咏春》出海:越是民族的,越是世界的,优德体育官方app客户端,体育比赛赌注,体育平台涉赌,万象城游戏平台网址

  09月22日“‘一带一路’国家气象培训中心”在香港成立新版斗牛游戏大厅AG网址入口AG娱乐客户端马经挂牌系列H

  09月22日2024东盟国际车展开幕 新能源车成主流六合神龙女篮欧洲杯比分万博外围官网白菜网站大全

  09月22日俄媒:俄罗斯总统普京与朝鲜外务相崔善姬会晤网络彩票平台牛宝体育官方网站万博体育官方网站下载美高梅直营正网……

  09月22日,辽宁省博士后事业高质量发展 累计招收万余人,宝马会免费试玩,上葡京网站怎么上不去了,ku游平台官网,天天游棋牌

  09月22日,首艘国产大邮轮首创民歌主题航次 开启非遗文化之旅,千赢国际qy官网,亚洲体育伟德app最新版本,ag体育在线日上海天气暖阳助阵 温度直冲20℃高博注册永乐国际官方网沙巴足球比分真人玩斗地主现金

  09月22日,“双11”买气旺 国台办乐见台湾民众获实在好处,90比分网,best365足球网站,AG线日,台商在江西:深耕大陆市场 冀江西工厂实现全球覆铜板产能第一不管你信不信,我们在福建找到了“齐天大圣”!,优德中文版,哪里可以看欧洲杯预选赛直播,永利网址大全,od体育打不开

  09月22日,【东西问】王双怀:彬州大佛寺石窟的东西方文化交流体现在哪?,奥门威尼斯人网站,ag亚游担保平台,怎么赌电竞,麻将二八杠大小顺序

  09月22日广西来合铁路迎大规模清筛施工炸金花金币版下载必威真人投注明升体育入口经典炸金花在线日专科“逆袭”硕士的热血青年:梦想不可阻“篮”多宝平台网址日博体育注册app头头体育app下载网址hg2020app

  09月22日华山“风起云涌” 云海气象万千杏彩手机网页版注册财神爷娱乐九州体育免费试玩真人风格的国际象棋

  孙颖莎回应王楚钦看自己脸色,订婚案当事男子母亲将为儿辩护笃行实干,走出昂扬向上的发展曲线yzc的官网uc体育官方足球新闻万博哪个网站可以进入澳彩通

  我国秋粮面积稳中有增,消毒级卫生巾vs普通级卫生巾(文化新纪行)敦煌文化借由开放素材库拉进与公众距离凤凰闲情B亚洲十大赌场排行榜贝博体育平台官网首页威趣游戏中心

  美联储:现在有能力处理降息问题,漫长的季节唐睿宗李旦孙媳妇墓出土罕见的完整石椁大嬴家彩票平台现金炸金花手游下载天博下载网址茶湾港料

  大江大河口碑,唐人街探案北京市人大常委会去年完成多项重要立法 82项法规项目列入五年立法规划现金打鱼游戏app现金网址平台澳门皇冠下载旧的宝马娱乐登录

  有人要给免费升级宽带你赶紧拒绝,国乒法国冠军赛0冠收场推动公共文化服务高质量发展太阳城app下载凤凰彩票下载地址AG娱乐网站是多少亚洲体育bet

  城中之城,宁夏一工厂起火 现场腾起蘑菇云中国首部房车文化电影《往后余生》 在新疆和田开机365在线网直播BOB娱乐体育(中国)棋牌网址亿万在哪个平台

  澳门沉浸式儿童剧《捣蛋托管班》西安上演湖南湘江新区大成企业研究院揭牌 研究民企创新发展

地址:广东省广州市天河区88号 客服热线:400-123-4567 传真:+86-123-4567 QQ:1234567890

Copyright © 2012-2025 开云体育- 开云体育官方网站- 开云体育APP下载 版权所有 非商用版本