腾讯自研深度思考模型混元T1发佈:吐字快 能秒回
来源:倍可亲(backchina.com)
大陆网路巨头腾讯公司发佈了自主研製最强推理与深度思考模型「溷元T1」正式版。(图/腾讯网)
大陆网路巨头腾讯公司正式发佈了自主研製的深度思考模型「溷元T1」正式版,这是腾讯自研的最强推理模型,除了吐字快、能秒回,还擅长超长文处理。
《腾讯新闻》报导说,溷元T1通过大规模强化学习,并结合数学、逻辑推理、科学和程式码等理科难题的专项优化,让溷元T1正式版进一步提升了推理能力。
在体现推理模型基础能力的常见基准上,如大语言模型评估增强数据集MMLU-PRO中,溷元T1取得87.2分,仅次于o1。在CEval、AIME、Zebra Logic等中英文知识及竞赛级数学、逻辑推理的公开基准测试中,溷元T1的成绩也达到业界领先推理模型的水平。
此外,溷元T1还在多项对齐任务、指令跟随任务和工具利用任务中展现出了非常强的适应性。溷元T1正式版还沿用了溷元Turbo S的创新架构,採用Hybrid-Mamba-Transformer融合模式。
报导说,这是工业界首次将溷合Mamba架构无损应用于超大型推理模型,有效降低了传统Transformer结构的计算複杂度,减少了KV-Cache的记忆体佔用,从而显着降低了训练和推理成本。
此外,基于出色的长文捕捉能力,溷元T1能有效解决长文推理中常见的上下文丢失和长距离资讯依赖问题。同时,溷合Mamba架构针对长序列处理进行了专项优化,通过高效的计算方式,在确保长文字资讯捕捉能力的同时大幅降低资源消耗,在相近的启用参数量下,实现了解码速度提升2倍。
目前腾讯溷元T1已经开放体验,同时还上线了API:输入价格为每百万tokens 1元(人民币(专题),下同),输出价格为每百万tokens 4元。
大陆网路巨头腾讯公司发佈了自主研製最强推理与深度思考模型「溷元T1」正式版。(图/腾讯网)
大陆网路巨头腾讯公司正式发佈了自主研製的深度思考模型「溷元T1」正式版,这是腾讯自研的最强推理模型,除了吐字快、能秒回,还擅长超长文处理。
《腾讯新闻》报导说,溷元T1通过大规模强化学习,并结合数学、逻辑推理、科学和程式码等理科难题的专项优化,让溷元T1正式版进一步提升了推理能力。
在体现推理模型基础能力的常见基准上,如大语言模型评估增强数据集MMLU-PRO中,溷元T1取得87.2分,仅次于o1。在CEval、AIME、Zebra Logic等中英文知识及竞赛级数学、逻辑推理的公开基准测试中,溷元T1的成绩也达到业界领先推理模型的水平。
此外,溷元T1还在多项对齐任务、指令跟随任务和工具利用任务中展现出了非常强的适应性。溷元T1正式版还沿用了溷元Turbo S的创新架构,採用Hybrid-Mamba-Transformer融合模式。
报导说,这是工业界首次将溷合Mamba架构无损应用于超大型推理模型,有效降低了传统Transformer结构的计算複杂度,减少了KV-Cache的记忆体佔用,从而显着降低了训练和推理成本。
此外,基于出色的长文捕捉能力,溷元T1能有效解决长文推理中常见的上下文丢失和长距离资讯依赖问题。同时,溷合Mamba架构针对长序列处理进行了专项优化,通过高效的计算方式,在确保长文字资讯捕捉能力的同时大幅降低资源消耗,在相近的启用参数量下,实现了解码速度提升2倍。
目前腾讯溷元T1已经开放体验,同时还上线了API:输入价格为每百万tokens 1元(人民币,下同),输出价格为每百万tokens 4元。