神秘顾客新闻除了单向的文生图除外

发布日期：2024-03-13 07:37    点击次数：169

清华系多模态大模子公司神秘顾客新闻，又拿钱了！

生数科技，师出清华朱军团队，是国内最早布局多模态大模子的团队之一。

市集音问传来，这家公司刚刚完成新一轮数亿元融资。本轮融资由启明创投领投，达泰成本、鸿福厚德、智谱AI、老激动BV百度风投和卓源亚洲链接跟投。

生数方面的说法是，本轮融资将主要用于多模态基础大模子的迭代研发、欺诈产物立异及市集拓展。

此前，生数照旧在文生图、文生3D模子、文生视频方面都有接洽效果对外释出。

2022年9月，生数科技独创成员就提倡了基于Transformer的集聚架构U-ViT，这与Sora和Stable Diffusion3背后选拔的Diffusion Transformer架构DiT，在架构念念路与本质旅途上齐全一致。

对此，生数科技CEO唐家渝默示：

咱们积聚了完满高效的工程化告诫，领有在大边界GPU集群上完结高效兼容、低成本的模子锻真金不怕火告诫，全体上来讲，咱们追逐Sora确定比追逐GPT-4交接许多。

本年一定能达到Sora当前版块的效果，很难说是三个月照旧半年（笑），但这件事咱们的信心还口角常足的。

神秘顾客_赛优市场调研

2022年已提倡类DiT架构U-ViT

在扩散模子方面，生数科技团队是国内最初开启该办法接洽的团队，效果触及主干集聚、高速推理算法、大边界锻真金不怕火等全栈技艺办法。

2022年9月，生数独创成员提倡了基于Transformer的集聚架构U-ViT时，U-ViT就在千万至数亿参数目级范围内考证了极强的可膨胀性（scaling up）。

这项职责在CVPR 2023发表，早于DiT。

2023年3月，团队又开源了全国首个基于Diffusion Transformer架构（U-ViT）的多模态扩散大模子UniDiffuser，在参数目和锻真金不怕火数据边界上与Stable Diffusion径直对皆。

从架构上来看，UniDiffuser比最近公开论文的Stable Diffusion3（选拔DiT架构）卓绝了一年。

此外，除了单向的文生图除外，Unidiffuser相沿更通用的图文任务，或者完结图生文、图文聚首生成、图文改写等多种功能。

捏续进行Scale up

在融合化架构的念念路下，生数科技捏续进行Scale up。

在图文模子的锻真金不怕火中，其模子参数目从最早开源版的1B不断膨胀至3B、7B、10B及以上，使得模子在好意思学性、多元作风、语义领略等方面完结快速富厚的进步。

姚景源在讲座中首先指出，当前中国的困难和挑战，主要表现为“四降一升”：第一是经济增长速度下降，第二是PPI下降，第三是企业利润下降，第四是财政税收下降而风险在上升。“中国经济的增长去年6.9%，前年7.3%，再往前10%以上，中国经济是一个增数下行的，而且是逐年下行的趋势。”把握这个趋势是根本。

同期在此基础上，通过拓展空间维度和时辰维度，神秘顾客注册从容完结3D生成和视频生成模子的锻真金不怕火。

依托底层U-ViT架构的立异尝试，铁心2023年9月，生数科技推出了基于融合的多模态多任务框架的产业级通用基础大模子（闭源版），全链路自主锻真金不怕火、自主研发，在图像生成、3D生成、视频生成等多项任务中位居前哨。

当前的效果是，生数的3D生成，照旧可完结高精度与最快10秒级的模子生成。

此外，生数团队还推出全国首个4D动画生成、可控3D场景剪辑等职责。

而视频生成方面，也已完结短视频的剪辑与生成才能，在画面好意思不雅度、连贯性方面完结了冲破。

近期将重心冲破长视频生成才能

在营业化落所在面，依托于MaaS（模子即职业）才能，生数科技在2B、2C端同期发力。

一方面以API的体式向B端机构径直提供模子才能，另一方面打造垂类欺诈产物，按照订阅等体式收费。

当前公司已与多家游戏公司、个东说念主末端厂商、互联网平台等B端机构开展协调，灵通模子职业，提供AIGC个性化体验、定制化骨子分娩等方面的才能。

前年，面向艺术狡计、游戏制作、影视动画、酬酢文娱等创意领域，生数科技上线了两款用具产物：

视觉创意狡计平台PixWeaver

3D金钱创建用具VoxCraft

而学术层面上，团队于ICML、NeurIPS、ICLR等东说念主工智能顶会发表酌量论文近30篇，其中提倡的免锻真金不怕火推理算法Analytic-DPM、DPM-Solver等冲破性效果，获取ICLR隆起论文奖，并被OpenAI、苹果、Stability.ai等机构选拔，并被DALL·E 2、Stable Diffusion等神态选拔。

那么，接下来的路是什么？

谈到对异日的霸术，生数科技经久坚捏“原生多模态”办法。

一边，是对产物端捏续迭代；

另一边，则是在基础模子层面捏续优化，主淌若进步语义领略、可控性、好意思不雅度方面的生胜仗果。

其实，Sora出现前，生数里面主要聚焦于短视频，但当今公司会进入更多资源在长视频上，架构、数据使用调优方面，团队照旧作念过不少探索，也踩过许多坑（许多当今都照旧惩处了）。

但OpenAI砸大钱捧出一个Sora，考证了这条路的正确性，也废除了团队的许多费神，“当前的视频生成长度在4-5秒把握，咱们近期将重心冲破长视频生成才能……尤其长视频画面的连贯性，咱们还在作念一系列攻克职责”。

— 完 —神秘顾客新闻

• 神秘
• 顾客
• 新闻
• 出了
• 单向