大资本配资|资深证券配资优选平台|线下配资公司优选

股票平台有哪些 智谱版“Sora”清影上线,可生成6秒视频,张鹏回应技术商业细节


发布日期:2024-10-06 20:56    点击次数:101

股票平台有哪些 智谱版“Sora”清影上线,可生成6秒视频,张鹏回应技术商业细节

这些声音不仅好听,寓意也吉祥美好,给人们带来无尽的欢乐与希望。

AI视频生成,离我们越来越近。

7月26日,智谱AI对外发布了AI生成视频模型清影(Ying),并宣布清影已上线清言App,面向所有用户开放文本生成视频以及图片生成视频,30秒时间可生成6秒视频。

清影(Ying)采取了免费排队、付费加速的收费模式,24小时为5元,一年为199元。同时,清影API也上线大模型开放平台bigmodel.cn,企业和开发者可以采用API调用方式。

智谱AICEO张鹏称,清影(Ying)是初步的阶段性成果。从产品角度来讲,会成为一个单独的产品去商业化落地。但无论是2C还是2B,纯粹走向大规模商业化还比较早期。

清影(Ying)也会涉及开源。“我们从来同时兼顾开源和商用。”

在文生视频会不会取代长视频拍摄手段这个问题上,张鹏称,他曾去北影与老师们聊这件事。“从技术发展角度,大家认为对影视行业的变化有积极的意义。但至少目前,能把它用在直接面向最终观众的生产过程当中,可能还不是太够,用来做一些辅助的工作是可以的。”

在融入清影(Ying)后,智谱AI能不能打造一款超级APP?张鹏认为,现在对超级APP的定义不同。“可能没有那么超级。它是循序渐进式的,从时间维度来说,过去半年,大家的使用习惯已经改变了非常多,只不过没有让你一觉醒来就有改变的感觉,这是人感知上的误差。”

在清影发布后,张鹏与现场与会者进行了交流。为方便阅读,数智前线对部分对话内容进行了整理。

01

清影(Ying)为什么开放给公众

Q:OpenAI Sora还没有开放给公众使用,为了保障清影能向公众开放,智谱做了一些什么事,尤其算力方面?

张鹏:首先OpenAI Sora效果还是不错的,今天智谱清影(Ying)还是一个初步的阶段性成果,还达不到像Sora演示出来的那么好、那么长的视频,这个还需要更多的努力。

虽然我们承认与OpenAI 、与世界顶级水平之间的差距,但是这条路还得自己走,我们一直也在走自己的路,不断用自己的方式往前追赶,想到新的方法,比如怎么把视频生成算力成本降下来,响应速度提升上去,让所有人可以用。其实这件事是除了技术追求以外,为了让技术人人可用,我们也同步追求了技术的可普及性和成本,这也是我们这个团队的一些特点。

Q:成本是多少?

张鹏:这个在大家用起来以后,统计才有意义。

Q:从什么时候开始做清影(Ying)的,团队规模、产品研发投入是什么样?

张鹏:做视频模型这件事往前追溯,从2021年开始就布局了,去验证了这件事可行,但是里面有很多的问题。

为什么会有一段时间转去做语言模型,是我们认为本身做大模型这件事最终目标想要实现AGI,本质上还是在于如何对现实世界里的信号、数据进行提炼、压缩、学习的过程。这个事情可能语言是密度最高的,相对来说比较容易,而且也是人机交互当中非常重要的环节。能让它听懂人类的自然语言,这件事是非常重要的一个点。如果它能理解这件事,就能解决很多的问题,比如生成视频可控的问题,最简单的可控,就是我说什么你做什么,它强烈依赖于你能不能准确理解这个内容。我先有这样一个抽象层面、宏观层面的能力,对世界的建模和理解。

Q:一些做纯做视频模型的企业发的更早一点,还有视频公司像快手,他们的路径和大模型企业不同吗?

张鹏:我个人理解,从传统视频厂商或者纯粹做视觉的转去做模型,他们可能是沿着视觉信号这个路线做这件事。但这两个事情有对错吗?不一定,前一段时间我们看论文,单模态的建模、语言模态的建模、跨模态的建模,最终本质上会走向物理世界统一的表示,大家追求的是同一个真理,只是走不同的路而已,可能是这样一个结局。

Q:现在视频生成模型都是DiT架构,智谱在这方面有没有创新?

张鹏:视频生成模型是DiT+Tansformer,大家知道Sora也是这种方案,我们也采用这种方案。但是因为技术细节上的不透明,很多地方需要自己摸索。算法上在不断改进,比如3D VAE等,也是改进DiT和Tansformer结合的效率。大模型纯算法本身只占其中一部分,还有大量的系统工程等各方面的事情,所以它是比较复杂的事情,还有很多工作要做。

Q:智谱不像快手等视频公司,有视频数据的积累,智谱的训练数据来自哪里?

张鹏:做视频生成真的非常依赖于数据。文字数据我们可能积累了很多年,视频数据是这几年才有的事情,而且难度更高。

我们用的视频训练数据主要是来自于两大方面,一方面是公开的数据集,互联网上有很多,尤其开源社区有很多人在做这方面的工作,积累了一些资料。另外就是合作伙伴,像B站、华策、央视帮我们提供了一些训练数据。

就数据的质量问题,所谓高质量视频,和我们一般观众所感受到的略微有一些差别,它包括很多维度,像视频的解析度、风格、分进、组合、连续性等,这个要求非常高,并不是说在短视频网站随便抓一个视频就能训练。所以对于数据本身的清洗、筛选,也是一个很重要的过程,里面有很多技术性的东西,因为你不可能靠人去看这件事,太多了,很多时候还是要靠技术手段改进。

除了有高质量的视频以外,还有对应的字幕、文字、描述等等,这个才能帮助我们训练视频模型。

Q:在算力上,有人说文生视频的算力需求是十倍甚至百倍的增长,但也有人说算力在千卡规模,比一些大语言模型要小很多。你看到算力需求是怎样的?

张鹏:我不是太同意生成视频的算力,会小于文字生成算力这件事情。可能未来很多都会变成多模态信号融合,但以视觉信号为主,视频对人的大脑,目前还是冲击力最强的。前两天有人问我,你看不看好PPT生成这件事。我说跳开这件事来看,PPT为什么比传统胶片方式要更被人接受,是因为有更主观的视觉信号,把文字转换成结构化的信息。未来会不会所有内容都转成视觉形式,没有所谓的PPT,你可以想象这个问题,人交流的需求是什么,什么方式是最直接的?所以这个都有可能。

02

清影的付费方式是怎么定出来的

Q:清影(Ying)付费方式是免费让我排队,但如果要加速,24小时要收5元钱,一年收199元,这是怎么定出来的?

张鹏:你看的是C端,我们也有B端API按价格收取费用。现在还是比较初级的尝试,人人可用,付费加速。想看看看市场和用户的反馈,后面会及时调整。大家喜不喜欢我们也不知道,大家用脚投票吧。主要是因为这个事情虽然已做到这个程度,但成本还是比较高,我相信所有的友商把这个东西不开放出来,很大程度也是因为成本问题,顶不顶得住很多人来用,这也是一个选择。

Q:后续商业化的策略是什么,比较偏向于2C还是2B?

张鹏:清影(Ying)功能上线,主要是阶段性成果,让大家体验一下目前视频生成这样的事情。在每人可用的前提下能做到什么程度,而不是关在实验室里或者在很小的概率上生成出什么东西。

从现在这个阶段来说,无论是2C还是2B,纯粹走向大规模商业化还比较早期。为了公平起见,除了C端和B端,还有创作者们也都能享受这个能力,所以在开放平台开放了API,它有一定的收费,这是为了统一计费方式,但是这样的形式比较亲民。大家知道生成视频成本代价也是非常高的,稍稍收回来一点点成本也是好事。

Q:文生视频会不会出现取代长视频拍摄的手段?

张鹏:这个问题从Sora出现以后一直在讨论,国外已经引起了很大的影响,包括好莱坞罢工等,肯定大家已经意识到它对传统影视行业的影响。甚至有一次我去了北影,和老师们也在聊这件事,大家对这件事的看法,从宏观来讲是比较一致的。从技术发展角度,大家认为这是很好的事情,对影视行业的变化有积极的意义。但至少目前,能把它用在直接面向最终观众的生产过程当中,可能还不是太够,用来做一些辅助的工作是可以的,甚至是做一些小规模的创作,有些专业玩家玩出来的短片,这个可能还是OK的,但真正要达到改变电影的制作等,这些更高要求的事情,可能还得要有一段路去走。

Q:智谱的视频生成产品,是整个模型矩阵中的一部分,还是说未来希望它能够独立形成商业闭环?

张鹏:实际上视频生成并不是孤立来看,是放到整个技术和产品发展路线当中来看,我们认为它是AGI里必须要走的路径。从产品角度来讲,会不会成为一个单独的产品去商业化落地,我觉得这是肯定的,只要市场有需求,作为一个公司就应该做商业化的事情。

Q:目前有哪些商业需求?

张鹏:有些需求在,做广告短片、演示视频、创意概念表达、视觉概念的表达、辅助性的表现,需要时间效率非常快,对细节要求没有那么严苛的,这些产品是能够快速去降低成本和周期。具体客户方面,像线上电商营销、媒体需求、社交平台的短视频需求是比较旺盛的,但是我相信肯定不仅止于这些客户。对于这类客户我们也有计划,也是大家用手投票,我们看哪些需求相对比较集中,会针对性做一些优化。下一步往哪个方向发展,哪些事情会成为技术突破和落地应用最关键的问题,其实我们有很多项目,不可能全部做,会集中在真正解决问题的路径上做,希望它是这样一个闭环,从上到下,从下而上这样一个闭环。

Q:清影(Ying)会不会开源?

张鹏:我们从来同时兼顾开源和商用。我们每一项技术都会有核心的内容以开源方式,开放给开源社区和开发者。我们开源的项目前前后后加在一起有20多个,大量的开源项目也比较有影响力。商业应用是另外一回事,是满足商业客户的需求,要求成本可控、安全、服务质量和稳定性,这两者之间是有一些差异,所以我们坚持做两件事情,统和起来,最终目标还是让我们追寻AGI。

Q:对智谱清言或者清影(Ying)来说,怎么能够把超级APP做出来?

张鹏:清言APP我们定位成人工智能助,帮你做生产力提效,学习效率提升,工作便利的提升。简单来说就是两个字——使用,我们做所有事情都是往实际效用方向走。实际上我们认为所谓的超级APP,可能它不一定是这样的超级,我们也是循序渐进,在潜移默化过程当中,让大家真的爱上使用,习惯上使用这个工具。可能这个改变并不一定是阶跃式的,而且从时间维度来说,过去半年,大家的使用习惯已经改变了非常多,只不过没有让你一觉醒来就有改变的感觉,这是人感知上的误差。

Q:大模型企业都很烧钱,你现在怎么平衡技术研发投入和商业变现?

张鹏:确实做大模型这件事太烧钱了,而且确实也面临市场上的需求,你要商业化落地股票平台有哪些,所以我们是分层次去做。最基础的技术突破创新,是我们消耗资源,其中算力消耗方面是最大的部分。商业化层面是在这个基础之上推进的。但商业化这个事情,源于你的技术创新和驱动,我们不太希望说研究是一张皮,商业化、产品、服务客户是另外一张皮,这样的割裂对企业来讲会面临一个问题,就是怎么样分配资源。我们希望是贯通的,商业化过程当中,服务客户过程当中,就是以我们的技术和产品核心能力驱动的,客户的需求和反馈是我们技术往前创新突破和迈进的驱动力,让两者比较好的闭环,我们努力做到这样的事情。





Powered by 大资本配资|资深证券配资优选平台|线下配资公司优选 @2013-2022 RSS地图 HTML地图

Copyright Powered by365建站 © 2009-2029 联华证券 版权所有