智谱版开源爆火：狂揽，单卡运行，可微调

机器之心报道

机器之心编辑部

智谱AI把自研打造的大模型给开源了。

国内视频生成领域越来越卷了。刚刚，智谱AI宣布将与「清影」同源的视频生成模型——CogVideoX开源。短短几个小时狂揽4k星标。

代码仓库：https://github.com/THUDM/CogVideo

模型下载：https://huggingface.co/THUDM/CogVideoX-2b

技术报告：https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf

7月26日，智谱AI正式发布视频生成产品「清影」，得到大家广泛好评。只要你有好的创意（几个字到几百个字），再加上一点点耐心（30秒），「清影」就能生成1440x960清晰度的高精度视频。

官宣即日起，清影上线清言App，所有用户都可以全方位体验。想要尝试的小伙伴可以去「智谱清言」上体验「清影」生视频的能力。

「清影」的出现被誉为是国内首个人人可用的Sora。发布6天，「清影」生成视频数就突破百万量级。

PC端访问链接：https://chatglm.cn/

移动端访问链接：https://chatglm.cn/download?fr=web_home

为何智谱AI开源模型如此爆火？要知道虽然现在视频生成技术正逐步走向成熟，然而，仍未有一个开源的视频生成模型，能够满足商业级应用的要求。大家熟悉的Sora、Gen-3等都是闭源的。CogVideoX的开源就好比OpenAI将Sora背后的模型开源，对广大研究者而言，意义重大。

CogVideoX开源模型包含多个不同尺寸大小的模型，目前智谱AI开源CogVideoX-2B，它在FP-16精度下的推理仅需18GB显存，微调则只需要40GB显存，这意味着单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。

CogVideoX-2B的提示词上限为226个token，视频长度为6秒，帧率为8帧/秒，视频分辨率为720*480。智谱AI为视频质量的提升预留了广阔的空间，期待开发者们在提示词优化、视频长度、帧率、分辨率、场景微调以及围绕视频的各类功能开发上贡献开源力量。

性能更强参数量更大的模型正在路上，敬请关注与期待。

模型

VAE

视频数据因包含空间和时间信息，其数据量和计算负担远超图像数据。为应对此挑战，智谱提出了基于3D变分自编码器（3DVAE）的视频压缩方法。3DVAE通过三维卷积同时压缩视频的空间和时间维度，实现了更高的压缩率和更好的重建质量。

模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。智谱采用上下文并行技术以适应大规模视频处理。

实验中，智谱AI发现大分辨率编码易于泛化，而增加帧数则挑战较大。因此，智谱分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。

专家Transformer

智谱AI使用VAE的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时，智谱AI使用T5，将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后，反向拼接嵌入来恢复原始潜在空间形状，并使用VAE进行解码以重建视频。

Data

视频生成模型训练需筛选高质量视频数据，以学习真实世界动态。视频可能因人工编辑或拍摄问题而不准确。智谱AI开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。通过video-llama训练的过滤器，智谱版开源爆火：狂揽，单卡运行，可微调智谱AI标注并筛选了20,000个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。

视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。智谱AI提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。这种方法通过Panda70M模型生成简短字幕，使用CogView3模型生成密集图像字幕，然后使用GPT-4模型总结生成最终的短视频。智谱AI还微调了一个基于CogVLM2-Video和Llama3的CogVLM2-Caption模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。

性能

为了评估文本到视频生成的质量，智谱AI使用了VBench中的多个指标，如人类动作、场景、动态程度等。智谱AI还使用了两个额外的视频评估工具：Devil中的DynamicQuality和Chrono-Magic中的GPT4o-MTScore，这些工具专注于视频的动态特性。如下表所示。

智谱AI已经验证了scalinglaw在视频生成方面的有效性，未来会在不断scaleup数据规模和模型规模的同时，探究更具突破式创新的新型模型架构、更高效地压缩视频信息、更充分地融合文本和视频内容。

最后，我们看看「清影」的效果。

提示语：「一艘精致的木制玩具船，桅杆和船帆雕刻精美，平稳地滑过一块模仿海浪的蓝色毛绒地毯。船体漆成浓郁的棕色，有小窗户。地毯柔软而有质感，提供了完美的背景，类似于广阔的海洋。船周围还有各种玩具和儿童用品，暗示着一个好玩的环境。这个场景捕捉到了童年的纯真和想象力，玩具船的旅程象征着在异想天开的室内环境中无尽的冒险。」

视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&tempkey=MTI4MV9icDJxOS9yRm16SlNXUzh3U1ZFd2U1bF9xU0FfUnZleXZSUHdwM0oxUUFSREQ0TkxENmpJQ1lBRDVVTWllTXZsbTNtZVpFazhwVUxXUE5CdFlGRVliNEhobkpsbkZFTG9qVTFIMWk3Rm5BUTIxNlZObFJBLV9MckFONi1zWjlSQnJDa3dRdjRjbUlPV0taNGtja2lQcmcwbnRFVmlZbXZDOGVfVlB3fn4=&chksm=84e43c44b393b552bd137d4389cbe3553f655259c764aba0b53de829eb1b417f1ea5d78b4925&token=1689653070&lang=zh_CN#rd

提示语：「镜头跟随一辆装着黑色车顶行李架的白色老式SUV，它在陡峭的山坡上沿着松树环绕的土路加速行驶，轮胎扬起尘土，阳光照射在沿着土路飞驰的SUV身上，为场景投下温暖的光芒。土路缓缓弯曲向远方延伸，看不到其他汽车或车辆。道路两旁的树木都是红杉，点缀着一片片绿植。从后面看，汽车轻松地顺着弯道行驶，让人觉得它正在崎岖的地形上行驶。土路周围是陡峭的山丘和山脉，头顶是湛蓝的天空，上面飘着薄薄的云彩。」

提示语：「一片白雪皑皑的森林景观，一条土路穿过其中。道路两旁是被白雪覆盖的树木，地面也被白雪覆盖。阳光灿烂，营造出明亮而宁静的氛围。道路上空无一人，视频中看不到任何人或动物。视频的风格是自然风景拍摄，重点是白雪皑皑的森林之美和道路的宁静。」

提示语：「鸡肉和青椒烤肉串在烧烤架上烧烤的特写。浅焦和淡烟。色彩鲜艳」