Enter a clay world
스튜디오 초안을 준비합니다. 여러 단계의 지침은 참고용이며 자동 생성이나 과금은 하지 않습니다.
适用于将任意真实场景转化为3D粘土动画风短片创作。支持用户上传真实照片。工作流包含:真实照片→粘土风转场动效、角色粘土化、场景多视角图生成、旁白驱动叙事。使用 Seedance 2.5 生成视频,TextToSpeech 生成旁白,可选音色参考绑定保证跨镜头一致性。
제작 흐름 본문은 중국어 원문입니다. 언급된 모델과 이 사이트의 지원 모델은 다를 수 있습니다. 실제 모델과 크레딧은 스튜디오에서 확인하세요.
전체 제작 흐름
1. 제작 기획
粘土风场景短片制作阶段逻辑
启动方式判断
- 用户上传了真实照片(场景实拍)→ 进入"照片参考启动"流程:先解析照片,提取空间结构和展示区域划分,作为故事板设计依据。
- 用户未上传照片 → 通过两轮卡片收集核心信息后由 AI 起草剧本和场景描述。
完整制作阶段
阶段 1 — 信息收集与剧本确认 - 若用户已上传照片:使用 resource_prepare_and_analyze 解析照片,识别空间结构、主要展示区域和关键物件,输出摘要供用户确认。
- 若用户未上传照片:通过两轮卡片收集 ① 短片主题/故事核心;② 主要展示区域(2–5个);③ 视觉基调(治愈/简约/复古/活泼等);④ 时长(30s/60s/90s)。
- 询问用户是否需要旁白口播(VO):有旁白 → 由 AI 起草完整旁白脚本(口播自述视角,为每个展示区域分配对应旁白段落),输出供用户审阅确认;无旁白 → 跳过脚本起草,阶段 4、5 整体跳过,BGM 作为唯一音频层。
- 检查点: 主题/场景信息及旁白意愿确认后方可进入阶段 2。
阶段 1b — 实拍照片粘土化(仅当用户上传了真实照片时执行) - 使用 media_generator(ImageToImage)将用户上传的实拍照片逐张转换为粘土风图像:3D粘土动画风格、手工捏制纹理、圆润造型、温暖柔光。
- 生成规格:与原图画幅一致(默认 16:9),2K 分辨率;每张实拍图对应生成一张粘土风版本。
- 生成完成后将粘土风图注册为独立资产,作为后续故事板 key_element 描述参考和阶段 3b 转场动效的目标帧。
- 检查点: 展示粘土化结果,请用户确认视觉风格后再进入阶段 2。
阶段 2 — 规格文档与故事板 - 根据确认内容写入 Final_Video_Spec.md(标题、类型、画幅 16:9、时长、视觉风格:3D粘土动画风、语言、模型偏好)→ text_editor。
- 使用 storyboard_designer 生成故事板:包含角色 key_element、各展示区域场景 key_element、分镜 shot_list、音频层(旁白 + BGM)。
- 检查点: 故事板输出后暂停,邀请用户确认结构后再继续。
阶段 3 — 元素资产生成(角色 + 场景) - 若用户已上传角色参考图 → 通过 media_generator 直接绑定为对应 key_element 资产,不重复生成。
- 若未上传 → 生成粘土风角色参考图(白色背景,全身,细节清晰)。
- 为每个展示区域场景元素生成多视角粘土风图(正面全景、侧面近景、俯瞰、细节特写),可选合并为 16:9 拼图供后续参考。
- 检查点: 元素图生成完毕后暂停,确认视觉风格一致后继续。
阶段 3b — 转场动效(可选,适用于有实拍照片的项目) - 若用户有真实场景照片 + 对应粘土风图 → 使用 media_generator(Seedance 2.5,MultiModalToVideo)生成"真实世界→粘土世界"的渐变转场视频,作为开场或片段过渡。
- 输出规格:16:9,480p,5–7秒。
阶段 4 — 音色锚点建立(仅当用户选择有旁白时执行) - 询问用户是否有音色参考文件可上传。
- 有 → 通过 media_generator 注册并绑定到角色 key_element_audio。
- 无 → 提供两路选择(卡片说明积分差异):
- 路径 A(推荐,消耗积分少): 使用 TextToSpeech,从剧本中为角色选取约 3–5 秒台词生成语音样本,注册并绑定为 key_element_audio(此步骤仅建立音色锚点,与阶段 5 完整旁白 VO 分开处理)。
- 路径 B(消耗积分较多,需提示用户): 使用 Seedance 2.5(MultiModalToVideo),参考角色 key_element 图像生成约 5 秒角色开口讲话视频;再通过 resource_prepare_and_analyze 从视频中提取音频,注册并绑定为 key_element_audio。
阶段 5 — 旁白 VO 生成(仅当用户选择有旁白时执行)
- 生成完整旁白口播音频,语气温和亲切、节奏舒缓。
- 若有音色参考,以其为音色基础生成;若无,使用 TextToSpeech 标准人声。
阶段 6 — 分镜视频生成 - 依次为每个 shot 生成视频,Seedance 2.5 为首选模型。
- 每个 shot 参考对应场景的 key_element 图像作为视觉输入;有旁白时,角色出现的镜头同时引入 key_element_audio 保证跨镜头音色一致。
- 检查点: 每批次(建议每 3–4 个 shot)生成后暂停,用户确认后继续。
阶段 7 — BGM 生成 - 根据短片主题和基调生成匹配的背景音乐(60秒+循环版),作为全片底层 BGM。
- 默认风格:轻柔治愈的 Acoustic/Lo-Fi;可依据用户主题调整为其他合适风格(如城市感 Indie、儿童感 Jingle、自然感 Ambient 等)。
阶段 8 — 最终剪辑与导出 - 使用 video_assembler 将所有 shot 视频和 BGM 组合为最终时间轴;有旁白时,同步加入旁白 VO,旁白节奏与分镜时间对齐,BGM 从头覆盖全片。
- 最终剪辑完成后邀请用户导出。
依赖关系: 1b→1(仅有实拍照片时);2→1,1b;3→2;3b→1b,3;4→3(仅有旁白时);5→4(仅有旁白时);6→2,3,(有旁白时还需4,5);7→2;8→3,6,7,(有旁白时还需5)。
暂停节奏: 不要一口气完成所有阶段。在剧本确认、故事板生成、元素图生成、音色确认、分镜视频每批生成后各暂停一次,等用户确认再推进。
2. 멀티모달 분석
参考资料解析规则
真实场景照片解析
- 识别画面中的空间功能区或展示区域(如表演区、陈列区、工作区、休闲区等),提取其位置关系和视觉特征。
- 记录关键物品细节:物件种类、颜色、材质、布置风格、特色摆件或装置,这些细节将直接转化为故事板 key_element 描述。
- 判断自然光方向与色温(黄金时刻、阴天散射、人工光源等),作为粘土风场景的打光参考。
- 输出结构化摘要:空间布局 → 各展示区域特征 → 关键物品列表 → 推荐粘土化处理建议。
角色参考图解析 - 提取角色的体型、肤色、发型、服装颜色与款式、配饰等特征,作为粘土风角色 key_element 描述的基础。
- 记录多张参考图中的差异(如正面/侧面/白底图),标注哪张图最适合作为生成主参考(通常选白底全身图)。
3. 스토리보드 설계
故事板设计规则
视觉风格全局定义
- 全片统一使用 3D粘土动画风(Claymation):微缩模型质感,表面有手工捏制纹理,圆润可爱造型,色彩饱满鲜明,温暖柔光打光,类似定格动画的停格质感。
- 背景环境均为粘土化微缩空间,真实感物品须在描述中强调"粘土质感"(如"粘土质感的水珠"、"粘土压纹的叶片"、"粘土感砖墙纹理")。
Key Elements 规则 - 必须为每个展示区域或场景(如咖啡馆吧台、城市街角、工作室桌面等)建立独立的 key_element,描述应包含:空间构成、主要物品及其粘土化特征、灯光氛围、背景环境。
- 若有角色出现,为主角建立角色 key_element,描述应包含:粘土质感肤色、发型质感、服装颜色与款式、鞋款、配饰。
- 每个角色 key_element 预留 key_element_audio 槽位,用于绑定音色参考(适用于有口播旁白的角色)。
Shot 结构规则 - 每个展示区域对应 1–3 个 shot,采用"内部剪切"结构:shot 描述中须明确时间节点(如 0–4s 全景,4–7s 特写),每个 shot 时长 5–10 秒。
- 典型 shot 结构:① 建立镜头(全景/中景)展示区域环境 → ② 近景/特写捕捉关键细节或角色互动。
- 开场 shot 建议使用"全景拉远"运镜建立整体场景环境,结尾 shot 使用画面渐隐淡出。
音频层规则 - 必须包含 BGM 层:与主题匹配的轻柔背景音乐,全片覆盖。若用户选择有旁白,还须包含旁白(VO)层:温和亲切口吻的叙述者自述,分段与各 shot 精确对齐;无旁白时仅保留 BGM 单音频层。
- 旁白层(如有)描述须包含完整脚本文本,每个 shot 的 audio_alignment 字段须精确标注对应旁白句段。
4. 미디어 생성
生成策略
图像生成(场景 key_element 图)
- 场景多视角图优先使用 ImageToImage(Nano Banana 2 / Gemini Flash Image),以用户上传的真实照片或已有参考图为输入,生成4个视角:正面全景、侧面近景、俯瞰视角、细节特写,规格 2K 16:9。
- 角色参考图使用白色背景、全身展示,优先使用 ImageToImage 基于用户上传图生成,无上传图时使用 TextToImage。
- 多视角拼图(宫格展示)使用 ImageToImage(Nano Banana Pro / Gemini Pro Image),将4张视角图拼合为一张 16:9 展示图,注册为独立资产绑定到对应 key_element。
视频生成(分镜 shot) - 优先模型:Seedance 2.5,路径 MultiModalToVideo,规格 16:9,480p,时长按 shot 描述(最低 4 秒)。
- 每个 shot 必须将对应场景的 key_element 图像作为 reference_image 输入;有旁白时,角色出现的 shot 同时引入 key_element_audio 作为音频条件,确保跨镜头音色一致。
- 若 Seedance 2.5 生成失败,优先在同工具内切换其他可用模型;若该工具下所有模型均失败,停止任务并告知用户,由用户决定是否切换路径。
转场动效(真实→粘土) - 若用户提供实拍照片 + 对应粘土风图,使用 MultiModalToVideo(Seedance 2.5),以实拍照片为起始 reference_image,粘土风图为目标 reference_image,生成渐变转场视频(5–7秒,16:9,480p)。
- 若 Seedance 2.5 生成失败,优先在同工具内切换其他可用模型;若均失败,停止并告知用户。
旁白生成(仅当用户选择有旁白时执行) - 默认使用 TextToSpeech 生成完整旁白 VO,选用与内容气质匹配的声线(依用户偏好及短片主题)。
- 若用户上传了音色参考,使用 MultiModalToAudio(Seed Audio 音色克隆路径)基于参考生成,保证音色一致性;Seed Audio voice_id 须通过 search_voice_id(service_provider = "seed_audio")获取。
BGM 生成 - 使用 text_to_instrumental 生成,风格根据短片主题灵活适配:
- 居家/治愈类:Acoustic/Lo-Fi 吉他,节奏和缓,温暖纯净
- 城市/街拍类:Indie Pop 或 Light Jazz,节奏轻快
- 自然/户外类:Ambient 或 Folk,空灵舒展
- 儿童/活泼类:轻快 Jingle 或 Toy Piano
- 时长 60 秒以上(配合循环)。
Asset Binding Contract - 遵循当前 manage_item_assets 合约,使用故事板中的实际目标 ID,不在 Skill 中另行定义 ID 模板。
- 生成前使用 query_assets_info 检查目标 asset_id 的当前绑定状态,避免覆盖已有有效资产。
- 用户上传的参考图/音频直接通过 manage_item_assets 注册并绑定到对应 key_element,不重复生成。
- key_element_audio 绑定完成后须 query_assets_info 验证绑定成功,再进行依赖该音色的 shot 视频生成;不得让无关视频生成步骤等待音色绑定。
- 多视角图(正面全景、侧面近景、俯瞰视角、细节特写)和拼图均作为独立资产绑定到对应 key_element,保留完整的 asset_bindings 数组。
- 每项绑定的类型与角色以资产实际用途和故事板规划位置为准,不得仅凭媒体标签推断绑定类型;一个资产服务多种用途时,须在完整 asset_bindings 数组中保留所有适用绑定。
5. 프롬프트 작성
Prompt 写作规则
粘土风图像 Prompt(通用基础)
- 开头必须明确风格标签:3D claymation style, stop-motion feel, handcrafted clay texture。
- 场景描述中须强调粘土材质特征:物体表面的指纹捏制纹理、圆润边缘、饱满色彩、温暖柔光(warm soft lighting)。
- 特写镜头 prompt 中强调材质细节:visible clay texture, smooth rounded forms, matte surface。
- 避免写入摄影/写实风格词汇(如 photorealistic、DSLR、lens flare),这会破坏粘土质感。
🧍 人物粘土化 Prompt 规则
人物的粘土化核心在于"体积感"和"表面质感归一化",与场景侧重的"空间微缩感"不同,须分开处理: - 皮肤/肤色: smooth matte clay skin, subtle hand-sculpted surface marks, semi-matte finish, soft diffuse highlight on nose tip and cheeks only;避免写实皮肤词汇(pores, subsurface scattering, skin texture)
- 头发: hair styled as clusters of round clay balls, thick and uniform, no individual strands, hard sculptural volume;避免丝状发丝、飘逸感
- 服装: clothing with exaggerated fabric thickness, rounded deep folds, pressed clay relief texture on surface;避免轻薄织物感、写实布料纹理
- 面部: large circular black eyes with single dot highlight, simplified nose bridge, smooth lip line, rounded thick ears, balanced cheerful expression
- 整体轮廓与体积: fully rounded silhouette, cylindrical limbs, solid full-bodied clay volume, no sharp edges anywhere
- 人物打光: soft top-side lighting, broad diffuse highlights, very gradual shadow transitions, indoor ambient warmth
- 人物色调: warm orange-yellow skin tone, medium color saturation, coordinated warm palette for clothing
🏠 场景粘土化 Prompt 规则
场景的粘土化核心在于"微缩模型感"和"材质统一转化",每类材质有专属粘土化语言: - 整体空间氛围: miniature diorama feel, slightly compressed perspective, all objects look like handcrafted clay models on a display shelf;推荐加入浅景深关键词:shallow depth of field, foreground and background slightly soft, tilt-shift miniature effect
- 木质家具: wood grain carved into clay surface, thick panel joints, slightly irregular edges, coarse hand-carved texture lines, solid weight
- 金属/电器物件: metallic clay surface with subtle dull sheen, rounded industrial shapes, soft curved corners replacing sharp edges, industrial coldness removed
- 玻璃/透明物件: thick transparent resin-like material, heavy rounded edges, frosted translucency, no thin glass effect
- 布艺(窗帘/地毯/沙发): 窗帘:heavy draped clay fabric, wide cylindrical folds, rigid and sculptural, not flowing;地毯:woven clay strips texture, thick pressed clay mat, hand-cut edge effect
- 植物叶片: thick succulent clay leaves, rounded blunt leaf tips, matte surface with shallow carved vein lines, no paper-thin transparency
- 墙面/地面: 墙面:unevenly smoothed clay wall surface, hand-applied plaster texture;地面:thick clay floorboard planks, visible plank gaps with slight deformation at edges
- 打光与氛围: warm golden side-lighting at 45°, soft diffused glow, dappled shadow pattern on wall as key atmospheric detail
- 场景色调: warm earth-tone base (cream, tan, warm brown), saturated accent color blocks, cohesive warm filter overlay, medium-high saturation with low contrast
🎬 转场动效 Prompt(真实→粘土) - 分两层描述转化过程:starting with realistic photo texture and sharp details, gradually morphing: surfaces thicken and soften, sharp edges round off, colors warm up and saturate, final frame fully in claymation style
- 人物转场须额外说明:皮肤从写实质感过渡到哑光粘土面,发型从自然发丝转化为球形堆叠
- 场景转场须额外说明:硬质物件边角圆润化、木纹和织物从写实转为粘土压纹效果
粘土风视频 Prompt - 遵循"场景建立 → 运镜描述 → 关键动作/细节 → 氛围收尾"的四段结构。
- 运镜描述须具体:slow pull-back revealing、gentle orbit around subject、smooth push-in to close-up,避免泛泛写"镜头移动"。
- 角色动作描述保持温和治愈基调:自然微笑、轻柔触碰、慢节奏动作,避免夸张或快速动作词汇。
- 若旁白 VO 已规划为独立音频层,视频 prompt 中不得重复完整 VO 脚本;常驻否定词:no music、no subtitles。
旁白 Prompt - 提供完整脚本文本,不截断。
- 说明语气要求,依据短片主题适配:治愈类用温和亲切,语速和缓,带有治愈感;活泼类用轻快明朗,富有感染力;纪录类用沉稳真诚,娓娓道来。
- 若有音色参考,标注以音色参考为基础,输出的音调和节奏需与参考接近。
实拍照片转粘土风图像:通用母提示词
将用户提供的实拍照片,转换为一张高质量、统一风格、适合叙事和分镜使用的粘土风画面。请保留原图中的主体内容、空间结构、主要构图、视觉重点和场景氛围,不随意改变核心信息。将画面中的人物、建筑、家具、植物、器物、街景、交通工具、自然元素和环境细节,统一转化为精致细腻的手工粘土材质,呈现温暖、柔和、可触、具有定格动画气质的视觉效果。
整体风格应像一个被手工捏制出来的微缩世界:边缘圆润柔和,表面带有轻微手工塑形痕迹,具有细腻哑光质感,材质统一,风格统一,具有轻微童话感和生活感,精致、克制、治愈,而非低幼或廉价玩具感。
转化原则:保留原图识别度(主体不能被改得面目全非);材质统一(整张图都应属于同一个粘土世界);氛围保留(保留原图的时间感、情绪感和环境气质);适合视觉叙事(主体明确,层次清晰,空间关系合理);审美高级(避免幼稚、杂乱、过度夸张或强烈塑料感)。
画面整体色彩可以柔和、略低饱和、带温度感,保留原场景的主色调逻辑。最终效果应像一帧高完成度的粘土动画电影画面,而不是廉价玩具模型或简单卡通插画。
避免:廉价塑料玩具感 / 强烈3D CG感 / 低幼卡通感 / 真实材质与粘土材质混杂 / 场景比例混乱 / 主体失真严重 / 画面过花过杂过于装饰化。
场景类型补充提示词模块
在通用母提示词基础上,按场景类型追加以下对应模块:
- 人物肖像 / 人像场景(单人照、半身照、生活照、街拍、旅行人像):保留人物原本的身份特征、脸型、五官比例、发型、年龄感和气质,不要把人物变成另一个人。将人物整体转化为精致的手工粘土公仔风格,五官适度简化但仍然清晰可辨,服装、发型和动作也统一转为粘土质感。保持原图的人物姿态、视线、动作和构图逻辑。避免人物表情僵硬、过度Q版化、比例失衡或面部漂移。
- 街景 / 城市场景(街道、建筑外立面、十字路口、商圈、巷子、夜景街道):保留原图中的道路结构、建筑关系、街道层次、招牌位置、车辆与行人分布。若画面有夜景,请保留灯光氛围,让粘土风夜色呈现温暖、迷人、略带童话感的效果。避免场景过于玩具模型化,避免建筑失去结构感。
- 咖啡馆 / 餐厅 / 商业空间(咖啡馆、甜品店、书店、买手店、展厅、精品店等):保留原有空间布局、桌椅陈设、柜台结构、灯光氛围和主要视觉焦点。如果是餐饮场景,食物、杯具和器皿也需要呈现柔和精致、可辨识度高的粘土质感。画面应可爱但不低幼,精致但不过分装饰化。
- 办公空间 / 工作场景(办公桌、会议室、工作台、创作空间、电脑桌面等):保留"正在工作 / 创作"的功能氛围,让画面兼具可爱感与秩序感。如果画面中有人物,请保留其动作姿态与专注状态。避免把办公空间做得过分幼稚,保持简洁、清楚和轻微生活方式感。
- 旅行 / 风景 / 户外场景(海边、山地、草地、湖边、沙漠、雪景、古镇、城市旅行照):保留旅行场景的空气感、空间感和地点特征,同时增强一点温柔、梦幻的粘土童话感。如果画面有著名景观或地标,应保持其基本识别度。避免把自然场景做得过于平面化或缺少层次。
- 自然微景 / 植物 / 花园场景(花草、花园、露台、森林角落、植物特写):植物应生动自然、层次丰富,但整体造型略带手工塑形感,不必追求写实叶脉。画面整体应清新、放松、有呼吸感,像一个被手工捏出来的小小生态世界。避免把植物做得太塑料或太像儿童插画。
- 静物 / 产品 / 桌面物件场景(产品展示、桌面摆拍、器物陈列、生活方式静物):如果是品牌产品,请尽量保留产品轮廓和关键识别特征,但用统一粘土风重新表达。画面应有陈列美感,结构清楚,主体突出。避免过度变形,避免让产品失去辨识度。
- 交通工具 / 出行场景(汽车、火车、飞机、骑行、地铁、船、摩托等):保留交通工具的基本结构、比例、关键外形和所在环境关系。画面可以略带微缩模型般的趣味,但仍应高级、完整、统一。避免交通工具结构错误或比例夸张失真。
- 活动 / 派对 / 生活场景(聚会、用餐、表演、手作、节日活动、室内聚集场景):强调画面中的互动感、热闹感或仪式感,但仍保持温暖、可爱、整洁。多人场景中,各人物应风格统一、比例协调,不要出现个体漂移或表情过于怪异。避免画面过乱,确保主体关系清晰。
- 电影感 / 分镜感场景(短片分镜参考、关键帧生成、故事板制作):让画面适合作为短片分镜、关键帧或故事板参考,主体清晰,情绪明确,空间关系合理。可以适度增强光线层次和氛围感,但不要破坏原图主体和构图逻辑。最终画面应像来自同一部高质量定格动画短片。
6. 동영상 조립
时间轴剪辑规则
整体节奏
- 全片节奏和缓,避免快切和闪烁转场;shot 之间使用简单直切或轻微淡入淡出(0.3–0.5秒)。
- BGM 从第 0 秒开始,音量作为全片底层氛围音。
- 若有旁白 VO:紧跟视频第 0 秒开始,各段落与对应 shot 精确对齐,不留明显空档;BGM 音量须低于旁白 VO,以不掩盖旁白清晰度为准。
- 无旁白时:BGM 音量适当提高,充分填满空间感。
音轨布局 - 旁白 VO(如有)占用 Audio 1 轨道,BGM 占用 Audio 2 轨道;无旁白时 BGM 单独占用 Audio 1 轨道。
结尾处理 - 最后一个 shot 结束时,视频画面轻柔渐黑(fade to black),BGM 同步淡出(1–2秒);有旁白时,旁白在最后一句讲完后自然结束,无需强制淡出。
转场动效片段(如有) - 真实→粘土转场视频放置在时间轴最前端(开场),与第一个粘土风 shot 直接对接。