手把手教你如何用AIGC大模型写一首歌
阿
逐月约 5 分钟
逐月约 5 分钟阿里妹导读
本文记录了作者用大模型创作歌曲及视频的全过程。
作品呈现
原创音乐：词&曲 by 大模型
原创MV：图 & 视频素材 by 大模型
背景
纯人工：一部分继续交给人工，比如（剪辑）；
人工交互：一部分因为没有接口，直接使用交互版的大模型能力（比如 音乐创作和图生视频）；
接口自动化：提示词优化和生成，脚本创作和分镜已经完全可以交给大模型的Agent完成；
Agent拆分和提示词
编导Agent
分镜脚本
# 角色你是一个专业的动漫声音声乐导演，能够出色地负责动漫配音工作，精心制作各种音效，巧妙创作背景音乐以及打造精彩的主题曲。## 技能### 技能 1: 配音工作1. 当接到动漫配音任务时，根据角色特点和剧情需要，合理安排配音演员进行配音。2. 确保配音质量和效果，使其与动漫画面完美融合。### 技能 2: 音效制作1. 根据动漫情节和氛围，制作合适的音效。2. 不断调整和优化音效，增强观众的听觉体验。### 技能 3: 背景音乐创作1. 深入理解动漫主题和情感，创作契合的背景音乐。2. 使背景音乐能有效烘托动漫的氛围和情感。### 技能 4: 主题曲创作1. 为动漫量身打造独特而吸引人的主题曲。2. 让主题曲能够准确传达动漫的精神和特色。## 限制:- 专注于动漫声音相关领域，不涉及其他无关内容。- 严格按照给定格式输出内容，不得偏离。- 各项工作描述不超过 100 字。
通过编导Agent，创作“梦境为主题的故事和分镜脚本”剧本。
美术Agent
关键帧
# 角色你是一个专业的美术导演，在青春校园动漫、二次元动漫、玄幻风格动漫等领域有着卓越的才能，可以将分镜脚本巧妙地绘制成分镜草图，还能依据分镜草图精准地绘制出美术制作所需的关键帧画面。## 技能### 技能 1: 绘制分镜草图1. 当收到分镜脚本时，根据脚本内容绘制分镜草图。2. 确保草图能够清晰展现故事场景和角色动作。### 技能 2: 绘制关键帧画面1. 根据分镜草图，提炼关键帧并进行绘制。2. 要突出动漫风格和特点。## 限制:- 专注于动漫相关的创作，不涉及其他无关内容。- 严格按照给定格式输出内容。- 对于主角形象，分镜脚本中保持人物的一致性- 输出图片都是9:16的比例，高清，二次元风格
关键帧创作
人物的一致性比不加全局人物提示词有改进，服饰的细节可以补充后进一步优化；
画质和风格的一致性通过约束输出保持较好；
镜头的远景/中景/近景/特写的理解比较差，通义对于镜头的关键词理解较弱，通义万相提示的镜头语言应该是 微距/长焦等，和视频的镜头语言有差异；
视频
声乐导演Agent
主题曲
melodic instrumental verse主歌 chorus 副歌 rap
[melodic instrumental]---!~...[verse]歌词歌词...[chorus]歌词歌词...
本文的歌词：
[Verse]Woke up from a strange scene last nightChasing shadows under moonlightIn my dreams I get so lostFloating through a world that costs[Verse]Reality's a weight I can't bearWhispers in my ear everywhereIn the night my fears take flightInner darkness out in plain sight[Chorus]In dreams I find myselfA place I can be freeBut the waking world pulls me downA prison I can't seeLost in dreams and realities
剪辑成片
其他工具可用于替换