东南大学建筑学院《艺术与媒介》课程改变了以往单纯强调绘画技能训练的传统,着力于拓展学生的艺术视野,训练学生的综合媒介运用能力和形式,以及空间的想象力和表现力。对应四个学期,开设体验素描、视觉设计、数字媒介和空间艺术四个单元,对应两个短学期,开设素描实习和艺术实践两个课程。四个长学期单元着力于建构学科的知识框架,而短学期课程则试图扩展艺术与媒介研究的边界。从2019年开始,东南大学建筑学院每年举办“艺媒”暑期工作营。
2023年“生成艺术——AI造园”工作营由建筑运算与应用研究所华好老师团队主持,面向二年级升三年级的学生,在暑期展开,为期四周,包括2周艺媒与2周认知实习。工作营采用多模态AI技术进行园林设计与活动场景生成,利用文字、图像、视频等方式进行艺术表达。多模态AI将不同的感知模态(图像、语音、文本等)结合起来,利用人工智能技术进行跨模态的分析和生成。通过使用Midjourney、Stable diffusion等图像模型,设计师面临全新的设计边界与可能性。中国古典园林的悠久历史、丰富的诗词歌赋、历代传承的山水画, 为AI园林创作提供了极大的想象空间。
第1-2周:
学习GPT, Midjourney, Stable diffusion 等人工智能技术。
收集园林的文本与图像素材,用AI生成园林设计、活动场景、人物形象。
第3-4周:
AI模型训练与微调。利用图像、文字等的综合方式展示园林设计及其故事场景。时间:2023年8月21日-9月15日
学生:柯苗伊,邱清莹,张溪柳,郭音音,赵云涛,付雨陌,魏喻茗,李天骄,宋雨萱,吴若扬,陈艺,严清,詹丽斯,任同同,孙伟童
指导教师:华好,史珈溪
助教:陈心畅,杨翔宇,段成壁
园林设计顾问:邵星宇
答辩评委:李飚,唐芃
主办:建筑运算与应用研究所
人物形象创作:三视图与prompt
张溪柳
李天骄
詹丽斯
魏喻茗
孙伟童
山水园林图像创作
在古代文献中选择一段描述园林的文字(诗句、山水画上的题跋、园记),用英文对其进行扩写,生成四组图像。每一组图像包含大中小三个尺度(全景图、局部透视、细节刻画)的三张图片。
任同同
孙伟童
孙伟童
宋雨萱
郭音音
赵云涛
吴若扬
吴若扬
吴若扬
严清
付雨陌
故事板创作
构思一个发生在园林里的故事,用AI工具生成故事板/漫画/连环画/长卷。
设计要点:
通过图片+文字+排版组合进行叙事。
灵活运用SD+MJ+各类插件技巧。
控制图片风格和画面对象一致和连贯。
设计画面中的空间格局(视角、尺度、内外、虚实)
形成个性化的画面风格。
李小小的日记
作者:李天骄
园林空间站
作者:魏喻茗
绿色心脏
作者:柯苗伊
造园师2050
作者:付雨陌
LoRA微调风格
1.选择一段描述的园林风格或要素的文字作为创作主题
2.使用爬虫代码/浏览器插件爬取与主题相关的图片(不少于100张)形成数据集
3.训练LoRA模型
4.一组图表现主题,图中出现训练的要素,或者整体呈现出训练模型的风格。
岩彩风LoRA
作者:郭音音, 付雨陌, 赵云涛
孽海情天
相思局
共读西厢
入幻
苦吟
天香楼
长物志·鹤
作者:柯苗伊, 邱清莹, 张溪柳
新艺术运动风格(以穆夏Alphonse Much作品为样本)与中国鹤形象的融合。
剪纸风LoRA
作者:柯苗伊, 邱清莹, 张溪柳
园林+故事创作
选择一个历史上曾经存在或仅存在于文献中的园林,根据文献资料用AI重现该园林形态;选择一个耳熟能详的故事片段,使其自然的发生在重现的园林中,每个故事场景需对应于总图中的位置和观察方向。
上林遇
作者:詹丽斯,任同同,孙伟童
迷雾
作者:柯苗伊, 邱清莹, 张溪柳
红楼梦
作者:郭音音, 付雨陌, 赵云涛
圆明园-猫鼠游戏
作者:吴若扬,陈艺,严清
坐隐园
作者:魏喻茗,李天骄,宋雨萱
信息来源:教师综合一党支部|建筑运算与应用研究所