大模型AI助力本科教学,人工智能打造新中式园林|2023暑期工作营


东南大学建筑学院《艺术与媒介》课程改变了以往单纯强调绘画技能训练的传统,着力于拓展学生的艺术视野,训练学生的综合媒介运用能力和形式,以及空间的想象力和表现力。对应四个学期,开设体验素描、视觉设计、数字媒介和空间艺术四个单元,对应两个短学期,开设素描实习艺术实践两个课程。四个长学期单元着力于建构学科的知识框架,而短学期课程则试图扩展艺术与媒介研究的边界。从2019年开始,东南大学建筑学院每年举办“艺媒”暑期工作营。

2023年“生成艺术——AI造园”工作营由建筑运算与应用研究所华好老师团队主持,面向二年级升三年级的学生,在暑期展开,为期四周,包括2周艺媒与2周认知实习。工作营采用多模态AI技术进行园林设计活动场景生成,利用文字、图像、视频等方式进行艺术表达。多模态AI将不同的感知模态(图像、语音、文本等)结合起来,利用人工智能技术进行跨模态的分析和生成。通过使用MidjourneyStable diffusion等图像模型,设计师面临全新的设计边界与可能性。中国古典园林的悠久历史、丰富的诗词歌赋、历代传承的山水画AI园林创作提供了极大的想象空间。


1-2周:

学习GPT, Midjourney, Stable diffusion 等人工智能技术。

收集园林的文本与图像素材,用AI生成园林设计、活动场景、人物形象。

3-4周:

AI模型训练与微调。利用图像、文字等的综合方式展示园林设计及其故事场景。时间:2023821-915

学生:柯苗伊,邱清莹,张溪柳,郭音音,赵云涛,付雨陌,魏喻茗,李天骄,宋雨萱,吴若扬,陈艺,严清,詹丽斯,任同同,孙伟童

指导教师:华好,史珈溪

助教:陈心畅,杨翔宇,段成壁

园林设计顾问:邵星宇

答辩评委:李飚,唐芃

主办:建筑运算与应用研究所



人物形象创作:三视图与prompt


张溪柳

李天骄

詹丽斯

魏喻茗

孙伟童



山水园林图像创作

在古代文献中选择一段描述园林的文字(诗句、山水画上的题跋、园记),用英文对其进行扩写,生成四组图像。每一组图像包含大中小三个尺度(全景图、局部透视、细节刻画)的三张图片。

任同同

孙伟童

孙伟童

宋雨萱

郭音音

赵云涛

吴若扬

吴若扬

吴若扬

严清

付雨陌



故事板创作

构思一个发生在园林里的故事,用AI工具生成故事板/漫画/连环画/长卷。

设计要点:

  • 通过图片+文字+排版组合进行叙事。

  • 灵活运用SD+MJ+各类插件技巧。

  • 控制图片风格和画面对象一致和连贯。

  • 设计画面中的空间格局(视角、尺度、内外、虚实)

  • 形成个性化的画面风格。


  李小小的日记  

作者:李天骄



  园林空间站  

作者:魏喻茗



  绿色心脏  

作者:柯苗伊



  造园师2050  

作者:付雨陌





LoRA微调风格

1.选择一段描述的园林风格或要素的文字作为创作主题

2.使用爬虫代码/浏览器插件爬取与主题相关的图片(不少于100张)形成数据集

3.训练LoRA模型

4.一组图表现主题,图中出现训练的要素,或者整体呈现出训练模型的风格。



  岩彩风LoRA  

作者:郭音音, 付雨陌, 赵云涛

孽海情天

相思局

共读西厢

入幻

苦吟

天香楼



  长物志·鹤  

作者:柯苗伊, 邱清莹, 张溪柳

新艺术运动风格(以穆夏Alphonse Much作品为样本)与中国鹤形象的融合。





    剪纸风LoRA    

作者:柯苗伊, 邱清莹, 张溪柳





园林+故事创作

选择一个历史上曾经存在或仅存在于文献中的园林,根据文献资料用AI重现该园林形态;选择一个耳熟能详的故事片段,使其自然的发生在重现的园林中,每个故事场景需对应于总图中的位置和观察方向。



  上林遇  

作者:詹丽斯,任同同,孙伟童



  迷雾  

作者:柯苗伊, 邱清莹, 张溪柳




  红楼梦  

作者:郭音音, 付雨陌, 赵云涛


  圆明园-猫鼠游戏  

作者:吴若扬,陈艺,严清




  坐隐园  

作者:魏喻茗,李天骄,宋雨萱





信息来源:教师综合一党支部|建筑运算与应用研究所



关闭