在人工智能技术的飞速发展中，Scribble Diffusion作为一个开源的AI驱动的网络应用，为用户带来了将手绘草图转化为令人惊叹的画作的新体验。这篇文章将带深入了解Scribble Diffusion背后的技术，并探讨它是如何将涂鸦变为生动的艺术作品的。
Scribble Diffusion是由一位名为Zeke的复制工程师开发的，它是一个免费的开源AI驱动的网络应用，允许用户通过添加文本提示将手绘艺术转化为美丽的画作。这个创新的应用建立在ControlNet这一神经网络结构之上，由Lvmin Zhang和Maneesh Agrawala开发。ControlNet能够控制大型扩散模型，并接受额外的输入条件，例如本例中的人类涂鸦。
ControlNet是Scribble Diffusion的基础，它在二月份发布。这一开创性的神经网络结构使得Stable Diffusion能够通过其他输入如边缘检测、深度图和姿态估计等进行条件化。开发者已经开始使用ControlNet构建应用，为AI爱好者提供了广泛的工具，以实验不同类型的模型。
例如，有一个应用通过匹配输入的棍图姿态生成DreamBooth图像。另一个模板Riffusion通过将音频帧转换为音频，实时生成AI音乐。这种方法通过精细化Stable Diffusion来创建频谱图，这是音频的视觉表示。Amazing AI建立在Stable Diffusion 1.5的基础上，原生支持macOS，不需要互联网连接，因为所有计算都在本地执行。
Scribble Diffusion利用一系列先进的工具和技术将草图转化为迷人的艺术作品。以下是它的工作原理：首先检测轮廓，然后进行关键点检测，接着使用Stable Diffusion生成最终输出。