Ai开源项目

StoryDiffusion 是一款由南开大学HVision团队开发的人工智能工具，主要功能包括生成连贯的图像和视频故事，以及漫画生成创作。StoryDiffusion利用一致性自注意力（Consistent Self-Attention）技术，能够在无需训练的情况下生成主题一致的图像，这些图像可以

ChatTTS视频演示ChatTTS，一个专门用于对话场景的免费在线文本转语音TTS模型，适用于自然、对话式文本转语音。它支持英文和中文两种语言。这个语音专文本TTS模型 应该是目前对中文支持最好的了，ChatTTS模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小

硅基智能开源了DUIX，DUIX是2D 真人级、aiGC 实时渲染数字人模型！DUIX（Dialogue User Interface System）是硅基智能打造的AI数字人智能交互平台。通过将数字人交互能力开源，开发者可自行接入多方大模型、语音识别（ASR）、语音合成（TTS）能力，实现数字人实

AutoStudio，一个多轮对话过程中无论用户在对话中添加或修改什么内容，都能保持图像生成一致性，可以直接产出情节完整的漫画内容的工具。AutoStudio 通过使用四个智能体来分别处理图像生成的各个环节。无论用户在每轮对话中添加或修改什么内容，用户可以生成多样化的图像序列，系统都能确保生成的图像

Farfalle.dev 是一个开源 ai 驱动的答案AI搜索引擎，定位为 Perplexity 的自托管替代品。它允许用户运行本地大型语言模型 (LLMs)，例如 llama3、gemma、mistral 和 phi3，或通过 LiteLLM 使用自定义 LLMs。此外，它还支持 Groq/Lla

腾讯和上交大出的，MimicMotion可以生成任意长度、具有任何动作指导的高质量视频生成框架，可以生成细节丰富、逼真的人类动作视频，可以生成任意长度的视频内容，可以对视频内容进行精确控制，包括动作、姿势和视频风格等。类似阿里的通义舞王，但效果看起来比阿里通义舞王好很多，MimicMotion支持面

SupIR是什么？SupIR是一个通过增加模型规模来提升图像修复能力的技术，SupIR能够根据文本提示进行智能修复，提高图像修复的质量和智能程度。SupIR是一种突破性的图像恢复方法，它利用了生成先验和模型放大的力量。利用多模态技术和先进的生成先验，SUPIR标志着智能和逼真的图像恢复的重大进步。作

WhisperFusion 建立在开源工具 WhisperLive 和 WhisperSpeech 的功能之上。WhisperFusion可以让你和ai聊天机器人进行超低延迟对话，同时它还整合了Mistral模型，增强对转录文本上下文的理解。使得WhisperFusion能更好地理解人说的每句话背后

OOTDiffusion：一个高度可控的虚拟服装试穿开源工具，可以根据不同性别和体型自动调整，和模特非常贴合。也可以根据自己的需求和偏好调整试穿效果，OOTDiffusion支持半身模型和全身模型两种模式。OOTDiffusion GitHub：https://github.com/levihsu/

Sora.FM 是用于生成 Sora ai 视频的开源 Web 模板，使用 nextjs 创建。生成视频的接口暂时 Mock，等 Sora API 发布后可快速替换上线。 支持数据读写，可以把全网收集到的Sora视频更新到DB，先做一个 Sora Showcase 网站跑流量。 开发者：idoubi

我们认为开源 ai 图像、视频生成工具值得有更好的交互体验设计，而不是 WebUI 和 ComfyUI 那样原生的样子。很多人不愿意学习或者参与到 AI 生成这个浪潮中，最关键的原因是工具门槛太高。而这正是 Comflowy 要解决的问题，为此我们开发了一款更易用 & 更有用的 AI 图像、视频生成

迅排设计Poster-Design，一款漂亮易用且功能强大的创意图片编辑器，对标稿定设计、创客贴、Canva 等商业产品。迅排设计适用于海报生成、电商分享图、文章长图、视频/公众号封面等多种场景，无需下载软件即可轻松实现云端编辑、迅速完成图文排版。迅排设计Github仓库地址：https://git

HiDiffusion大幅提升扩散模型的图像生成质速度提升6倍，由字节跳动的研究团队开发，HiDiffusion无需训练，只需要一行代码就可以提高 SD 生成图像的清晰度和生成速度。支持将图像生成的分辨率提高至4096×4096，同时将图像生成速度提升1.5至6倍。还能在高分辨率图像生成中将推理时间

Stirling-PDF，一个基于Web强大的开源PDF操作工具。它使您能够对 PDF 文件执行各种操作，包括拆分、合并、转换、重组、添加图像、旋转、压缩等。Stirling-PDF非常注意安全，所有文件和 PDF 要么仅存在于客户端，要么仅在任务执行期间驻留在服务器内存中，要么仅临时驻留在文件中以

Diffutoon 是一项突破性的卡通着色进步，植根于扩散模型，可将逼真的视频无缝地转变为动漫视觉风格。该方法将卡通着色挑战分解为四个可辨别的方面：风格化、一致性增强、结构指导和着色。其主要卡通着色管道由植根于动漫风格扩散原理的多模块去噪模型推动，拥有令人印象深刻的渲染详细、高分辨率和长时间视频的能

Lumiere是谷歌研究院团队开发的基于空间时间的文本到视频扩散模型。Lumiere采用了创新的空间时间U-Net架构，该架构通过模型中的单次传递一次性生成视频的整个时间，不同于其他模型那样逐帧合成视频。确保了生成视频的连贯性和逼真度，Lumiere可以轻松促进广泛的内容创建任务和视频编辑应用程序，

Audio2Face，一款由ai驱动的应用程序，通过语音生成富有表现力的3D面部动画。Audio2Face 简化了 3D 角色的动画，以匹配任何画外音轨道，无论您是为游戏、电影、实时数字助理制作角色动画，还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。Audi

Beeble ai和纽约大学一起发布的论文，支持一非常低的成本让人物同虚拟环境的光照相融合，效果看起来非常好。使用 Beeble AI 的 SwitchLight 体验 AI Relighting 的强大功能。毫不费力地改变图像和视频中的照明，实现超逼真的效果。使用 Beeble AI 的创新技术，

Magi模型，可以自动将漫画转录成文字并自动生成剧本，还可以通过识别漫画页面上的面板、文字块和角色，重新排序和关联，输出连贯的对话内容，准确地为每幅漫画生成文本记录，从而保证输出文本的逻辑性，使整个流程更加高效。Magi模型由牛津大学工程科学系的视觉几何组开发。Magi适用于那些需要将漫画图片自动化

LangChain是一个用于构建基于大型语言模型（LLMs）的应用程序的开源框架。 LLMs 是根据大量数据预先训练的大型深度学习模型，可以生成对用户查询的响应，例如回答问题或根据基于文本的提示创建图像。 LangChain 提供工具和抽象来提高模型生成信息的定制性、准确性和相关性。它通过将语言模型

AniPortrait是一款由腾讯研究人员开发的音频驱动的肖像动画合成框架，它能够根据音频和静态人脸图片生成逼真的动态视频。AniPortrait的应用场景包括为视频配音或创作逼真的人脸动画、制作创意表情包或独特的动态头像以及为艺术家和创作者提供面部再现和动画生成的工具。AniPortrait功能特

IDM-VTON是一种先进的虚拟试穿技术，它通过结合视觉编码器和UNet模型来生成高质量的虚拟试穿图像，并且可以通过定制来进一步提高图像的一致性和真实性。IDM-VTON技术特点:高度真实感: 生成的试衣图像细节精细，提供接近现实的试衣体验。复杂背景处理: 在户外或背景复杂的场景中，准确展示衣物试穿

Perplexica是一个开源的ai驱动搜索引擎，它提供了多种搜索模式，为用户提供更精准、更智能的搜索体验。这个搜索引擎受到Perplexity AI的启发，能够根据用户的需求调整搜索算法，以获得更相关的搜索结果。同时，Perplexica使用了先进的机器学习算法来优化其搜索功能。Perplexic

XHS-Downloader，小红书链接提取/作品采集工具：提取账号发布、收藏、点赞作品链接；提取搜索结果作品链接、用户链接；采集小红书作品信息；提取小红书作品下载地址；下载小红书无水印作品文件！XHS-Downloader程序功能：采集小红书作品信息提取小红书作品下载地址下载小红书无水印作品文件自

Omnivore是一个开源的“稍后阅读”应用，它允许用户保存、标记和分享文章，还支持PDF文件和邮件添加文章。Omnivore提供了跨平台应用和浏览器扩展，方便用户在不同设备上使用。用户可以离线访问已保存的内容，并通过Logseq和Obsidian插件将Omnivore集成到他们的工作流程中。项目完

FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器，并使用 LLM 生成答案，无需 GPU。用户可以提出问题，系统将使用searxng进行多引擎搜索，并将搜索结果合并到ChatGPT3.5 LLM中，并根据搜索结果生成答案。所有进程都在本地运行，不需要 GPU 或 Opena

CodeFormer是一个高级的人工智能图像处理工具，Cody Former专注于面部修复、图片清晰化以及视频去除马赛克和修复。CodeFormer利用了先进的ai技术，包括基于Transformer的架构和注意力机制，能够有效地分析和处理图像，使之恢复如新，增强颜色，恢复面部细节，并减少照片中的噪

Emote Portrait Alive是阿里巴巴发布的EMO，一种音频驱动的AI肖像视频生成框架。输入单个参考图像和声音音频，例如说话和唱歌，Emote Portrait Alive就可以生成具有表情丰富的面部表情和各种头部姿势的声音肖像视频，让照片中的人物根据音频内容自然地张嘴说话或唱歌，面部表

Kolors Virtual Try-On是一个由快手可图团队开发的ai试衣技术，通过可图AI试衣，用户上传自已的照片，就可以在几秒钟内看到自己穿上不同衣服的效果。可图AI试衣在可图基座模型基础上，引入衣服SKU保持网络，实现服饰细节特征的提取与表征。目的在于让用户可以即时看到服装在自己身上的效果，

Linly-Dubbing是一款开源的多语言ai配音和视频翻译工具。Linly-Dubbing可以自动将视频翻译成其他语言并生成字幕、克隆视频中说话者的声音并自动配音、进行口型同步。Linly-Dubbing主要特征：自动下载视频：支持从YouTube等网站下载视频多语言支持：支持中文和多种语言的配

RMBG-2.0是由BRIA ai开发的开源图像背景移除模型，它通过卷积神经网络（CNN），来实现高精度的前景与背景分离。RMBG-2.0模型在精心挑选的数据集上进行了训练，包括：一般图像、电子商务、游戏和广告内容，使其适用于支持大规模企业内容创建的商业用例。其准确性、效率和多功能性目前可与领先的

LTXV，LTX Video的简称，是由ai公司Lightricks推出的开源AI生成视频模型，LTX-Video 是第一个基于 DiT 的视频生成模型，可以实时生成具有逼真和多样化内容的高分辨率视频。LTXV模型基于2亿参数的DiT架构，能够在4秒内生成5秒的高质量视频，速度超过观看速度。LTXV

EchoMimic是一个蚂蚁集团支付宝基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节，可用于虚拟主播、视频编辑等，效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅。EchoMimic可以根据人像面部特征和音频来帮人物对

LabelLLM是一个开源的数据标注平台，致力于优化对于大型语言模型（LLM）开发不可或缺的数据标注过程。LabelLLM的设计理念旨在成为独立开发者和中小型研究团队提高标注效率的有力工具。LabelLLM的核心在于通过提供全面的任务管理解决方案和多样化的多模态数据支持，简化并增强模型训练的数据注释

VideoDoodles是一款能在视频中轻松任意插入手绘动画并与视频内容无缝融合的ai工具，它将视频内容与手绘动画相结合，制作出独特的视频剪辑。通过VideoDoodles你可以在视频中添加手绘涂擦动画，比如你可以画个搞笑的小人或者别 的手绘元素插入到视频中，让视频更吸引人。这些动画不仅能跟随视频中

YouDub-webui是一款开源的多语言ai配音和视频翻译工具，YouDub-webui提供了一套完整的视频中文化工具包，涵盖了从视频下载、语音识别、字幕翻译、AI声音克隆、视频处理、自动上传等一系列流程。YouDub-webui 是 YouDub 项目的网页交互版本，基于 Gradio 构建，为

libcom是由上海交通大学BCMI实验室耗资数百万、历经六年时间研发的图像合成工具箱，它在2023年底正式发布，并迅速获得关注，截至2024年10月，其下载量已突破1.2万次。libcom集成了十余项图像合成功能，包括前景背景融合、光照匹配、阴影生成等，结合传统方法与深度学习技术，显著提升合成图像

FacePoke 是一个免费的建立在LivePortrait框架上的在线AI工具，专注于实时编辑人像的面部表情和头部位置。FacePoke利用先进的AI算法，让用户能够实时调整和操纵数字肖像中的面部特征和表情，赋予静态图像生动的动画效果，如眨眼、嘴部动作等。用户可以通过简单的点击操作，轻松改变数码肖

ChatNio是一个集合了各种流行的模型和服务的一站式平台，支持 Openai，Midjourney，Claude，讯飞星火，Stable Diffusion，DALL·E，ChatGLM，通义千问，腾讯混元，360 智脑，百川 AI，火山方舟，新必应，Gemini，Moonshot 等模型，支持对

AnchorCrafter是由中国科学院和腾讯联手打造的一款ai虚拟主播带货神器，它利用先进的AI技术，能够生成自然流畅的带货视频，极大地提升了电商视频制作的质量和效率。AnchorCrafter是什么？AnchorCrafter是一种基于扩散的系统，通过将人类与物体的交互（Human-Object