「收藏」LLM时代，微软都开源了哪些值得关注的项目？

LLM 时代，科技巨头微软都开源了哪些值得关注的项目？

投资了 OpenAI 可谓是微软近几年最成功的决策，在生成式AI竞争中展现了巨大的优势。

让我们以 ChatGPT 问世这个时间点，也就是2022年11月30日开始，按照时间由远及近来看微软都开源了哪些与生成式AI有关的项目。

由于项目较多，避免文章冗长，我们就选择一些通用领域的重点项目来介绍。

PromptCraft-Robotics

✨ 1.8k

博客：https://aka.ms/ChatGPT-Robotics

视频：https://youtu.be/NYd0QcZcS6Q

论文：https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf

该研究探索了如何利用 ChatGPT 来实现人与机器人的自然语言交互。研究团队设计了一系列设计原则，用以指导语言模型解决机器人任务，包括特殊的提示结构、高级 API 以及通过文本的人类反馈。这些原则旨在让 ChatGPT 能够理解物理世界，并在不同的机器人平台上执行任务，如搬运、航空和导航等领域。研究人员通过实验验证了 ChatGPT 在零次尝试任务规划、人在回路中的复杂任务以及感知 - 行动循环等方面的能力。

JARVIS/HuggingGPT

✨ 23k

论文：https://arxiv.org/abs/2303.17580

演示：https://huggingface.co/spaces/microsoft/HuggingGPT

JARVIS（贾维斯）也就是HuggingGPT，这是一个由大型语言模型（LLM）驱动的代理，它使用 ChatGPT 等 LLM 来连接和管理 Hugging Face 社区中的多种 AI 模型，以解决跨越不同领域和模态的复杂 AI 任务。HuggingGPT 的工作流程包括任务规划、模型选择、子任务执行和结果总结。通过利用 ChatGPT 的强大语言能力和 Hugging Face 上丰富的 AI 模型，HuggingGPT 能够处理包括语言、视觉、语音等在内的多种复杂 AI 任务，为实现人工通用智能迈出了新的一步。

LLMLingua

✨ 4.3k

项目主页：https://llmlingua.com/

LLMLingua 系列研究通过提出的 “LLMs is Compressor” 理念，利用提示压缩技术使用紧凑且训练有素的语言模型（例如 GPT2-small、LLaMA-7B）来识别和删除提示中的非必要 Tokens。这种方法能够进行更高效推理，实现高达 20 倍的压缩率，同时将性能损失降至最低。

UFO

✨ 7.3k

项目文档：https://microsoft.github.io/UFO/

论文：https://arxiv.org/abs/2402.07939

UFO是一个专为 Windows OS 应用程序交互设计的 UI-Focused 智能代理，它利用 GPT-Vision 的能力来观察和分析图形用户界面（GUI）和控件信息，以实现自动化操作和跨应用程序的任务执行。该代理采用双代理架构，能够精确地观察和分析 Windows 应用程序的图形用户界面（GUI）和控件信息。UFO 包含了一个控制交互模块，使其能够无需人工干预地执行行动，并自动完成任务。

TaskWeaver

✨ 5.1k

项目文档：https://microsoft.github.io/TaskWeaver/

TaskWeaver 是一个面向数据分析任务规划与执行的代码优先型代理框架，支持丰富的数据结构和自定义算法插件，能够融入领域特定知识，支持状态保持的对话，提供代码验证和安全沙箱执行环境，以及易于调试和扩展的设计。

与许多仅使用文本中的 LLM 跟踪聊天历史记录的代理框架不同，TaskWeaver 会同时保留聊天历史记录和代码执行历史记录，包括内存数据。此功能增强了代理框架的表现力，使其成为处理高维表格数据等复杂数据结构的理想选择。

TypeChat

✨ 8.1k

项目文档：https://microsoft.github.io/TypeChat/

TypeChat是一个旨在简化自然语言界面构建的工具，它通过模式工程（Schema Engineering）来解决传统方法中的复杂性和大型语言模型带来的挑战。开发者只需要定义相关的类型（types），TypeChat会处理提示的构建、响应的验证和总结，确保与用户意图的一致性。这些类型可以是简单的，如用于分类情感的接口，也可以是复杂的，如用于购物车或音乐应用程序的类型。

在定义了类型之后，TypeChat会自动使用类型构建对LLM的提示，然后验证LLM的响应是否符合模式。如果验证失败，则通过进一步的语言模型交互来修复不符合规范的输出。

LIDA

✨ 2.6k

项目主页：https://microsoft.github.io/lida/

论文：https://aclanthology.org/2023.acl-demo.11/

LIDA 是一个使用LLM生成可视化和忠于数据的信息图表的库。它由四个模块组成：一个摘要生成器（SUMMARIZER），将数据转换为富有内容但简洁的自然语言摘要；一个目标探索器（GOAL EXPLORER），根据数据列举可视化目标；一个可视化生成器（VISGENERATOR），生成、优化、执行并过滤可视化代码；以及一个信息图形生成器（INFOGRAPHER），使用图像生成模型（IGMs）创建忠实于数据的风格化图形。

generative-ai-for-beginners

✨ 58k

链接：https://github.com/microsoft/generative-ai-for-beginners

适合初学者的生成式人工智能课程，提供了一个包含 18 个课时的课程，旨在帮助初学者了解和开始构建生成式 AI 应用程序。课程内容涵盖了从基础知识到实际应用的各个方面，包括 LLMs、文本生成、聊天应用、图像生成、低代码 AI 应用、UX 设计、安全性以及模型微调等。

目前已有58k stars，强烈推荐感兴趣的初学者学习。

AutoGen

✨ 29k

项目文档：https://microsoft.github.io/autogen/

AutoGen 是一个开源编程框架，用于构建 AI 代理并促进多个代理之间的协作以解决任务。AutoGen 旨在简化代理 AI 的开发和研究，就像 PyTorch 对深度学习所做的那样。它提供的功能包括能够相互交互的代理、促进使用各种大型语言模型 (LLM) 和工具使用支持、自主和人机交互工作流程以及多代理对话模式。

Semantic Kernel

✨ 21k

项目文档：https://learn.microsoft.com/en-us/semantic-kernel/overview/

Semantic Kernel 是一个轻量级的开源SDK，用于构建 AI 代理并将最新的 AI 模型集成到 C#、Python 或 Java 代码库中，它作为一个高效的中间件，支持快速交付企业级解决方案。Semantic Kernel 的设计面向未来，可轻松将现有代码连接到随着技术进步而不断发展的最新 AI 模型。当新模型发布时，只需将其替换掉，而无需重写整个代码库）。

Kernel Memory

✨ 1.4k

项目文档：https://github.com/microsoft/kernel-memory

Kernel Memory（KM）是一个多模态的人工智能服务，专注于高效索引数据集，支持混合流水线、检索增强的生成（RAG）、合成内存、提示工程和自定义语义内存处理。KM 可以作为 Web 服务、Docker 容器、插件和.NET 库使用，支持自然语言查询、引用和原始数据源链接。KM 设计为与 Semantic Kernel、Microsoft Copilot 和 ChatGPT 无缝集成，增强数据驱动应用程序的功能。同时，KM 提供了同步和异步的内存 API，适应不同的应用场景和语言需求。

Prompt flow

✨ 8.9k

项目文档：https://microsoft.github.io/promptflow/

Prompt flow是一套开发工具，旨在简化基于 LLM 的 AI 应用程序的端到端开发周期，从构思、原型设计、测试、评估到生产部署和监控。它使快速工程变得更加容易，并使开发者能够构建具有生产质量的 LLM 应用程序。

GraphRAG

✨ 14k

项目文档：https://microsoft.github.io/graphrag/

论文：https://arxiv.org/pdf/2404.16130

GraphRAG 是一种改进型的检索增强生成（RAG）技术，它采用结构化、分层的方法，这与传统的基于纯文本片段的语义搜索不同。GraphRAG 的流程包括从原始文本中提取知识图谱、构建社区层次结构、生成社区摘要，并在执行 RAG 任务时利用这些结构。GraphRAG 的关键优势在于它使用知识图谱而非简单的向量相似性搜索，这使得它在处理需要复杂推理的问题时表现更佳。

以上就是这两年微软所做的一些关注度较高的开源研究和项目，这些工作只是微软开源的冰山一角，OpenAI不Open，但微软很Open。

微软niubility，开源niubility。

最后用比尔·盖茨老爷子的一句话结束~

“

"Certainly there's a phenomenon around open source. You know free software will be a vibrant area. There will be a lot of neat things that get done there." ~ Bill Gates