ReaderMX.
马丁的面包屑

又突发：微软发布Microsoft 365 Copilot——一种全新的工作方式

马做产品的马丁约 5 分钟
Image
本文讲什么：
1.  Microsoft 365 Copilot分析（提供前置技术、商业信息，辅助你判断）
2.  Microsoft 365 Copilot介绍（他上线了什么，逐个介绍）
强烈建议查看演示视频，文字真的太单薄了！
https://news.microsoft.com/reinventing-productivity/#more-resources
分析
前置技术理解
还记得我絮絮叨叨反反复复说的多模态和工具互联这两个LLM的尤里卡时刻吗？
其中多模态已经在GPT-4发布中验证了，而工具互联就印证在Microsoft 365 Copilot中。大家可以阅读怎么风平浪静的？多模态+Toolformer，这波还不原地起飞？做详细了解。
我这里简单介绍一下（已了解的跳过）。
多模态就是LLM具备对图像的理解能力，他能看懂图片了。例如下图，不仅仅是“这是一张中国交易应用程序的屏幕截图"，而是"这是百度（美国）的股价，看起来他有点震荡，能与刚举行的发布会有关"。
Image
工具互联就是你可以让LLM去使用工具。例如他不擅长计算，那就别优化数学能力了，直接让它使用计算机。同理可以让他操作Excel、操作PPT、操作PS、操作智能家居等等。
这里面的关键是：1，计算机听懂了你的命令；2. 他知道这个命令自己做不到，需要使用工具；3. 他能够把你的命令转成工具的输入格式（API），并执行工具调用；4. 他能够将调用结果展示给你（经过重新组织或直接展示）。
记住这两个关键技术点，他将是你理解Microsoft 365 Copilot的前置知识。
复现困难分析
首先，他们也用了很长时间打磨产品，短时间追上是不现实的
CHatGPT在22年11月30日发布。但是，根据OpenAI官方文档，具备多模态能力的GPT-4他们在22年8月就实现了。
所以Microsoft 365 Copilot （包括Bing搜索、Edge浏览器）的开发周期理想化预估应该是从去年就开始，而非我们想象的11月30日。
其次，从技术角度来说，集中在三个方面
第一，基座LLM的通用能力。即GPT-3，GPT-3.5，GPT-4这一路走过来的能力跃升，这是一切的核心，同时通过Grounding作上下文约束。
第二，定向场景的微调。我更愿意相信活跃在Microsoft 365 Copilot中PPT、Word、Excel、Terms等多个场景的LLM不是同一个，应该是做了不同场景的强化微调。这种微调一方面为了强化性的文本增强（在那个场景的文本能力更好），另一方面为了API转换的自然（我能更好地把用户命令转化为工具命令）
第三，工具化场景的打磨。这方面就是产品侧怎么将场景融合进LLM，交互、功能、流程怎么设计等等。
最后，要解决的是成本问题
工作这种高频场景，是不可能也无法接受Davanci量级的价格的（1元38000字），更不用说价格翻了几倍的GPT-4。
在个人实践中，会有一些奇技淫巧，能够在遵循LLM规则的前提下节约成本，例如长文本分块检索+LLM整合，例如字典转译节约token量，例如低配模型针对性微调等等。
微软如何克服这个问题，我还不清楚。目前而言，没有，也不可能有公开材料。
就像Bing的实施细节到目前都没有任何信息流出一样。搜索出10个网页，每个网页1000字，一共10000token，难道说每次搜索的成本都如此高吗？
他应该是采用一些技巧的，例如先多模块摘要，再整合，整合后再展开定向生成。但谁知道呢，全靠猜。
应用展示
Word
常规的：总结、改写、翻译、润色等
较有趣的是：可以指定改写的风格，例如随意、慎重等
例子：
- 根据 [文档] 和 [电子表格] 中的数据起草一份两页的项目提案。
- 使第三段更简洁。将文档的基调更改为更随意。
- 根据这个粗略的大纲创建一页草稿。
Image
Excel
常规的：帮你写出公式
有趣的：理解数据相关性，提出假设引导，根据问题建议公式
例子：
- 按类型和渠道细分销售情况。插入表格。
- 预测[变量变化]的影响并生成图表以帮助可视化。
- 模拟 [variable] 增长率的变化将如何影响我的毛利率。
Image
PPT
常规的：根据文档输出PPT
有趣的：不仅做PPT，还把演讲者自己看的注释也做出来，可以用命令改动PPT的样式、结构、动画
例子：
- 基于 Word 文档创建包含五张幻灯片的演示文稿，并包含相关的库存照片。
- 将此演示文稿合并为三张幻灯片的摘要。
- 将这三个项目符号重新格式化为三列，每列都有一张图片。
Image
Outlook
常规的：邮件写作，自动回复，润色等可以归类到文本写作领域的
有趣的：总结观点，判断邮件重要性，确认未被回答的开放性问题
例子：
- 总结一下我上周外出时错过的电子邮件。标记任何重要的项目。
- 起草一份感谢他们的回复，并询问他们第二点和第三点的更多细节；缩短此草稿并使语气专业。
- 邀请大家参加下周四中午关于新产品发布的“午餐和学习”。提及提供午餐。
Image
Terms（类似腾讯会议）
常规的：会议纪要生成，实时翻译，
有趣的：你可以不参加会议，就知道发生了什么，有什么问题被讨论，哪些问题没解决，哪些事情/问题需要你解决,对讨论的问题做利弊分析
例子：
- 总结一下我在会议中错过了什么。到目前为止已经提出了哪些要点？我们在这个话题上有什么不同意见？
- 为[正在讨论的主题]创建一个利弊表。在做出决定之前，我们还应该考虑什么？
- 做出了哪些决定，建议采取哪些后续步骤？
Demo：https://www.microsoft.com/en-us/videoplayer/embed/RW10z9k
Business Chat（有点类似钉钉）
常规：其实更多是把上面的所有东西用起来，串联在工作流中
有趣：总结某个群聊里的观点和未完成的讨论
例子：
- 总结有关昨晚发生的 [客户] 升级的聊天记录、电子邮件和文档。
- [项目] 的下一个里程碑是什么？是否发现了任何风险？帮我集思广益列出一些潜在的缓解措施。
- 以 [文件名 A] 的风格写一份新的计划概述，其中包含来自 [文件名 B] 的计划时间表，并将项目列表合并到来自 [人] 的电子邮件中。
Image
Microsoft Viva(类似内网论坛，更偏知识沉淀学习那种）
常规：帮你写帖子、提问题
有趣：帮助你提升“提问题”的质量，在讨论进行中引入知识和专家（@某个人进来）
Demo：https://www.microsoft.com/en-us/videoplayer/embed/RW10h73
参考资料：
https://www.microsoft.com/en-us/microsoft-365/blog/2023/03/16/introducing-microsoft-365-copilot-a-whole-new-way-to-work/

KEEP THE THREAD GOING

更多来源文章