大家好，我是飞哥
相信不少同学最近都或多或少地在学习大模型，都需要了解大模型可以在哪些行业、哪些场景下使用。最近电子工业社出了一本新书《大模型启示录》，对在各行各业的落地应用进行了很好的总结。我给咱们读者要了6本作为活动福利赠出。
活动规则
- 参与对象：在2024-09-01之前关注飞哥公众号的读者
- 参与方式：在评论区留下你对大模型的实际应用经验：在什么场景下使用，如何使用，收获了什么效果。时间上不着急，一周内都可以，重要的是要言之有物
- 开奖日期：一周后2024-10-07中午12点左右飞哥会根据价值高低评选6条优质评论送书各一本，届时在评论区公布
废话不多说，以下是新书的内容介绍！
在数字化时代的浪潮之巅，大模型作为人工智能领域的一颗璀璨明珠，正以不可阻挡之势延伸到生活的每一个角落，逐渐影响和改变着我们的生活，同时对各行各业提出了一些“新的要求”，打破并重塑着各行各业的格局。它如同一股强大的力量，不仅极大地提升了日常工作的效率与便捷性，将重复性劳动自动化，帮助人们释放出更多的时间与精力去探索与创新。这些问题都可以在《大模型启示录》中找到答案！本书的作者来自大模型应用公司微软Copilot的产品经理、最前沿的大模型研究员、国际对冲基金、云厂商前战略总监，拥有广泛的实践经验，深刻洞察不同场景下技术的实际应用与进展脉搏，特别是精选各领域顶尖企业的成功案例与最佳实践。同时在本书编写过程中，作者们还邀请了数十位产业一线从业者参与共创。使这本书更像是一部AI应用百科，给予大家对大模型应用的落地与思考。例如，当前大模型技术对教育产品形态的影响；在电商领域，大模型如何为电商客户提供端到端的推荐；大模型在设计方面如何提质增效；大模型在游戏行业起到什么作用，等等。虽然本书旨在成为大模型在各行各业落地实践的“百科全书”，但也不乏技术层面的专业性知识。例如与大模型紧密关联的RAG (Retrieval-Augmented Generation)。以下摘自《大模型启示录》
RAG (Retrieval-Augmented Generation)技术正在快速发展，但存在许多待解决的难点。RAG的主要流程可以分为四个环节，每个环节都面临着挑战。(1)内容抽取:这个环节的难点在于拓展内容形式。最初，RAG主要处理 PDF格式的内容，但现在需要处理各类结构化数据、多模态内容等。这要求RAG技术能够适应不同类型和格式的数据，提高内容的多样性和准确性。(2)索引创建:在这个环节中，难点包括如何进行有效地Chunking(将文本分割成更小的单元)，以及如何进行数据清洗，以确保索引的质量和效率。(3)检索召回:这个环节的挑战在于如何搭配Hybrid Search(结合多种搜索策略)，以及采用何种重排序(Rerank)策略来优化检索结果的相关性。(4) Prompt与生成:这个环节的难点与选择的大模型紧密相关。不同的大模型可能需要不同的Prompt设计，以激发更高质量的生成内容。虽然每个环节都存在急需解决的难点，但同时意味着每个环节都有提升的空间。目前，研究者和开发者已经或多或少地知道如何改善这些难点，RAG技术仍然处于技术发展的早期阶段，有着广阔的发展潜力。检索的质量在很大程度上取决于数据清洗的质量。RAG依赖于文档作为知识库，从知识库中提取领域相关信息以进行问答，而合适的文档直接决定了回答的质量。通过观察实际客户案例，我们发现与行业最初的设想不同，绝大部分的文档在进行简单的切分后都不能直接使用。因为大部分文档在撰写过程中，并没有对知识进行系统的分块，这导致在抽取信息时很容易造成断章取义，或者过于碎片化。在具体落地时，会有很多针对行业、场景和客户的定制化需求。这也使得一些客户觉得 RAG 没有想象中智能，还需要RAG厂商或者客户自行处理。(1)利用文档结构:文档通常包含大标题和小标题，具有一定的结构。可以将文档转换为树形结构，其中不同层级的叶节点对应不同层级的信息。这种方法有助于保留文档的上下文和结构，减少信息抽取时的断章取义。(2)标注和总结:如果企业具有自主开发能力，或者对文档格式有固定要求，就可以对文档信息进行标注或总结。这样可以避免在召回时只召回非常少的片段信息，而是能够整体召回相关信息。(3)提供用户友好的界面:在客户端，可以为客户提供易于使用的标注/修改界面，方便客户在上传信息后进行二次处理。虽然上述方法在短期内有所帮助，但由于各个业务的信息组织方式不统一，这些方法不容易被通用框架采用。长期来看，信息的消费方式可能会影响信息的生产方式。例如，企业内部的知识未来可能不以传统文档的形式存在，而是以一种类似树形结构或其他结构的形式存在。如果能以结构化的形式展开信息，那么对信息进行检索和消费的效率将会非常高。如果未来消费信息的形式不是以人的眼睛去看，而是基于大模型+RAG的方式消费，那么生产方式也会潜移默化地适应消费方式。然而，这个过程可能会很漫长。数值计算和分布召回在RAG中是非常前沿的难点。一方面，大模型本身在做数学问题时容易出现幻觉，例如现在很难做对高数题，甚至四位数乘法都可能做错。另一方面，解决问题的步骤一多，也非常容易出错。2023年年底，Twitter上热议的“雪佛兰事件”就是一个典型的例子。一位 Twitter博主通过与客服对话，仅以1美元的价格购买了一辆SUV，而系统竟然判定这一交易合理。解决一个看似简单的问题:“最近三年从某家公司一共采购了多少水泥”，需要经历问题拆解、分布召回、数据加总的过程。这个过程非常容易出错。在更广泛的场景中，例如医保局的项目计算，涉及各类药品的起付线、限价，以及复杂的报销流程，即使使用RAG 进行计算，仍然存在很大难度，可能仍然需要依靠场外协助，例如生成SQL代码，并放到数据仓库里进行计算，但这样做客户就需要多操作几步。尽管RAG相比于微调模型更具透明度，但它仍存在一定的局限性。例如，RAG在内容召回方面可能无法解释具体的原因，因为这本质上仍然是大模型自身作出的决策。这与传统的企业搜索方法BM25(Best Match 25)有所不同。BM25的结果可以通过人工推导和复盘计算，从而对BM25的应用进行改进。例如，在一段话中，如果某个词与问题中的一个词完全匹配，在BM25算法下，只要这个词的出现频率足够高，或者这个词足够独特，那么它一定能被召回。然而，在基于Embedding的模型中，情况并非总是如此，这也容易导致预期偏差。RAG的应用难点在于，大多数Embedding模型都是为特定目的而创建的，而且这一特定目的可能与实际业务需求不完全一致。例如，有些Embedding模型可能专为召回服务而设计，而有些则可能用于判断相似性。如果对Embedding模型的理解不够深入，经验不足，就容易发生模型选用不当的情况。例如，在FAQ场景中，如果Embedding模型返回的是与问题相似的其他问题，而非直接的答案，就会发生这种情况。此外，实际业务需求的差异也带来挑战。例如，当使用“Cat”进行搜索时，如果内容主要涉及“Human”和“Dog”，那么应该召回什么，或者什么都不召回完全取决于客户的实际业务需求。最后，除了RAG算法本身，如何有效利用客户的反馈数据，将其转化为对检索文本的监督信号，并不断优化现有场景也是一个极具挑战性但价值巨大的任务。目前，多模态模型在完成生产任务方面，与单模态模型相比，无论是在召回能力还是在生成能力上，都还存在一定的差距。然而，多模态模型的优势在于能够跨越不同模态，例如结合文本、图像和声音等多种类型的数据。在应用中，如果基于图片的语义理解是必需的，那么将多模态模型作为一个组件便是一个现实的解决方案。例如，可以使用多模态模型将图像内容转化为文字描述，然后利用单模态模型来承担后续的任务。在没有多模态模型或大模型的情况下，传统的搜索技术也积累了许多经验。例如，有专门的模型用于识别图片上的动物是猫还是狗，并将这些信息转化为标签。然后，这些标签可以通过自然语言处理技术来表示和索引，以便在搜索时能够根据文本查询找到相关的图像。对于表格，可以开发算法来解析表格的格式，并设计一个结构来提取表格中的内容作为结构化数据。然后，可以使用规则召回的方法从这些结构化数据中提取信息。图片通常不会孤立地存在于文档中。在互联网上，图片旁边往往会附带一些解释性的文字，这些文字很可能描述了图片的内容，甚至可能包括标题、描述等结构化信息。通过提取这些结构化信息，并将其与图片建立关联，可以召回这些结构化信息，进而召回相关的图片。这种方法在当前技术条件下是可行的。
相信随着RAG技术的发展及其优化，RAG对大模型以及企业定制化的落地解决方案的贡献也会越来越多，逐渐走向更成熟。大模型在将来也会影响更多的行业。大模型的广泛应用，更像是一场智慧的风暴，席卷众多行业领域。在创意与想象的世界里，它激发了无限可能，为人们的生活增添了前所未有的创意与丰富性。在数据驱动的决策时代，凭借其卓越的数据处理与分析能力，也助力企业也实现了精准的洞察与高效的决策，推动了商业模式的创新与升级。
由于本次活动时间较长而且赠书数量有限，大家也可以直接购入，我给大家要了 6 折链接，点击下方卡片只需要 60 元就可以直接带本回家~~~
开发内功修炼约 8 分钟