货拉拉自助数据分析平台实践
大数据技术团队约 8 分钟项目背景
项目目标
• 易用性：产品覆盖的用户群体是企业内部所有员工，用户对数据分析产品使用能力参差不齐数据分析平台应该尽可能降低使用成本。
• 稳定性：随着数据处理量级和高并发场景需求的不断增加，需要保障平台算力充足以及操作流程的顺畅和稳定。
• 可扩展性：数据报表场景涉及广泛，除了自助数据分析平台内部需要报表场景外，其他平台同样有数据报表诉求，如何能够快速完成数据报表功能复用是产品能力的关键指标之一。
• 安全性：数据安全是企业稳定发展的重要前提，健全的数据权限管理机制可以有效降低企业核心数据资产的泄漏风险，形成一定的信息壁垒。
方案选型
商业化BI产品那么多，自研是重复造轮子吗？
| 对比项 | 自主研发 | 外部采购 |
| 需求支撑 | 基于业务需求进行产品功能规划与设计，能够更好的满足业务个性化的使用场景需求 | 基于行业或企业提供通用的产品功能，更加专注于功能的普适性，对个性化需求支撑不足，一般不支持二次开发和定制化开发 |
成本投入 | 平台建设需要投入产品/研发/测试人员和相关服务器，产品基础功能覆盖开发周期预计1～2年 | 费用形式多样主要分为两类 1、按系统收费：包括系统部署成本、服务费等 2、按用户收费：包括账号费用、存储成本费等 |
数据安全 | 开发人员、数据存储服务器、产品等都是在企业内部，安全风险和漏洞可控 | 支持私有化部署，数据安全相对可控，但仍有数据泄露风险存在 |
数据链路 | 数据采集、数据加工、数据可视化分析全流程数据链路血缘方便追根溯源 | 数据开发层和应用层容易出现断层，且目前商业化BI平台数据链路、报表生命周期功能都不完善 |
需求响应 | 内部需求沟通流程相对较短，响应速度快，迭代周期短 | 需求问题对接售后，售后统一由售后集中反馈，导致沟通成本高问题优化流程长 |
本文我们将介绍货拉拉自助数据分析平台——数据云台，都具备哪些能力以及是如何解决这些问题。实践和探索
从0到1打造数据分析平台需要如何规划？
• 数据源接入：数据源是BI系统的全部数据来源，是进行数据分析和报表制作的基础，系统支持的数据源类型涵盖Excel、MySql、Hive、Doris以及内部数据源系统。针对内部数据源系统还提供了一键连接功能，方便用户快速完成数据源接入。
• 数据预处理：数据连接完成后需要进行数据处理，在数据处理模块中提供了数据建模和自定义SQL两种数据集创建方式。对于创建完成的数据集还提供了数据类型设置、数据表达式和字段权限设置等功能。在数据预处理阶段，技术层面引入了多种OLAP查询引擎以提升即席查询效率。
• 数据可视化：数据可视化模块主要提供各类数据图表等展示与配置，其中包括工作台、数据图表组件、仪表盘等。用户可以根据业务需求自行拖拽维度/指标快速完成数据图表制作，针对不同场景还能进行图表类型的快速变换，以满足多样化的数据呈现需求，最终以Dashboard形式进行呈现。
• 数据分析：分析功能是平台的核心能力，快速实现指标计算、多维分析和数理统计等有助于帮助业务快速完成关键信息整理与输出实现平台价值。
• 应用场景：主要包括数据指标探查、数据报表、数据大屏和API等，真正为各大数据系统提供数据可视化解决方案，服务于业务数据分析场景。
问题和挑战
面对风险和挑战我们是如何解决的？
• 充分的前期规划。结合业务需要开展功能调研，尽可能多地从优秀BI产品中借鉴成熟经验以满足既定需求。在产品设计方案时需要特别注意企业内部需要与调研产品功能之间的差异，针对差异可以进行合理优化，以便于更好地让产品功能服务于企业内部用户。
针对内部数据源进行功能优化，系统内嵌账号信息减少频繁操作降低数据泄露风险
• 灵活的解决方案。对于业务的特殊需求往往需要提供多种解决方案，既要保障系统功能的通用性又要保障个性化诉求。在数据云台进行计算引擎选型时我们便遇到了这问题，针对多种数据源如MySQL、Hive等进行数据查询时如何保障数据查询效率？最终选择了集成多种计算引擎的灵活方案，通过系统研判科学地分配最适合的引擎进行数据查询，不仅能够快速完成用户数据查询需求，同时还大大降低了因计算资源局限导致系统故障风险。
系统根据数据查询需求科学选择计算引擎策略，在提升计算效率的同时兼顾了系统稳定
• 标准的SOP流程。用户对于数据分析产品的熟悉程度参差不齐，一套系统如何满足不同的数据分析需求同样是一件非常棘手的事。除了在产品功能上提供更方便的用户体验外，对用户进行群体类型划分是一个行之有效的方法，不同的用户群体给予不同的权限，让那些数据处理能力欠佳的用户直接使用已加工的数据集进行分析就好，而数据能力较好的开发人员则为他们提供了更丰富的数据处理功能。
用户群体 数据源接入 数据预处理 数据分析 数据可视化 数据应用 开发者 ✅ ✅ ✅ ✅ ✅ 分析者 ❌ ❌ ✅ ✅ ✅ 管理者 ❌ ❌ ❌ ❌ ✅
层级的划分有助于更好地提升用户体验，结合权限体系可以更好地实现产品“千人千面”
总结和展望
作者介绍：吴迪｜资深数据产品经理。曾任职于智联招聘、TCL，现任职于货拉拉大数据部门，主要负责数据分析领域报表系统、BI系统的规划与运营，在企业数字化转型和数据分析产品建设方面有较丰富的实战经验。