近期有客户反馈,某些BI产品(如九数云)可以对接金蝶星空的webAPI来做报表,而奥威BI不行。奥威BI的星空标准方案就是对接的webAPI,怎么可能不行呢?沟通下来才知道,原来客户想直接通过webAPI制作报表,而不是通过构建数据仓库的方式。
这又不得不让我们回到许久之前经常面临的话题:为什么BI要用构建数据仓库,而不是直连数据源的方式开发报表?
这个话题,在很多年前非常普遍,近几年基本上没有了,因为构建数据仓库的技术路线已经成为主流,但仍有少数的BI产品,比如一些纯SAAS的BI产品,以及金蝶的轻分析,仍然是用直连数据源的方式来开发报表。而奥威BI,从2006年第一版产品开始,就是数据仓库这条技术路线的坚定拥护者与践行者。
那为什么专业BI解决方案坚持采用数据仓库架构而非直连数据源?
一、技术路线对比分析
1. 数据处理能力
· 直连数据源:实时读取原始数据,处理复杂计算时会给业务系统带来巨大压力。测试数据显示,当并发查询超过5个时,金蝶星空API响应时间会延长300%-500%。
· 数据仓库:预先将数据ETL到独立环境,复杂查询性能提升10倍以上(TPC基准测试结果),且不影响业务系统运行。
2. 数据整合能力
· 直连数据源:仅能访问单一系统数据,跨系统关联分析实现困难。例如将ERP数据与MES系统工时数据关联时,需要开发复杂接口。
· 数据仓库:支持多源数据整合,某客户案例显示,通过数据仓库整合6大业务系统数据后,跨系统分析效率提升80%。
3. 计算复杂度支持
· 直连数据源:适合简单指标计算,但面对"交货及时率"这类需要关联销售订单、出库单、退货单的多表计算时,实现难度呈指数级上升。
· 数据仓库:预建数据模型后,复杂指标开发效率提升5-8倍(行业调研数据)。
4. 长期演进能力
· 直连数据源:类似"农村自建房",初期搭建速度快(平均节省2周时间),但3年后系统重构概率高达75%(行业调研数据)。
· 数据仓库:初期需要4-6周实施,但5年内可节省60%以上的二次开发成本。(奥威BI标准方案可将周期缩短到1-2周)
二、为什么数据仓库是企业级BI的必由之路?
1. 性能隔离原则
某制造业客户的实际监测显示,直连方式在月末结账期间导致ERP响应速度下降40%,而数据仓库方案将分析负载100%隔离到独立环境。
2. 数据治理需求
数据仓库提供必要的:
· 数据清洗(某客户案例显示数据错误率从8%降至0.5%)
· 标准统一(消除各系统间30%以上的数据差异)
· 历史追溯(支持10年数据回溯分析)
3. 扩展性保障
当数据量增长到TB级时,直连方案的查询性能下降曲线呈指数级(某测试显示数据量增长10倍,查询速度下降50倍),而数据仓库可通过分层建模保持线性增长。
三、典型场景对比:交货及时率分析
假设我们初期的想法就是想取销售出库单来分析销售的情况,那么,直连数据源肯定是最简单快捷的。
但需求可能会发生变化,我们还希望分析交货及时率,我们先来分析一下交货及时率的计算逻辑:我们要根据销售订单的预计交货时间,与销售出库的实际交货时间,来计算交货及时率。并且,我们还要考虑到一个订单分多次出库的情况。
1. 直连方案困境:
· 需要实时关联订单表(100万条记录)和出库单表(500万条记录)
· 每次查询产生5-10个API调用
· 计算耗时超过3分钟
2. 数据仓库方案:
· 预先建立星型模型
· 预计算关键指标
· 查询响应时间<3秒
四、我们的技术坚持
奥威BI自2006年起就坚定选择数据仓库路线,因为我们看到:
1. 企业数据应用的生命周期不是1-2年,而是5年+
2. 真正的效率不是初期的"快",而是持续的"稳"
3. 数据资产需要专业治理,不能停留在原始状态
结语:
我们来对比一下,农村建房子和城市建房子有什么不同?农村建房子,一般建个两三层,所以,垒几块砖做地基,就开始往上建,是很快,但是,大家都知道,这样的房子建不高,如果想再加高,就得推倒重建。而城市里建房子,则是一块地,一围就是半年一年甚至更长,这是在干什么呢?这是在挖地基,楼建的越高,地基挖的就越深。
直连数据源制作报表,就好像农村建房一样,很快,但只能建两三层,再想建高楼是不可能的,所以,直连数据源只适合相对简单的场景,适合个人或部门级使用,并不适合企业级应用。对于很多伙伴熟悉的金蝶轻分析来说,就是如此,遇到客户较为复杂的需求,就变得有心无力,其实就是技术路线决定了其天花板很低。
选择技术路线就是选择企业发展路径。当数据量增长10倍、分析需求复杂100倍时,只有数据仓库架构能提供持续支撑能力。这就像城市建设,前期的基础投入必将换来长久的繁荣发展。我们建议企业以战略眼光看待BI建设,选择能够伴随业务共同成长的技术方案。