众所周知，BI 东西因其灵敏的运用方法和快捷的成果展现，已成为出产运营和辅佐办理决策的重要东西。网易稀有 BI 在用户实践运用中，发现多表杂乱相关、无效扫描全表数据等许多拖慢功用的现象。为提高用户体会，加快查询功用，稀有 BI 规划开发了物化视图产品功用系统，取得了非常好的作用。

　　稀有 BI 最大的特色是运用 PPT 制造的方法来制造报表。渠道的运用方法为：

　　① 首要预备一个数据源，可所以 excel，也能够 MySQL、Oracle 等，当然 Hive 和 Impala 等许多其他数据源也是能够的。

　　②制造数据模型。能够经过多张底层数据表，或许是自定义 SQL 将它们相关在一起就构成了数据模型。

　　由于数据模型是由多表相关构成的，杂乱的相关会带来巨大的功用开支，导致陈述查询迟迟无法呼应。

　　场景一：行的数据。常常呈现的场景是仅需求近期的数据核算，可是由于模型是多表相关查询的，每次落库查询都会导致全表扫描。

　　场景二：列的数据。许多时分报表展现仅需求部排列信息，可是由于模型的相关查询，导致需求全字段相关落库，也会带来很大的功用损耗。

　　有些报表会供给多个维度的查询挑选器，挑选器的默认值无法满意需求，不同用户的查询条件不同，导致预加载缓存无法射中，使得落库查询功用下降。

　　物化视图的概念来自数据库，例如 Oracle、Doris 就有这样的概念（MySQL 没有）。它的实质是经过预核算保存 SQL 查询的成果数据，相较于一般视图仅仅是一段静态的 SQL 文本，预核算的数据一旦射中能更好的加快履行功用。

　　①V1 是咱们创立的物化视图，数据来历为 T1 JOIN T2，时刻跨度从 T1 日期的 2022-07-01 到 2022-07-31，视图包含三个成果字段“区域”、“类别”、“赢利”。

　　②用户查询了一个 SQL，咱们能够看到，查询的数据来历也是 T1 JOIN T2，时刻跨度从 2022-07-10 到 2022-07-20，所查询的字段也在 V1 规模内。

　　③因而咱们能够将上述用户的 SQL 改写为直接从 V1 物化视图读取数据，并运用用户 SQL 的过滤条件，构成了物化视图改写后的 SQL。

　　图左面是用户经过物化视图的 DDL 进行视图的创立、办理和更新。当然数据库自身也会进行视图数据的同步和元数据办理。数据同步的流向便是从原始表中抽取同步到物化视图中。

　　图右边是用户开端查询 SQL，该 SQL 进入到数据库后，经过射中校验模块判别是否存在匹配的物化视图，假如存在则经过改写模块对 SQL 进行改写。

　　①以 SQL 为粒度，无法与 BI 模型树立直接绑定，也存在构建的人工交流本钱。

　　②无法运用 BI 的模型、陈述、图表的全体信息及查询信息创立更好的物化视图。

　　③BI 产品支撑许多品种的数据库，它们的物化视图特色不同，无法一致支撑，需求别离适配和办理。乃至有的数据库不支撑物化视图。

　　因而咱们考虑是否能够在 BI 层做物化视图，该物化视图以模型为粒度，能够充分运用模型的信息，能够屏蔽底层的数据源类型，咱们也能够为这个功用供给 UI 界面便利办理。依据这个主意，咱们规划了自己的物化视图。

　　上面说到，稀有 BI 的物化视图是以模型为单位的，所以在模型的右上角能够点击物化视图的选项，之后就会进入到物化视图的装备页面。从页面中能够看出，一个模型支撑创立多个物化视图，咱们也供给了一个一致开关能够操控物化视图的敞开和封闭。在创立物化视图按钮或许点击某个物化视图的修改按钮后，就跳转到了物化视图的装备页面。

　　①供给各物化视图的模型信息、状况、调度时刻、占用空间、成功率、创立人等基本信息。

　　最左面是数据源，稀有 BI 支撑 Excel、MySQL、Spark 等数据源，物化视图便是将它们内部的数据在相关和其他操作后写入到 MPP 中。

　　中心的是数据模型。经过左面的数据源相关构建数据模型。物化视图的物化装备也在这个结构中，包含维度、衡量、聚合信息、挑选规模等装备项。这些装备项再加上模型装备，能够转换为稀有 BI 的 ETL 使命装备，以进行数据同步和实践的数据物化。经过对该 ETL 使命装备进行元信息推导，能够生成 ETL 元信息，该 ETL 元信息将用于右侧数据查询进程的物化视图改写模块，以进行数据查询的物化视图改写。

　　右边的是数据运用，经过数据模型构建而来，包含可视化陈述、自助取数、数据大屏等。这些运用中的查询会生成查询 DSL 给数据物化查询改写模块，结合上述中心结构中传递来的物化视图装备和 ETL 元信息，进行物化查询的改写和调整，终究生成改写后的物化 SQL，然后将物化 SQL 发送给 MPP 进行数据查询。MPP 中的数据便是上述生成的 ETL 使命从数据源中抽取写入的。

　　首要，将物化视图的装备和模型的装备转换为 ETL 装备，这儿会用到 ETL 的输入节点、相关节点、清洗节点、聚合节点、输出节点。之后进行 ETL 元信息的推导，生成视图表信息、字段信息、字段映射联系和聚合信息。

　　比如中有一个详细的模型，从模型装备上看，它是由三张表进行相关的。关于物化装备，指定了 4 个维度和 3 个衡量；还有一个挑选规模，选的是发货日期的前 7 天。接下来，依据上述两个装备能够转化为 ETL 的装备。

　　在 ETL 的装备中首要有相关节点，将三张表相关起来。接下来是一个清洗节点，用于数据挑选，比如中物化装备中的发货日期的前 7 天的挑选条件就会置于清洗节点中。接下来是聚合节点，装备了物化装备中的维度和衡量。终究是一个内部输出节点，表明数据将输出到内部的 MPP 中。

　　接下来会从 ETL 装备主动推导出元信息，图中示例首要展现了字段的信息。

　　数据运用查询的时分会生成查询 DSL，包含了维度、衡量、挑选器、排序等一些装备。DSL 解析之后会生成一组查询 AST。这些 AST 将依据物化装备和 ETL 元信息，经过优先级排序、射中校验等过程，终究转化为物化 AST。之后经过 SQL 生成和优化的环节，终究抵达 MPP 引擎进行数据查询。

　　经过这个流程能够看到，在 BI 层做物化视图相对数据库而言是存在一些优势的：

　　②以模型为粒度，削减校验本钱，传统的查询引擎会需求匹配一切的物化视图，功率下降。

　　③恣意数据库类型可用，屏蔽了底层数据库类型，处理了部分数据库不支撑物化视图的问题。

　　同一个模型或许会匹配到多个物化视图，那么经过优先级排序挑选更适宜的视图就显得尤为重要了。触及物化视图优先级排序的准则如下：

　　在上图中咱们能够看到，经过查询语法树的装备和物化视图的装备，能够进行物化视图的射中校验。校验大体分为三个阶段：字段校验、谓词校验和相关校验。

　　① 第一点需求考虑查询和物化视图的聚合状况分类：明细查询明显无法运用聚合类型的物化视图；

　　②第二点需求考虑模型表字段与子查询字段：模型表的字段是否均在物化视图中，但假如是子查询，由于是内部生成的，就能够越过这层考虑；

　　③第三点需求考虑二次聚合的等价性：查询较杂乱时，或许需求在现已聚合了一次的物化视图基础上，在查询中进行第2次聚合；可是很明显，这种二次聚合是需求考虑等价性的，例如不能经过对物化视图中的均匀值聚合成果进行第2次均匀值聚合，来得到全体的均匀值，由于这从数学逻辑上是不等价的。

　　①首要以物化视图的挑选谓词为基准：也便是说物化视图中挑选的谓词都要在查询中找到相同的挑选谓词且查询规模相同或更小；

　　③等价谓词优化：例如物化视图中是日期规模挑选，可是查询中是列表挑选，这时能够判别列表中的挑选项是否都在日期挑选规模中。

　　②考虑模型表和子查询：当查询中是相关表和子查询相关时，直接将相关表替换为物化视图或许存在不等价的状况；

　　③子查询递归校验：当查询中包含子查询时，需求递归判别每一层的子查询悉数射中才干承认能够替换为物化视图

　　阅历三个阶段校验后，能够得到校验成果，其间包含是否射中，射中视图的信息以及未射中的原因。

　　接下来到了物化查询改写的阶段，这个阶段中运用到 ETL 元信息和查询语法树。这个阶段首要的操作为三个方面：模型替换，字段替换，等价优化。

　　①当物化聚合粒度等于查询聚合粒度时，明显不需求在查询时再次做 group by 的聚合操作，此刻能够将聚合查询退化为明细查询；

　　② 当物化挑选谓词等于查询的挑选谓词时，在查询时无需持续运用该挑选谓词，能够直接抵消；

　　阅历这个阶段后，就会生成物化语法树，下一步生成对应的 SQL，正式进入 MPP 进行查询。

　　如上图所示，这儿其实复用了稀有 BI 的数据预备即 ETL 的调度系统。首要咱们支撑许多品种的数据源，接下来这些数据源经过数据清洗创立了数据 ETL 的装备，再经过 ETL 的装备生成抽取的 SQL，终究经过抽取 SQL 将数据抽取到 MPP 数仓中。由于 ClickHouse 关于常见的物化视图构成的大宽表有非常好的功用表现，所以咱们现在更多的运用 ClickHouse 作为 MPP 数仓的引擎。

　　在模型和报表中运用的字段许多，光靠用户手动进行物化视图装备功率较低。经过模型信息和物化前史信息，咱们会给出一些物化装备的引荐。现在这个模块还在不断推动开发中。

　　在网易严选这个场景中，存在许多需求高功用查询的要点陈述，为此咱们依据这些要点陈述，构建出了 60+ 个物化视图。在实践运用中发现，装备了物化视图的这些要点陈述中，每天有超越 90% 的 SQL 查询能射中物化视图，在射中了物化视图的查询组件中，均匀查询时长从 5000ms 下降到 500ms。

　　①更强壮的物化视图装备才能：例如将物化字段扩大到恣意核算字段，让物化视图更接近于实践的查询。

　　②更精准的物化视图射中校验：包含规模更广的谓词校验，更强的等价射中校验才能等。

　　③更智能的物化视图引荐装备：依据模型的运用状况一键物化，依据物化视图前史射中状况优化装备。

　　④更飞速的物化视图查询体会：更快的物化抽取速度，更快的 MPP 引擎查询速度。

　　2017年硕士结业于浙江大学核算机专业，然后参加网易，从事稀有BI的智能可视化与数据查询优化引擎的研制作业，在大数据BI范畴具有较为丰厚的开发和实践经验。