【金猿技术展】基于数据模型的自然语言数据查询系统——Smartbi对话式分析

思迈特软件技术

大数据产业创新服务媒体

——聚焦数据 · 改变商业

当前，自然语言技术的应用正在全球范围内引发新一轮的技术革命与商业浪潮.Smartbi作为中国领先的BI软件供应商，利用自身多年在BI行业的沉淀的客户数量和丰富的业务场景的优势，持续探索自然语言和AI在商业智能领域的应用。本文将详细介绍Smartbi如何结合Smartbi的指标体系、数据建模和自然语言查询引擎，为用户提供统一口径、个性化、实时化、灵活化的智能数据查询平台。

目前经典自然语言查询方案如下图所示，端到端的语言模型充当中间层将用户输入的自然语言转化为 SQL 执行语句，数据库作为底层存储和数据处理的引擎，负责接受和执行从大模型发送过来的 SQL 语句，对数据进行聚合、筛选、排序等操作，满足基于数据集的查询分析需求。

然而，这种架构在实际落地过程中也面临一定挑战：

准确性：数据口径混乱，用户表达充满歧义。单纯的利用数据库内的字段描述，语言模型无法处理复杂关联和计算逻辑。跨表的复杂查询输出不稳定，准确率很低。

性能问题：仅仅依靠数据库，查询的效率低下。

私域知识无法识别：语言模型缺少领域知识，无法很好的理解业务用户输入的语义。由于极度缺乏企业内部领域知识，对用户的语义理解力弱。

面对经典方案中的落地难点，Smartbi总体解决思路是将以上挑战逐一拆解，通过组件叠加分阶段完善智能问答的架构构建，最终实现全新的交互问答服务模式，接下来我们将介绍各阶段挑战对应的解决方案。

1、利用数据模型增加语义层：处理复杂数据问题

为了解决复杂数据处理问题，我们在大模型与底层数据仓库中间增加了数据模型作为语义层。一方面语义层作为连接技术与业务之间的转换桥梁，能够将数据字段翻译为业务用户的术语，使业务知识作为额外的抽象层。另一方面通过语义层，业务分析师不需要在定义指标后存储于数仓中，能够直接在语义层中指定过滤条件，将所需指标筛选后生成查询语句并在数据模型中进行字段查询。这意味着，业务分析师能够把多源数据按照需求定义成语义信息并形成语义标准，有效解决了多种指标、多类维度计算口径不统一的挑战。另一方面语义层能够针对业务计算逻辑，进行语义加工、描述、关联和运算。语义层在过滤数据后，能够屏蔽由表关联所产生的复杂指标计算公式，将多表场景转化为了较为简单的单表查询，以提升语义转化的准确性。

2、增加高速缓存数据库：优化数据查询性能

针对大数据量下的查询问题，Smartbi采用了Clickhouse作为查询引擎，并基于数据模型建模进行了指标的预聚合，并添加了数据查询的缓存库，大大加速了数据查询的返回速度。

3、增加内容映射：处理私域知识问题

针对私域知识的问题，我们提供了一个可以配置的同义词知识库和一个用户行为知识库。在使用前，用户的问句会进行同义词知识转义为平台可以识别的数据库语义，之后进行匹配。使用中，用户行为库会将用户问句的查询结果存入用户行为库，在后续的查询中将平台用户的问题与用户行为知识库进行匹配如果匹配成功，将之前存储的用户行为里面识别的结果提供给语言模型作为补充，以实现带私有的知识查询。有效解决了语言模型对私域知识理解不足的问题，提升语言处理的效果。

★专利申请号/公开号：ZL202110450910.X

·带队负责人姓名：吴华夫

吴华夫于2001年毕业于武汉大学计算机软件专业，获得学士学位；2005年6月获得中山大学软件工程硕士学位。2001-2011年：在广州菲奈特软件有限公司（国内BI行业的黄埔军校，后被东南融通收购）先后担任BI研发工程师、研发部门经理等职位，主导了BI系列产品研发。

他于2011年创办成立了广州思迈特软件有限公司，任职总经理，他积极探索产品发展模式，搭建稳健高效的业务模式，为各行业提供高附加值的产品和服务；他带领主要技术骨干开发了思迈特商业智能与大数据分析系统（Smartbi），Smartbi为客户提供一整套满足用户需求的数据分析、报表、绩效监控和信息发布的解决方案，帮助客户更方便的挖掘大数据的价值，使更多的人受益于大数据；其推广应用对于提升我国本土企业的决策能力、市场竞争力有明显促进作用。个人连续多年获得“广州天河区优秀人才”、“10年软件行业风云人物”、工信部赛迪网“年度数字经济先锋人物”等诸多荣誉。

团队其他重要成员姓名：秦彬、黄田安、高梓尧、黄辰扬

·隶属机构：思迈特软件

广州思迈特软件有限公司（简称：思迈特软件）致力于为致力于为企业客户提供一站式商业智能平台 (PaaS) 和BI解决方案 (BI+应用市场)，以“让数据为客户创造价值，助力企业数智化运营”为愿景，专注于商业智能(BI)与大数据分析软件产品与服务。以“Smartbi”品牌推出三大产品，包括一站式ABI平台、智慧数据运营平台、企业报表平台，覆盖企业从传统BI到自助BI，再到智能BI的三个应用阶段，满足从数据准备到数据分析、交流共享等各个环节的功能需求。

自2011年成立至今，先后获得国家认定的“高新技术企业”、“大数据百强企业”、“中国十佳商业智能方案商”、“中国科技创新企业100强”、中国大数据企业Top50”、入选Gartner《2023年中国数据、分析和人工智能技术成熟度曲线》代表厂商、连续多年入选“Gartner增强分析标杆供应商”、“Gartner全球增长最快的ABI「分析与商业智能」平台代表厂商”、连续多年入选“IDC金融科技50强”及“IDC中国商业智能软件市场产商份额top10”。

公司核心产品 Smartbi 是企业级商业智能和大数据分析平台，经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足所有用户的各种大数据分析应用需求，如企业报表、数据可视化分析、自助探索式分析、数据挖掘建模、指标模型、对话式分析等等。

之前集团经营管理，常年采用报表来进行业务监控。报表分析不灵活，想要的维度常用的报表没有；报表太多指标找不到，想要看的指标还要去一堆报表中找；报表指标太多不聚焦，看得人眼睛都花了；使用了对话式分析以后，极大方便了领导管理集团决策的过程，想要看什么指标一句话就出来了，还能灵活多变的从不同维度进行分析，想到啥就分析啥。集成在集团的APP中，在会议中也可以使用对话式分析，及时快速的对业务问题进行解答。

——某保险客户

一线业务人员常年在各个经销商那出外勤，然而数据分析的报表在移动端查看起来不方便，维度指标太多了不聚焦，手机上筛选不同的筛选条件也十分困难，每次查看报表还需要打开专门的APP使用起来十分不便利。利用Smartbi对话式分析，业务人员可以直接在企业微信上输入文字的方式来查询每个供应商的数据，并可以对各个维度进行下钻，找到最合适的销售和库存策略。

——某日化零售企业