3000字实操干货,教你用BQ+Python做数据可视化

前段时间,抽时间基于BigQuery+Python+ECharts实现了一个无抽样自定义行为流报告。

3000字实操干货,教你用BQ+Python做数据可视化

本来想着介绍一下这个东西的价值,无抽样啊~强大的可视化功能啊~广阔的高定制延伸空间啥的,结果手放到键盘上,在和键盘僵持了数小时后,我决定还是放弃了。

3000字实操干货,教你用BQ+Python做数据可视化

手里拿着锤子,看什么都像是钉子,为什么非要为锤子找一个存在的价值呢?做锤子本身不是也蛮有趣的吗?

对吧对吧,ok~所以我们就不赘述无关内容了。

下面我们详细的看下这个小东西最终实现的效果(涉及的相关数据&信息,都是用的虚拟数据,大家仅做参考)。

3000字实操干货,教你用BQ+Python做数据可视化

可以看到,工具的使用,由如下步骤组成:

1)点击**.bat(这是一个批处理文件,内置了一些命令,用于调用Python的脚本,以加载呈现后续的GUI)

2)弹出窗口,进行选项的配置,包括(来源数量限制、目标数量限制、层级限制、数据拉取的开始日期、结束日期、BigQuery身份验证文件、BQ项目ID、数据集ID)

3)开始查询,查询结果自动弹出加载,呈现为桑基图+饼图的形式,桑基图表现了入站用户浏览网页的流向,饼图呈现了某个节点流出的目标。

实现架构

这个工具的实现架构很简单,其中应用的核心技术为:BigQuery+Python+ECharts

BigQuery:负责行为流所需数据的查询;

Python:

  • tkinter:负责GUI页面呈现、相关参数的获取&传递
  • google.cloud.bigquery:负责用户身份的认证&BQ JOB的调用&BQ查询结果数据的获取
  • pandas:负责BQ查询结果数据的相关处理

……

ECharts:负责数据的可视化,主要包括桑基图、饼图

3000字实操干货,教你用BQ+Python做数据可视化

这其中,最核心的是BigQuery,没有BQ我们无从查询获取原始数据,而除了BigQuery外,其他的技术都可以替换,事实上,比当前搭配更优的方案甚多,围绕Python,GUI上除了Tkinter外,还可以考虑使用PyQt/pyglet/wxPython/Toga。

如果想采用网页形式,则可以使用Django或Flask,采用网页进行参数的填写&可视化结果的呈现(事实上这确实是一种蛮优的方案),ECharts做可视化呈现效果很好,但此外还可以使用,例如Matplotlib(Python库)/Google Charts等。

如果不使用Python,那么JAVA/R/node.js等也都可以完成搭建工作,尤其是使用 node.js结合Electron,可以搭建一个非常优质的桌面应用。

方案很多,那为什么选用当前方案呢?

简单。

首先Python&Python-Pandas就不必说,普及程度很高了,而Tkinter是Pyhon的原生GUI标准库,安装了Python就能用。

ECharts是一款开源的前端可视化库,功能丰富,文档齐全,深受业界好评,而且 Demo甚多,与Python也有开源的PyECharts可以使用,非常方便。

技术原理

依赖于例如ECharts的可视化库,我们在技术上的核心,即在于“如何拉取合适的数据”。

以桑基图为例,下图为官方提供的一个简易的图表示例:

3000字实操干货,教你用BQ+Python做数据可视化

那么这个简易的图表需要什么样的数据呢?

有两部分组成,一部分为所需呈现的节点(名称),表现为如下形式:

3000字实操干货,教你用BQ+Python做数据可视化

另一部分,则为各节点间的关系,如下图所示:

3000字实操干货,教你用BQ+Python做数据可视化

即“流量”从哪个节点出发,去往哪个节点,量有多大。而当灌入了数据后,图表就会自动进行构建,自动渲染出如上的图样。

当然,由于我们没有进行其他的设置,上述的图例采用了大量默认的配置,但如果我们需要,就可以进行诸多自定义的内容。

但这个时候,可能也会有朋友发现问题,在GA行为流报告中,数据除了节点、流量、流向外,还存在层级的划分,而上述数据中,却没有显性的设置节点,那么我如何确保从网页A进入网页B再进入网页B这个过程,被准确的识别呢?

3000字实操干货,教你用BQ+Python做数据可视化

(截图自GA DEMO账户)

仍以示例数据为例,如果我们把a/b/c分别看做网页,把a1/a2看做层级,其实就好理解了。

3000字实操干货,教你用BQ+Python做数据可视化

在ECharts中,桑基图表现为一种有向无环图(DAG),节点间的流动关系,自动串联出了层级关系。

以用户A-B-A的浏览为例,则对应数据为:

3000字实操干货,教你用BQ+Python做数据可视化

即A-B-A2。

这里的A/A2实质是一个网页,只是被划分为了不同层级下的不同节点。

基于这个简单的数据示例,我们就可以继续延伸,归纳所需的数据架构,以GA用户行为流图为例,则要知道对于用户来说:

3000字实操干货,教你用BQ+Python做数据可视化

用户此时正处于第几步(在看第一个网页、还是第二个、或者是第十个?)

用户此步浏览的网页(这里以网页为例,也可以是事件、屏幕浏览、屏幕+事件等等,随意)是什么、从这个网页后用户又去了哪些网页(也可能流失了)。

然后再对这些数据加以聚合、统计,得到我们最终所需的数据。

如下图所示:

3000字实操干货,教你用BQ+Python做数据可视化

可以看到,开始的时候,我们获取每个用户的浏览路径,然后将浏览路径拆分为从哪里来到哪里去的结构,并标注层级。

接着,我们在by节点对数据进行聚合,得到从某个层级下某节点流入到其他节点的数据总量。

BQ实现

确定了所需的数据结构&数据构建逻辑,接着就需要编写相应的BQ查询语句以实现。

在BQ中,GA的底层数据,按照每个会话为一行的形式存储,而一个用户的会话中,又可能嵌套着数个Hits,同时这些Hits被诸多列维度所定义。

例如下图所示:

3000字实操干货,教你用BQ+Python做数据可视化

(BQ GA导出部分字段)

Hits表示一个匹配(或者说命中),通常我们在网站上所触发的一次网页浏览、一个事件,都是一个Hits。

Hits有多种类型,由Hits.type定义,例如:PAGE/EVENT/APPVIEW等等。

如果想要单独看PAGE即网页浏览类型的匹配,则我们即可通过筛选hits.type= ‘PAGE’的匹配。

找到了用户浏览的网页,那如何定位这个用户浏览的下一个网页呢?

在这里,我们使用hits.hitNumber来确定:

3000字实操干货,教你用BQ+Python做数据可视化

筛选出hits.type为PAGE的匹配,然后再根据hits.hitNumber来进行排序,就可以获取到节点的先后顺序。

当然由于这个参数是by用户by会话的,那么为了识别唯一用户会话下的hits顺序,我们还需要fullVisitorId&visitNumber来进行界定分组。

节点&顺序都获取了,我们还需要将当前步&下一步抽取出来,此处有多种实现方案,最佳的方法是使用导航函数LEAD()

LEAD()函数用于返回后续行的值,结合LEAD()函数并使用fullVisitorId&visitNumber 进行分组,我们就可以获取到所需的值了。

3000字实操干货,教你用BQ+Python做数据可视化

得到这部分核心数据后,剩下的工作就是聚合COUNT/GOURP BY的问题,这部分很简单,就略过不提了。

(对于此处数据的查询处理,其实还有很丰富的工作可以做,比如我可以使用内容组来做节点、用事件、屏幕浏览做节点,对数据进行处理、替换、按照流量对节点进行归类,例如将节点过小的长尾部分,划分为Other等等。)

Python在这里的应用

我们在前文中有提到,Python在这里并不是不可替换的,使用的目的主要是简单,但是大部分技术原理都是共通的,这里简单描述一下Python的价值,以做参考。

对于BigQuery的使用,在日常工作中,往往是基于BQ的WEB UI界面的,如下图所示:

3000字实操干货,教你用BQ+Python做数据可视化

不可否认,其功能丰富、美观大方、确实好用。

但是我们不可能也不会希望,每次生成图表都需要自己手工去跑数据,然后再进行下载,这无疑太麻烦了,好在BQ提供了丰富的API与相关库,允许通过API的形式执行命令,获取数据。

google.cloud.bigquery就是官方针对Python提供库工具。其中就内置了诸如身份认证(你肯定得保证数据的安全吧,对吧)、数据查询、数据获取等方法。

数据获取到了,我们有时候还希望对数据进行一些变换、处理,这些操作可能在BQ 中执行不便,或代价较高,那就可以使用Python对数据进行二次处理(当然Python还挺擅长这些事情的)。

直接写代码执行这些操作当然是可行的,但我们肯定也不希望每次都需要开脚本,写代码,而且如果给不偏重技术的同事使用,那么他们的学习成本也显得不太合理,所以一个GUI界面,就比较必要。

在这里使用了Python内置的Tkinter,这个比较简单,而且替换方案非常多,略过。

一些延伸

3000字实操干货,教你用BQ+Python做数据可视化

基于上述的DEMO&逻辑,其实后续可以操作的空间、可以尝试的操作就很多了。

比如,我们现在采用的是固定时间的可视化呈现,那么可不可以根据连续的时间周期,做成动画形式呢?当然是可以的。

我们可不可以调整数据呈现的样式,比如流量上数据量级差异很大,能否先对数据做放缩,然后再渲染,在保留大致趋势的前提下,增加数据的可读性呢?肯定也是可以的。

再比如,我们现在针对的维度指标是不是可以丰富?

我们是不是依据现有数据,结合机器学习,对目标达成的数据流进行区分、辨别等等。

总之,当实现了这个小的DEMO后,你就拥有了一把“锤子”,那么无论接下来你是想找钉子,还是想把它做得更称心,亦或是想要从做锤子的过程中,感悟一些比èbai¾ƒè¾“入的é的原理,就都随你了。

以上希望对各位有所启发~

发表评论

电子邮件地址不会被公开。 必填项已用*标注