zeck

起因四月份换了岗位，从运维转到了大数据平台开发，整个知识体系都要重新梳理。幸好之前学习的大数据知识还存在，对于一些组件还算熟悉，这篇文章主要梳理一下当前我司画像标签系统的基本架构，由于还在熟悉中，一些细节会逐渐补充。为什么需要画像标签系统作为一家金融公司，通过画像标签系统可以构建对于不同客户的区分，提高营销活动目标人群的准确性。巴拉巴拉.数据流向一般而言，画像标签系统都依据公司的大数据平台计算能力来构建，在数据仓库完成基本的标签计算，然后讲数据推送到指定的存储系统，数据流向如下：一个完整的画像标签系统数据流向如上，从数据源抽取需要的数据到大数据平台进行加工，加工完成后推送到存储平台。但是，一般而言，但公司决定做画像标签系统的时候，大数据的仓库应该基本构建完成，构建画像标签的数据之间从仓库的基础模式里面获取就可以。抽取，我们公司的调度改了一下DataX拿来使用。这个的设计难点有两个：标签存在hive在里面应该用哪种模式？标签存储画像标签有一个非常大的特点就是每个标签的更新时间是分开，一个客户会有成千上百个标签，每个标签的依赖的基础数据不一样，计算的时间也会不一样。在一开始的版...