用户画像如何验证正确性?

el/2024/5/23 2:42:30

前言

最近在用户画像任务中有个迷茫点,通过从用户行为或者用户数据中为用户量身定制的标签到底准不准确呢?之前对用户画像的初步了解写过一篇博客,其中对画像的验证主要基于模型的线上线下评估。然而,在实际的业务中大多数是依靠业务人员或者分析人员的经验去看待,有很多验证方法又不一定适用实际的业务场景,所以在网上一番搜索后在验证思路上有了一些起色,同时也想把这些内容做些分享,也希望在这个方向上有更多的交流。

用户画像大体流程
用户画像前期探索
用户画像数据整理&分析&标签设计
用户画像原型设计
用户画像开发
用户画像上线
用户画像更新

用户画像建设大体的流程如上图所示,其中较为细节的内容还是结合实际的业务内容,下面针对用户画像的验证主要还是集中在用户画像开发和用户画像更新的节点上。

用户画像分类

以下仅仅是较为粗略地分类
在这里插入图片描述

用户画像验证
1.画像开发过程中验证

(1)模型验证
此方法较多用于基础信息以及基于用户行为的用户画像,在用户标签例如性别、年龄等能够有相应的标注or真实结果时可以使用,通用的验证指标为AUC、KS、ROC、Confusion Matrix等。

(2)抽样验证
在用户量较大的前提下,可以采用随机抽样或者分层抽样的方式进行验证。

(3)交叉验证
交叉验证分画像指标间的交叉验证及外部数据的补充交叉验证,外部数据例如第三方机构等。

2.画像上线后验证

(1)真实数据验证
随着业务发展,一些用户画像信息会从无到有慢慢积累,毋庸置疑的是,将真实数据用于验证画像类指标是最准确的。

(2)A/B Test
A/B Test 是互联网公司最常用的验证方法,一般基于用户画像制定的策略在上线时都会进行严格的对比试验,以测试画像的准确性。

小思考

在实际业务场景中还是存在有难以验证的用户标签,与其一味的追求单个个体的标签正确性,更应该将精力置于标签上线后对实际业务的效果评估上,以业务效果来评定标签的有效性个人觉得可能更适用一些,从效果上也能一定程度地反映标签有无或者标签算法是否存在不同。

参考资料:https://www.zhihu.com/question/36422121/answer/207069948


http://www.ngui.cc/el/5277709.html

相关文章

数据分析进阶-阿里云服务器部署superset与初步使用

前言 Superset 是 Airbnb开源的数据探查与可视化平台,是个轻量级的BI工具,开发者可以在其开源代码上根据需要进行二次开发。最近在探索数据分析平台的应用,就来试一试,然而superset更新迭代的速度太快,里面也有太多的…

数据分析进阶-superset的使用

前言 上一篇博客已在阿里云服务器上部署好了superset,具体可以查看此链接,接下来将动手试一试~ superset的使用 superset的功能 superset支持多种数据库,可以自行配置,但是使用前需要安装对应的包,下面是superset的…

数据分析进阶-superset框架内容修饰

前言 最近和superset框架杠上了,虽然可以正常使用其中的功能,但总想对它修饰修饰,下面将从图标、时间以及看板三个层面来对superset进行升级~ 修改icon 图标主要是修改图中红框所示的部分,具体做法如下 APP icon 1.进入到/sta…

数据分析进阶 - pandas在数据分析中的应用

前言 记得在去年的时候写过一篇关于pandas包的简单使用,具体可见链接,但是经过这段时间的学习或者工作,觉得有点低估了pandas能够在分析中发挥的作用,所以这篇博客将对数据分析整个流程中pandas的使用做一个梳理(不会…

分析思维锻炼 - 次日留存率下降怎么分析?

前言 个人觉得数据分析重要的在于思维层面,奈何在这方面的训练不是很多。因此,后续将多多锻炼并整理成博客分享(内容仅为个人思考,会不断进行修正) 分析思路 明确问题 # 在实际工作中通过沟通进行确定 问题&#x…

数据分析进阶 - 关于SQL的知识点

前言 SQL作为实际工作中的一部分,总是需要与它打交道,但总有种一知半解的感觉,所以此博客就作为学习笔记便于后续的回顾(写博客能够让自己记得更牢- -),也会根据工作实际遇到的场景来不断地补充…(如果有不对的地方欢迎指出) 1.…

数据分析特辑-如何推进与业务方的沟通?

前言 作为数据分析师或者参与到数据分析项目中的朋友,应该少不了与业务方打交道。最近在这个方面上颇有感触,结合自己为数不多的项目经验以及网上相关文章的点拨,在此做一点点的思考分享,以下均为个人想法,也希望有类…

错误记录 - ValueError unsupported format character Y (0x59) at index 53

前言 发现很多时候遇到挺多报错记录的,觉得可以弄个错误记录特辑来整理下遇到的问题以及相应的解决方法~ 错误复述 代码环境:Python3 代码用途:执行SQL语句 错误代码: # 仅为实例 sql "select date_format(get_time, %Y…

SQLZOO附加题练习 - Window functions

前言 SQLZOO里面的题还是比较适合初学者的,这里仅仅作为巩固基础,同时因为这道题目前搜不到相应的答案,所以做个小小的分享~ PS:非小白玩家可以去LeetCode、牛客网、CodeWars上刷题更佳 题目 General Elections were held in t…

SQL优化系列 - MySQL表设计时要注意什么?

前言 今天是5月的最后一天了,一边听着五月天的线上演唱会,一边整理下学过SQL相关的内容,之前有篇是针对SQL的知识点:https://blog.csdn.net/Totoro1745/article/details/106036161,接下来的优化系列也会不断的进行更新…