数据可视从数据探索到工程落地
加快推动从数据探索到工程落地的过程是一件很有意义的事情,数据分析要如何做到尽量和数据分析的流程紧密结合,又要方便工程化落地一直困扰着许多数据分析师和Web工程师。数据分析师不想深究太多前端JS实现,Web工程师也不想插手复杂的业务逻辑与SQL。对于工程化这件事情,如果数据分析输出的图表是基于html的,那Web工程师只需要复制粘贴相应的js配置项然后引用一下js库就完成70%的工作了。但是对于数据探索来说,大部分的数据可视过程70%的工作可能都是失败、或者暂时的,花费大量精力完成的前端代码并不会对数据分析这件事情本身带来太多帮助。但是现实世界并没有这么美好,很多时候身兼数职的全能王倒是因为会给老板省钱受到青睐,本文将讨论几种可能的解决方案。
可能的解决方案
数据分析师+交互式绘图
常见的方式比如radiant(R)、caravel(Python)都具有这样的功能,数据分析师可以建立一个数据库连接,然后在连接中通过SQL语句得到想要的数据,再通过交互式的绘图方式完成数据可视化的探索。
优势:让数据分析师可以集中精力在数据分析本身,可以快速实现数据探索、建模、甚至分享页面和仪表盘。
劣势:复杂的数据分析算法实现起来比较困难,数据需要事先规整清晰好,满足多维数据分析条件才行,前端绘图库无法比较困难,整体定制性较弱。
数据分析师写JS
第一种方案建立在交互式绘图工具足够好用的基础上,对于很多非主流的startup并不一定完全适用,因为startup人手有限,很可能要求数据分析师有能自行解决前端数据可视化的能力需求。
常见的方式是通过SQl取数后调用一个JS制图库(比如echarts、highcharts、plotly等等),分析师需要在js中完成许多数据描述性统计的工作直接展示在前端页面上,然后将配置项和SQL保存在数据库中,以供后续的API查询调用。
优势:简化了数据产品落地的流程,在SQL不够用的情况下可以用JS来补足,可以快速实现定制化的前端图表输出,满足各种可视化特殊需求。
劣势:简单的数据分析算法实现也很困难,数据分析很难专注于数据本身,需要处理很多JS相关问题。
数据分析师写R
上述两种方案在数据处理上都并不是非常完美,所以说,更加理想的方案是通过用一种数据分析语言完成数据分析和数据可视的工作,既要保证数据分析的灵活性,又要保证工程落地的敏捷性变成一个很关键的事情。但是通常自己写前端JS的代码又非常的麻烦,可能还要写很多MapReduce。一些常见的描述性统计(极值均值求和计数等等)在前端实现都会耗费很多功夫,更不用说更高级的一些算法了,而大部分数据分析工作在Python或者R语言中其实是可以快速完成。那么,从Python和R中直接输出一些html图表不失为一种好的办法,当然更多场景下我是建议用R来完成。
优势:既能满足复杂的算法模型快速实现,又能满足工程敏捷落地的需求。
劣势:对于简单分析而言,不如方案一来得方便,快捷。
具体方案
在R中,我们其实可以使用 DT + ggplot2 + plotly + flexdashboard 的方案来完成数据分析图表的绘制和产出。首先,在探索分析的过程中可以使用ggplot2对数据进行各种分组暂时,这样就保证了数据分析结果维度的丰满,通过 + 的链式调用,可以在同一基础图形上变换多种展现方式进而得到更多多维分析结果。其次,利用 plotly,ggplot2 所绘制的静态图表可以快速拓展为动态图表。最后,通过 flexdashboard,可以快速排版数据可视化结果,提供一个Web服务作为输出。
简单例子
knitr::opts_chunk$set(echo = TRUE)
library(readxl)
library(dplyr)
竞品分析列表 <- read_excel("~/竞品分析列表.xls",col_names = T)
colnames(竞品分析列表) <- 竞品分析列表[1,]
竞品分析列表 <- 竞品分析列表[-1,]
DT::datatable(竞品分析列表)
library(ggplot2)
# 频数统计
p <- ggplot(data=地区频数, aes(x=地区,y=频数,fill=大小)) +
geom_bar(stat = "identity",alpha = 0.8) +
labs(x = '地区', y = '频数') +
ggtitle("地域分布") +
coord_flip() +
theme(text = element_text(family = 'SimSun'))
p
library(plotly)
ggplotly(p)
只需要修改一下 yaml 配置并引入 flexdashboard 即可
---
title: "竞品分析"
author: "Harry Zhu"
date: "September 17, 2016"
output:
flexdashboard::flex_dashboard:
orientation: columns
vertical_layout: fill
---
knitr::opts_chunk$set(echo = TRUE)
library(flexdashboard)
library(readxl)
library(dplyr)
竞品分析列表 <- read_excel("~/竞品分析列表.xls",col_names = T)
colnames(竞品分析列表) <- 竞品分析列表[1,]
竞品分析列表 <- 竞品分析列表[-1,]
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29