透过大数据看企业创新
如何发现大数据中的价值,是我们研究大数据的重要原因。作者介绍了若干简单的数据分析模型,分析创业成功的效率。另外,通过对比连续三年的演讲的话题的数量,得出了那些话题正在走向热门。而话题中的热点词的变化,也反映了话题方向的变化。
技术与创新是几乎所有初创IT公司赖以生存发展的根本,也是像Google、Apple这样的巨无霸们前进的动力,EMC也不例外。除了自上而下的创新,EMC更加注重自下而上的crowdsourcing式的创新。在每年的Innovation Showcase活动中,EMC鼓励员工针对公司的产品,服务,运营,员工等各个方面提出自己的创意。经过一系列的评审,出众的点子会入围 Finalist,甚至成为某些奖项的Winner。更重要的,这些点子还有被立项孵化的可能。
在2011年度的Innovation Showcase中,EMCer们创纪录地提出了近1500个创新Ideas,可谓百花齐放,百家争鸣。通过分析这样的数据,我们首先可以:
• 获得基本的统计信息。类似商业报表,我们可能关心的信息包含有多少人参与了这样的活动,他们的地理分布,他们的职位分布,哪些人是effective innovators等等。
更有趣的,我们可以对这些Idea进行一个主题模型分析,从而:
• 洞察到这些点子的潜在语义结构
• 分析这些点子包含的主题信息,同时刻画主题。
EMC是一个技术驱动的IT公司,通过深化主题分析的结果,我们更进一步地
• 了解到哪方面的技术是EMCer最关心的,并且
• 研究年复一年的技术趋势的变化。
为了达到这些目的,以数据分析为己任的ELC大数据实验室利用相关分析工具,通过数据科学家和对公司业务熟悉的领域专家们的密切协作,从数据中挖掘出了一些有趣的结果。在保护公司IP和个人Privacy的前提下,我们选择性地展示其中一些结果。
1.寻找Effective Innovators
Figure 1 气泡图帮助寻找effective innovators
为了在所有的Submitter中寻找最有效率的创新者,我们统计了每个Innovator的投稿数(NEntries)和入围Finalist的点子数目(NFinalists)。我们可以效率定义:
Effectiveness = NFinalists / NEntries
除了这种数值的表示,我们也使用了可视化的方法来辅助寻找effective innovator。如图所示,横轴表示NEntries,纵轴表示NFinalists。每个innovator的(NEntries, NFinalists)对应于图中的一个点。比如红框内的点表示某个Innovator投了14个Ideas,其中5个入围。定性地说,位于图中左上角的 Innovator都是有效率的创新人。需要注意的是,当多个Innovator具有相同(NEntries,NFinalists)对时,它们在图上显示为同一个点。点的颜色深度反映了这种重合度的强弱。
我们是利用Google Public Data Explorer来做这样的展现的,利用这个工具的一个好处就是方便发布分析结果:https://plus.google.com/u/0/113662585874608138956/posts/SHYJ6NjYsYj。它提供基本的交互功能,比如将鼠标放置某点上, 会显示此Innovator的姓名。为了公司宝贵的人力资源,这儿显示的姓名全都做过加密,希望能替公司保护各位Innovator的信息^-^。
2.寻找Idea中蕴含的主题
通俗地说,主题分析就是去分析发现每一篇文章的主要议题是什么。比如新浪新闻上有讲政治的,有讲体育的,也有关于军事的,属于同一个主题下的文章应该在用词、表达上有一定的相似处。所以,主题分析本质上是一个聚类(Clustering)的过程,即把相似的文章聚成一类,然后通过分析这一类文章的内容来概 括出主题。这儿需要强调的是,通常的主题分析是一种探索性的、无监督的分析:数据里面没有显性的主题或Tag;甚至在分析前,也不知道这些文本里蕴含了多 少个主题,每个主题的名字是什么。
主题分析最流行的工具是LDA(Latent Dirichlet Allocation)。LDA是ML大牛David Blei在博士期间在老牛M. I. Jordan的指导下做的工作。最早的Journal Version是2003年的JMLR,最近Blei又写了一片关于LDA的综述类文章“Introduction to Probabilistic Topic Models”。关于这个课题,
初级的读者可以了解一下LDA是为了做什么的,重点理解Bag of Words的输入,以及输出的结果的展现。
中级的读者如果有概率图模型PGM的基础,可以试着了解LDA所基于的概率假设和概率模型是什么,去思考为什么这样的假设是合理的。这儿需要一些基本概念,比如独立,条件独立,联合分布的分解,以及图模型的plane representation。
高级的读者们需要去搞定的是基于LDA的推理算法。因为LDA是一个Bayesian Model,所以整个推理的中心就是计算感兴趣的变量的后验分布posterior probability。为了这个目标,可以采用sampling based method,比如Gibbs sampling;也可以首先把问题转化为一个优化问题,然后用Variational EM的方法迭代求解。市面上两种方法都有很多实现,可能有自己不同的应用场景,也不好说哪种方法更优。
Figure 2 文本分布图
利用LDA我们对于EMC 2011 Innovation Showcase的数据进行了分析,上图显示的是从中发现的25个主题。每个bar的高度对应属于这个主题的文章个数。对于每个主题我们可以逐一显示属于它的那些文章,并且也可以显示“Word Scoring”,即在主题中每个词的重要性。由于篇幅关系,我们这儿只关注一些特别的主题。
显然,在所有主题中,Topic22享有最高的权重。为了理解Topic 22的含义,我们看一下此主题中的重要词汇。
我们把如图所示的结果展示给熟悉公司的领域专家,得到的回答是Topic22应该是关于Employee Engagement,Productivity and Benefits 。换句话说,在这次创新活动中,有相当数量的点子是针对员工与公司的关系的。很有意思的发现!
EMC是一个High-Tech公司,理所当然的我们有更多的技术性的创新。通过对于其他主题的分析,我们找到了关于存储的主题,关于云计算的主题,关于大数据的主题等等。主题分析对于理解这些创新点子的隐含结构信息有很大的帮助。
3.寻找主题的趋势和演化规律
很幸运,EMC把员工的Idea当成公司的财富保留了下来,即使是去年,前年以及更久远的数据;更幸运的,我们拿到了这批数据,从而可以主题的趋势分析。下面我们就举例分析这几年EMCer在创新中所关注的主题的趋势。
Figure 3 三年来的主题趋势
通过在2011年的LDA模型上对于2009,2010,2011数据进行推理,我们得到了入上图所示的所有25个主题在这三年里受关注的变化。根据这个图以及前一节所进行的主题诠释,我们就可以回答诸如“近些年EMCer是如何看待cloud或者big data的?”这类问题。比如,topic22代表的employ engagement主题在2011年达到一个峰值;topic4代表的big data有一个稳步的增长;而topic9代表的cloud基本保持平稳。
主题的演化讲的是同一个主题的内容随着时间变化而变化的规律。比如说,我们看到在这三年里,每年都有将近60篇的Idea是关于cloud云计算的。我们可以通过这些文章的常用词理解关于云计算创新的演化。
通过上图我们看到,EMCer的想法和公司的战略以及主流的云计算趋势是非常吻合的:在09年EMCer对云计算的认识还停留在系统主机的基础上,到了10年大家开始讨论虚拟化以及私有云的技术,而在去年的重点则转变为包含私有云和公有云的混合云技术。
再以big data大数据主题topic4为例:
在前两年,大数据分析在EMC还只是关于一般数据库的查询和分析。2010年收购了Greenplum之后,我们看到,不仅更多的人讨论数据分析,而且在2011年大家开始关注大数据,Greenplum,和实时的分析。
4.结语
从2007年开始的5年间,EMC总共有6000多位员工参与了每年的Innovation Showcase活动。在这个分析中,Big Data Lab的数据科学们积极的和熟悉公司业务运作的F/D Engineer们协同工作,通过分析这些Idea来刻画EMC的创新生态系统。使大家对于EMCer的创新结构有了一定的了解。
通过这样的分析我们获得了重要的actionable insights来帮助提高公司创意文化。具体的actions包括对于新兴趋势进行引导和加强,组织针对某个主题的special interest group等等。只有通过这些后续的动作,才能真正让数据分析的结果发光发热,给公司增值。
数据分析咨询请扫描二维码
在如今的数据驱动时代,掌握数据分析的工具和方法不仅是提高工作效率的关键,也是开拓职业机会的重要技能。数据分析涉及从数据的 ...
2024-11-08在现代商业环境中,企业正在逐步认识到数据挖掘技术在客户行为分析中的重要性。通过深度分析客户数据,这项技术不仅可以帮助企业 ...
2024-11-08数据挖掘分析是从大量数据中发现隐藏模式和有用信息的过程。尤其是在图数据挖掘中,提供了分析复杂关系和结构的独特视角。图数据 ...
2024-11-08在当今快速发展的商业环境中,提高运营效率已成为企业取得成功的关键因素。企业需要通过优化工作流程、利用技术创新和提升员工技 ...
2024-11-08Python 是一门非常适合初学者学习的编程语言。其简洁明了的语法、丰富的功能库,以及广泛的应用领域,使其成为学习编程的理想选 ...
2024-11-08在当今快速变化的商业环境中,金融数字化已经成为中小企业(SMEs)发展的关键驱动力。通过采用数字工具和技术,中小企业能够提高 ...
2024-11-08中小企业在全球经济中扮演着重要角色,然而,面对数字化浪潮,这些企业如何有效转型成为一大挑战。数字化转型不仅是技术的升级, ...
2024-11-08选择合适的数据分析方法是数据分析流程中的关键环节。它影响最终结论的准确性和可信度。在这个过程中,需要综合考虑数据的性质、 ...
2024-11-08在当今数据驱动的商业环境中,数据分析师扮演着至关重要的角色。他们帮助企业从大量数据中提取有用的洞察,从而推动决策制定和战 ...
2024-11-07在现代商业环境中,商务数据分析师扮演着至关重要的角色。作为联系业务需求与数据洞察之间的桥梁,数据分析师需要具备一系列技能 ...
2024-11-07在现代商业环境中,商务数据分析师扮演着至关重要的角色。作为联系业务需求与数据洞察之间的桥梁,数据分析师需要具备一系列技能 ...
2024-11-07在现代商业环境中,数据挖掘发挥着至关重要的作用。它不仅帮助企业从庞大的数据集中提取有价值的信息,还为企业的决策和业务运营 ...
2024-11-07数据分析可视化是一种通过图形化方式展现数据的技术,它使复杂的数据变得直观易懂,从而帮助我们更好地做出决策。在这个快速发展 ...
2024-11-07数据分析是一项至关重要的技能,尤其在当今数据驱动的世界中。Python以其强大的库和简单的语法成为了数据分析领域的佼佼者。本文 ...
2024-11-07在现代数据驱动的环境中,数据分析师扮演着至关重要的角色。他们需要掌握多种工具,以满足数据分析、处理和可视化的需求。无论是 ...
2024-11-07作为一名业务分析师,你将发现自己处于企业决策和数据驱动战略之间的桥梁位置。这个角色要求掌握一系列技能,以便有效地将数据转 ...
2024-11-07CDA中科院城市环境研究所(厦门)内训圆满成功 2017年9月12日-15日,CDA数据分析师在中科院城市环境研究所(厦门)进行了 ...
2024-11-07数据分析是现代商业和研究领域不可或缺的重要工具。无论是为了提高业务决策的准确性,还是为了发掘隐藏在数据中的潜在价值,了解 ...
2024-11-06数据分析是一个精细且有序的过程,旨在从海量数据中提取有用的信息,为决策提供有力支持。无论你是新手还是有经验的分析师,理解 ...
2024-11-06在当今竞争激烈的商业环境中,业务分析师(Business Analyst, BA)的角色变得愈加重要。随着企业对数据驱动决策的依赖加深,业务 ...
2024-11-06