数据分析的影响因素之分析算法
整个数据分析的流程就是基于基础数据,通过不同的算法或数学模型来实现业务价值的过程。当我们拥有了数据基础后,下一步要做的就是选择合适的算法来挖掘隐藏在数据中的信息价值。
在以往企业的数据分析中,数据分析人员更多会从历史数据与当期数据的对比,当期数据多种纬度的现状呈现角度入手,其呈现价值主要在于对于企业运营的情况进行呈现,由于企业各个部门中有大量的信息需要同步给其他部门,而这些内容如果光靠语言描述或者会议纪要的方式传递的话,无论是承载的信息量还是传递效率还是记录过程中的信息流失都是无法承受的。
所以从很久以前开始,数字化管理就已经成为企业的关键管理模块了。正如质量管理专家戴明说的那句名言:In God We Trust, All Others Bring Data.(除了上帝我无条件相信以外,所有其他的都给我把数据拿出来)。
在以往,这个“所有其他的”的范围倒是还比较小,因为数据分析人员只要把上述内容做好,把当期的情况全面呈现出来,再跟以往作下对比就行了,如果说做的比较好的,则会把趋势分析也加入进来,基于以往的数据,基于趋势分析算法来评估未来该数据指标的变动趋势和波动范围。
可是在今天,这些内容已经远远不能满足企业的胃口了,导致这一切发生的根本原因就在于上一篇文章我所说的,技术和管理能力的提升所导致的数据指标的极大丰富,这一因素致使以往管理者想都不敢想的数学算法,数学模型的应用成为可能。
从数学角度来看数据分析的话,其“了解过去”,用数字的方式来呈现企业内部方方面面的运营情况仅仅只是其功能的很小的一部分,甚至可以说这部分内容都不能算在数学领域内,因为其根本就没有涉及到任何的算法或模型的应用。而真正应用数学知识来实现的数据分析则更多会关注在预测未来上。
何为未来的预测,在前边我所提到的趋势分析就是其中一种,即运用统计学算法来计算未来数据的波动情况,而这个内容的应用在以往之所以能够实现的原因就在于其对于数据指标的需求较为简单,因为只要数据库中能够有单一指标的历史数据积累,即便数据的记录有所缺失都能够应用该算法。
但是再往上,在应用统计学中的更高阶的算法工具时,如聚类分析,回归分析时,我们对于数据指标的需求就大大提升了。就像“啤酒尿布”理论中使用的RFM模型就需要最近一次消费(Recency)、消费频率(Frequency)、消费金额(Monetary)和商品类型等四类指标信息。而一旦提升到关联分析这个层级,我们所需要就已经不是有限的指标了,而是已经把指标的丰富度作为了模型品质的考核因素之一了,也就是说模型中的指标越丰富,那么这个模型就越可能发挥其作用,至于完全独立的创建数学模型的话,我们则不仅需要数据指标了,其他诸如文本信息的结构化都成为了模型构成的核心要素了。
所以说在以往,如果想要达成上述工具或模型的应用,我们的数据库需要多么强大,不过在今天,这一切终于得到了系统层面上的解决方案,在大数据技术的应用下,让我们来看看何为真正的数据分析吧。
目前针对业务需求,我们最为常用的统计学分析方法主要有两类,即聚类分析跟回归分析。以下让我们分别以案例的方式来介绍这两部分内容。
聚类分析(客户分类/热门问题聚焦)
聚类分析,专业定义请各位自行查找百度百科,在这里我用大白话来说,其实聚类分析顾名思义就是“物以类聚”的分析方法,它的目标就是把类似的对象放到一个类型中去。
聚类分析这个分析工具在企业的运营过程中能够起到非常巨大的效果,最典型的应用场景就是客户分类或者说市场细分层面上,在以往我们都是通过客户的消费能力来界定客户类型的,即“高端客户”等,而且这个消费能力的边界也是企业自己脑补的,100元以下一类?1000元以下一类?10000元以下一类?都是企业管理人员自己看着定的,当然并不是说这种拍脑袋的方法有什么错误,实际上资深企业管理人员的经验往往是最好的分析工具。但是这个工具无法推广,如果换个新人来,出错误的概率就会大大提升,而且另一方面,仅仅只是消费能力是不是就能够界定出所谓的“高端客户”,这本身也存在一定的不合理性。今天比较先进的企业会采取将交互活跃度,购买频次等信息共同加入的方法来全面衡量所谓的“高端客户”,但这是否足够全面,其实大家心里都明白。但如果再增加内容,一方面数据来源困难,一方面传统的人工界定的方法难以顾得过来这么多的信息,而此时就需要大数据系统和统计学软件了。在今天的数据库中,我们所记录的内容已经远远不是当年的客户简单的行为信息了,包括地理信息(如住址,气候,环境),人口信息(年龄、性别、职业、收入、教育、家庭类型、家庭人口),心理信息(风格个性、爱好、态度特点、渠道偏好),交互信息(购买产品类型、交互频次、购买频次、售后频次、售后内容、产品评价)等等。通过SPSS或者SAS统计软件,我们能够将这些内容通通放入程序中进行综合分析,在这些各类型的信息综合之下,我们将能够在一个更为完整的客户画像之下对客户进行分类,进而对企业战略侧重提供关键信息。
在文本分析中,聚类分析也起到了不可忽视的作用,譬如热门问题聚焦。以往企业可以收集到很多客户反馈的评论,这些客户声音对企业的价值很大,可是庞大的信息量、非结构化的文本,使得对文本价值的挖掘造成了很大困扰。为了使文本信息量缩小并且可分析,首先我们可以去掉一些水词(如:的、呀等副词);然后将一些相似的词或近义词进行聚类(如:交费、充钱、充不上钱、交钱等即可聚类为交费),这样我们会聚类出很多关键词;然后,我们对这些关键词进行聚类,即可得到热门话题(如:交费出问题)。由于汉语的博大精神,现在文本分析的道路还存在一些障碍,不过不久的将来,文本分析应该会带给企业更多的显性价值。
回归分析(疾病分析/《纸牌屋》)
回归分析的具体定义在这里也不详讲,从作用上来讲,这种分析方法最重要的目的就在于找到各种因素之间的具体关系。这个分析工具能够在大量的毫无关联的因素之间,基于一个目标因素进行分析,来看其他所有的因素与这个目标因素之间究竟有着怎么样的关系,在这个领域中,属医学分析相关应用最为成熟,举例来讲,医生希望能够通过一系列检查来判断病人是否有得心脏病,那就需要判断心脏病可能会跟哪些其他症状有相关性,这就需要对以往得过心脏病的病人与没得过心脏病的正常人进行综合比对,将各个指标,诸如心率,胆固醇等指标进行汇总,以对象是否有心脏病作为目标因素来分析,通过SVM等回归算法来判断,患有心脏病的对象与没有心脏病的对象之间有差异的因素都有哪些,这些因素将会成为我们对患者检查的关键因素。
而在商业领域中,netflix的《纸牌屋》就是另一个典型的例子了,我们可以看到,以往客户观看的电视剧类型,演员阵容,主题类型,包括地点,结局等,通过以客户是否观看作为判断因素,将上述因素与这个目标进行回归分析,我们就能看到影响客户观看的关键因素都可能是哪些,他们本身又应该是什么,这样就能进一步判断不同类型的客户,以及这类客户的需求会有哪些,应该给他们推什么产品,或者设计什么产品等,这同样能够为企业战略提供重要支撑。
上述案例是众多的数学方法应用于数据分析的典型场景,但并不是全部场景,实际上这个领域可以扩展的内容太多,几乎无法穷举,而伴随着今天底层数据的越发成熟,我们能够使用的数据分析方法也就越来越丰富,能够给企业带来价值的纬度也就越来越多,可以说在今天这样的技术支撑下,我们才真正敢说数据分析迎来了正式的春天,而要真正进入这一数据时代,除了前边所说的数据和算法支撑,这些都属于业务层面,我们最后需要的就是事务层面的需求,这也就是我在下次文章中希望能够介绍的,在组织结构上的数据分析变革。
其实算法层面并不像其他层面有那么多的问题,其实它就是一个客观的工具,我们更多需要的是在业务层面,即数据指标层面,和事务层面,即组织结构层面上的支撑,只有这些支撑真正到位,我们才能应用这些数学工具,真正发挥数据分析的价值。
数据分析咨询请扫描二维码
在当今数字化时代,数据已成为推动经济和技术发展的关键因素。企业和机构对数据科学与大数据专业人才的需求急剧增长。该领域涵盖 ...
2024-11-16金融数学是一门充满挑战和机遇的专业,它将数学、统计学和金融学的知识有机结合,旨在培养能够运用数学和统计方法解决复杂金融市 ...
2024-11-16在信息时代的浪潮中,大数据已成为推动创新的重要力量。无论是在商业、医疗、金融,还是在日常生活中,大数据扮演的角色都愈发举 ...
2024-11-16在快速演变的数字时代,数据分析已成为多个行业的核心驱动力。无论你是刚刚踏入数据分析领域,还是寻求进一步发展的专业人士,理 ...
2024-11-15Python作为一种通用编程语言,以其简单易学、功能强大等特点,成为众多领域的核心技术驱动者。无论是初学者还是有经验的编程人员 ...
2024-11-15在当今数据驱动的世界中,数据分析已成为许多行业的基础。无论是商业决策,产品开发,还是市场策略优化,数据分析都扮演着至关重 ...
2024-11-15数据分析作为现代商业和研究领域不可或缺的一部分,吸引了越来越多的初学者。然而,自学数据分析的过程中,初学者常常会遇到许多 ...
2024-11-15在当今的数据驱动世界中,机器学习方法在数据挖掘与分析中扮演着核心角色。这些方法通过从数据中学习模式和规律来构建模型,实现 ...
2024-11-15随着数据在各个行业的重要性日益增加,数据分析师在商业和技术领域的角色变得至关重要。其核心职责之一便是通过数据可视化,将复 ...
2024-11-15数据分析师的职责不仅仅局限于解析数据和得出结论,更在于将这些复杂的信息转换为清晰、易懂且具有影响力的沟通。良好的沟通能力 ...
2024-11-15数字化转型是企业提升竞争力和实现可持续发展的关键路径。面对快速变化的市场环境,以及技术的飞速发展,企业在数字化转型过程中 ...
2024-11-15CDA数据分析师认证:CDA认证分为三个等级:Level Ⅰ、Level Ⅱ和Level Ⅲ,每个等级的报考条件如下: Le ...
2024-11-14自学数据分析可能是一条充满挑战却又令人兴奋的道路。随着数据在现代社会中的重要性日益增长,掌握数据分析技能不仅能提升你的就 ...
2024-11-14数据分析相关职业选择 数据分析领域正在蓬勃发展,为各种专业背景的人才提供了丰富的职业机会。从初学者到有经验的专家,每个人 ...
2024-11-14数据挖掘与分析在金融行业的使用 在当今快速发展的金融行业中,数据挖掘与分析的应用愈发重要,成为驱动行业变革和提升竞争力的 ...
2024-11-14学习数据挖掘需要掌握哪些技能 数据挖掘是一个不断发展的领域,它结合了统计学、计算机科学和领域专业知识,旨在从数据中提取有 ...
2024-11-14统计学作为一门基于数据的学科,其广泛的应用领域和多样的职业选择,使得毕业生拥有丰厚的就业前景。无论是在政府还是企业,统计 ...
2024-11-14在当今高速发展的技术环境下,企业正在面临前所未有的机遇和挑战。数字化转型已成为企业保持竞争力和应对市场变化的必由之路。要 ...
2024-11-13爬虫技术在数据分析中扮演着至关重要的角色,其主要作用体现在以下几个方面: 数据收集:爬虫能够自动化地从互联网上抓取大量数 ...
2024-11-13在数据分析中,数据可视化是一种将复杂数据转化为图表、图形或其他可视形式的技术,旨在通过直观的方式帮助人们理解数据的含义与 ...
2024-11-13