我们在前面的文章中给大家介绍了很多关于机器学习中常见的错误,当然,这些错误都是需要我们去避免的。在这篇文章中我们继续为大家介绍机器学习中常见的错误,希望大家能够引以为,从而更好地学习机器学习知识。
一般来说,从数据流的角度来看的话,机器学习系统中的数据要经过样本收集、特征生成、模型训练、数据评测等等这样一个流程,在这样一个比较长的流程中,不一定每个环节都是自己可控的,那么在那些不可控的环节,就有可能出现风险,而更可怕的是,由于数据控制在别人手里,如果数据控制出现了问题,那么我们很难清楚实际情况。如果我们以样本收集为例,在大型公司里,这样的工作很可能是由统一负责日志收集的平台部门来做的,而算法团队只要拿来用就可以了。这种做法有好处,也有坏处。好处很明显,就是减轻了算法团队的负担,但是也会带来隐患,就是我们拿到的数据不一定真的是我们要的数据。
大家都知道,正确的数据往往只有一种,但是错误的数据却有很多种错误方法。在样本收集方面,前台发送过来的曝光数据也存在着多种可能性,例如可能是缓存起来的数据,也有可能是用来做SEO的数据等等。这些数据在发送方来看,都是合理的数据,但对于算法模型来看,都不是用户真正看到的数据,而用户真正看到的数据才是我们真正想要的数据。那么作为这份数据的使用方,算法模型很有可能就会受到这种错误数据的影响。而且,最可怕的是,这种错误并不是那种能让程序崩溃的错误能够让我们能在第一时间发现,而是完全隐藏在正常数据中,只有我们犯了错误以后返回来找问题时或许才能发现。
那么大家是否知道这种错误数据出现的原因是什么呢?其实这种错误并不是一定日志收集团队不负责任,关键在于收集日志的团队不使用日志,或者说出数据的人不用数据,那么就很难要求他们来保证数据的质量。这种分离的状态对于模型算法这种高度依赖数据的应用是有风险的,所以最好能够加强这部分数据的控制能力,如果自己不能完全独立来做,那么就要有对应的监控机制,这就需要我们做到有问题能及时发现、及时处理,而不是“拿来主义”。
在这篇文章中我们给大家介绍了机器学习中常见的错误,具体就是对核心数据缺乏控制,相信大家阅读了这篇文章以后已经知道了这种错误导致的后果,希望这篇文章能够更好地帮助大家理解机器学习。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21