过拟合(over-fitting)是指机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。也就是referstoa模型对于训练数据拟合程度过高的情况。 通过学习曲线来理解 ...
2020-07-08
一、欠拟合概念及理解 机器学习中欠拟合是一个常见的问题，简单来说就是模型在训练和预测时表现都欠佳的情况。一个欠拟合的机器学习模型不是一个良好的模型并且在训练数据上表现不好这是显而易见的。 图 ...
2020-07-08Kmeans算法属于无监督学习的一种聚类算法，这种算法的目的为：在数据所属类别及类别数量不明确的前提下，依据数据自身的特点对数据进行聚类。聚类过程中，对于类别数量k的选取，需要一定的先验知识，也可根据“类 ...
2020-07-08
最大后验估计(maximum a posteriori probability estimate), 简称为MAP。在贝叶斯统计学中，最大后验估计是通过利用经验数据获得对未观测量的点态估计。 与极大似然估计类似，不同的是，在似然函数后面多乘了一 ...
2020-07-08
矩阵特征值与特征向量在机器学习算法中经常会用到，每次出现都有着其独特的意义，如果不能深入理解特征值和特征向量两个概念，对我们机器学习的实际应用会有很大影响。小编今天整理了特征值和特征向量的概念计算以 ...
2020-07-08
召回率(Recall)，也被称为 查全率，或者True Positive Rate，R= TP/(TP+FN) ; 反映了所有真正为正例的样本中被分类器判定出来为正例的比例。 精度，或者叫做精确率(precision)：P = TP/(TP+FP);反映了被分类器 ...
2020-07-08
混淆矩阵(confusion matrix)，又被叫做错误矩阵(error matrix)。矩阵的每一列代表分类器对于样本的类别预测，矩阵的每一行代表版本所属的真实类别。 ’混淆矩阵‘这个名字来源于，它能够很容易的看到机器学习是 ...
2020-07-08数据挖掘(data mining，简称DM)，是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。在python对数据的处理方式中，数据挖掘和数据分析是两个重要的方式，目 ...
2020-07-07
anaconda是一个用于科学计算的python发行版，支持 Linux, Mac, Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。anaconda利用工具/命令conda来进行 ...
2020-07-07“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器 ...
2020-07-07假设检验是根据一定的假设条件，由样本推断总体的一种方法。 假设检验问题是统计推断中的一类重要问题，在总体的分布函数完全未知或只知其形式，不知其参数的情况，为了推断总体的某些未知特性，提出某些关于总 ...
2020-07-07重复值处理是python数据清洗过程中的重要步骤，小编今天给大家整理了重复值检测及重复值处理的方法，希望对大家有所帮助。 python重复值处理的常用方法是删除，用duplicates(subset,keep,inplace)方法对进行重 ...
2020-07-07数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是 ...
2020-07-07虚拟机是什么?这可能对于没有一定计算机基础的小伙伴很难理解。虚拟机就是虚拟的年脑?其实这样理解也不错。虚拟机是在虚拟硬件上运行的虚拟操作系统(或应用程序环境，如JVM)，它的硬盘是在一个文件中虚拟出来的， ...
2020-07-07
Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，对那种对几个记录随机读写的在线事务处 ...
2020-07-07Linux与windows相比最大的不同就是，很多操作都需要命令来控制。小编整理了一些文件和目录经常会用到的Linux基本命令，希望对各位小伙伴使用Linux有所帮助。 文件和目录 cd /home 进入 \'/ home\' 目录\' ...
2020-07-07
RDD 即 Resilient Distributes Dataset, 叫做弹性分布式数据集，是spark中最基础、最常用的数据结构。其本质是把input source 进行封装，封装之后的数据结构就是RDD。RDD具有数据流模型的特点：自动容错、位置感知 ...
2020-07-07SQL语言，是结构化查询语言(StructuredQueryLanguage)的简称。SQL语言是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。下面小编整理了SQL语言的基本语法-增删改查，希望对大家 ...
2020-07-07
数据分析是目前最火的行业之一，很多人都想加入，小编今天跟大家分享一些从数据分析就业指导老师那里偷师的求职小技巧，希望能帮助大家成功找到数据分析相关工作。 1. 职位搜索 我们平常搜索求职岗位的 ...
2020-07-07数据清洗是整个数据分析过程的第一步，也是整个数据分析项目中最耗费时间的一步，下面小编整理了几种常用的python数据清洗工具，希望对大家有所帮助。 目前在python中, numpy和pandas是最主流的数据清洗工具，N ...
2020-07-06数据分析工具推荐 数据分析工具的选择至关重要。不同工具适用于不同的需求和场景。以下是一些推荐的数据分析工具，根据您的需求 ...
2024-11-27选择适合您需求的数据分析工具 数据分析作为商业决策过程中的关键环节，工具的选择至关重要。不同的工具适用于不同的场景和需求 ...
2024-11-27数据架构文档的编写涉及多个方面，包括内容结构、编写原则和具体要求。遵循规范可以帮助团队更好地理解和管理数据架构，支持项目 ...
2024-11-27挑战与解决方案概述 在数字化时代，数据开放共享对于推动创新和发展至关重要。然而，这一进程面临诸多挑战。保护用户隐私、确保 ...
2024-11-27促进科学研究和创新 数据开放共享为研究人员提供更广泛的资源和合作机会，加速科学知识的发展。通过访问他人的数据集，验证研究 ...
2024-11-27数据组织与存储策略 数据模型是数据仓库和商业智能系统的核心，通过合理的数据组织和存储策略，确保高效、低成本、高质量地利用 ...
2024-11-27持续关注数据系统运行状态 - 数据设计与开发完成后，维护与优化工作成为至关重要的环节。这个过程需要持续且细致的关注，以确保 ...
2024-11-27数据服务未来的趋势 智能化和自动化: 随着人工智能和机器学习技术的飞速发展，数据服务领域正逐渐朝着更智能化和自动化的方向 ...
2024-11-27未来最有前景的行业主要集中在以下几个领域： 人工智能与机器学习：人工智能被认为是未来最具潜力的行业之一，其应用范围广泛 ...
2024-11-27根据多条证据，目前多个行业展现出良好的发展前景。以下是一些被认为具有最好发展前景的行业： 人工智能与机器学习：人工智能 ...
2024-11-27学习数据分析后，可以在多种类型的单位找到工作机会。这些单位包括但不限于： 政府机关：数据分析师在政府机构中扮演重要角色 ...
2024-11-27必备的职业技能 统计学基础 - 理解概率、假设检验、回归分析等统计概念。 - 运用统计方法对数据进行分析和解读。 编程能力 - 掌 ...
2024-11-27基础课程 - 统计学基础: 统计学是数据分析的基石，包括概率、假设检验、回归分析等基本知识。这有助于分析师更好地理解数据背后 ...
2024-11-27数据分析领域涉及众多工具软件，涵盖了从数据处理、分析到可视化的各个方面。在选择适合自己需求的工具时，需要考虑数据规模、分 ...
2024-11-27在数据分析领域，选择合适的工具至关重要。不同的软件适用于不同的需求和技能水平。以下是几款值得考虑的数据分析软件： - Table ...
2024-11-27数据分析中常用的Excel与Python函数公式涵盖了广泛的应用场景。掌握这些基础和高级技巧对于成为一名优秀的数据分析师至关重要。 ...
2024-11-27Python是一种高级编程语言，由荷兰程序员Guido van Rossum于1989年圣诞节期间开始开发，并于1991年首次发布。Python的设计哲学强 ...
2024-11-27课程内容 数学基础: 高等数学、线性代数、概率论与数理统计、微积分等为算法设计和数据分析打下基础。 编程与算法: 掌握 ...
2024-11-27爬虫工程师是互联网时代中至关重要的职业之一，他们的工作内容主要涉及编写和维护网络爬虫程序，进行数据采集与清洗，设计系统架 ...
2024-11-27技能需求 数据管理与建模 - 掌握SQL、HiveQL、Spark SQL等数据库语言，进行复杂数据查询和分析。 - 使用数据建模工具如ER/Studio ...
2024-11-27
