利用大数据分析将保险业风险防控做到极致

2018-05-18

利用大数据分析将保险业风险防控做到极致 互联时代，特别是移动互联网日渐普及之后，大数据的搜集变得更为方便和可行，大数据的应用价值受到了各行各业的关注，甚至大数据本身也成了一个专门产业。保险作为基于 ...

人工智能”是智能么

2018-04-03

人工智能”是智能么 在电影“终结者2”里，人类未来的领袖约翰康纳问从未来穿越回来的T-800机器人他是否可以学习人类的行为，T-800说他的CPU是一个神经网络处理器，一个会学习的计算机，但他的芯片被设定成了“ ...

机器学习中的数据集合

2018-03-31

机器学习中的数据集合 数据集分类 在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set) 验证集(validation set) 测试集(test set)。 训练集用来估计模型，验证集用来确定网络结构或 ...

训练集、验证集和测试集的意义

2018-03-28

训练集、验证集和测试集的意义 在有监督的机器学习中，经常会说到训练集（train)、验证集（validation）和测试集（test），这三个集合的区分可能会让人糊涂，特别是，有些读者搞不清楚验证集和测试集有什么区别 ...

机器学习中训练集、验证集和测试集的作用

2018-03-27

机器学习中训练集、验证集和测试集的作用 通常，在训练有监督的机器学习模型的时候，会将数据划分为训练集、验证集合测试集，划分比例一般为0.6:0.2:0.2。对原始数据进行三个集合的划分，是为了能够选出效果（ ...

机器学习入门报告之 解决问题一般工作流程

2018-03-20

机器学习入门报告之 解决问题一般工作流程 对于给定的数据集和问题，用机器学习的方法解决问题的工作一般分为4个步骤： 一．     数据预处理 首先，必须确保数据的格式符合要求 ...

信息凌乱不堪 安全问题更加棘手

2018-02-04

信息凌乱不堪 安全问题更加棘手 随着大数据时代的来临，信息纷繁复杂的局面也越来越明显，安全问题也更加棘手。然而，信息安全的范围非常广泛。小到个人隐私，大到国家军事政治机密。关注信息安全问题的紧迫性 ...

从奇异值分解(SVD)看潜在语义索引(LSI)

2017-12-22

从奇异值分解(SVD)看潜在语义索引(LSI) 1. SVD 简介 SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下： 定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A ...

数据分析中的缺失值处理

2017-12-01

数据分析中的缺失值处理 没有高质量的数据，就没有高质量的数据挖掘结果，数据值缺失是数据分析中经常遇到的问题之一。当缺失比例很小时，可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中，往往 ...

谈谈那些数据人的必备技能

2017-09-03

谈谈那些数据人的必备技能 谨以此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。 根据数据应用的不同阶段，我将从数据底层到最 ...

数据精准营销的七个关键要素

2017-08-26

数据精准营销的七个关键要素 说到大数据精准营销，不得不先提个性化的用户画像，我们针对每一类数据实体，进一步分解可落地的数据维度，刻画TA的每一个特征，在聚集起来形成人群画像。 01用户画像 ...

R语言中样本平衡的几种方法

2017-06-07

R语言中样本平衡的几种方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中 ...

【案例】数据挖掘与生活：算法分类和应用

2017-05-06

【案例】数据挖掘与生活：算法分类和应用 本文，主要想简单介绍下数据挖掘中的算法，以及它包含的类型。然后，通过现实中触手可及的、活生生的案例，去诠释它的真实存在。 一、数据挖掘的算法类型 一 ...

数据挖掘:手把手教你做文本挖掘

2017-05-03

数据挖掘:手把手教你做文本挖掘 1文本挖掘定义 文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算 ...

有哪些传统数据科学技术被大众媒体称为人工智能（AI）

2017-03-31

有哪些传统数据科学技术被大众媒体称为人工智能（AI） 对于那些对AI感兴趣但还没有深入研究的传统数据科学家，下面是对数据科学技术的简要概述，这些数据科学技术在通俗报纸中被称为人工智能（AI）。 Data S ...

机器学习常用算法（LDA,CNN,LR）原理简述

2017-03-14

机器学习常用算法（LDA,CNN,LR）原理简述 1.LDA LDA是一种三层贝叶斯模型，三层分别为：文档层、主题层和词层。该模型基于如下假设： 1）整个文档集合中存在k个互相独立的主题； 2）每一个主题是词上的多项 ...

非常值得收藏的 IBM SPSS Modeler 算法简介

2017-03-08

非常值得收藏的 IBM SPSS Modeler 算法简介 IBM SPSS Modeler 以图形化的界面、简单的拖拽方式来快速构建数据挖掘分析模型著称，它提供了完整的统计挖掘功能，包括来自于统计学、机器学习、人工智能等方面 ...

证券数据挖掘探索及实践

2016-11-23

证券数据挖掘探索及实践 在券商企业多年来的运营中，积累了大量投资者真实的第一手买卖金融产品数据，近年互联网金融的发展，加速了各类运营数据的产生，也让数据真正成为了价值的核心，数据成为了数据资产。 ...

机器学习、大数据等岗位面试时遇到的各种问题总结

2016-10-12

机器学习、大数据等岗位面试时遇到的各种问题总结 自己的专业方向是机器学习、数据挖掘，就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同，比如数据挖掘/自然语言处理/机器 ...

2017校招数据分析岗位笔试/面试知识点

2016-09-30

2017校招数据分析岗位笔试/面试知识点 2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是 ...