大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

AI人工智能之自动驾驶中的大数据

实现雄心勃勃的自动驾驶目标的关键所在，是利用分析学和人工智能（AI）的力量，建立自动驾驶系统在实际道路上的反应模式，并利用现实模拟技术来加速开发进程。这意味着数据工程、管理、存储和分析变得比以往任何时候更加重要，要做好以下几点：1、做好准备迎接海量数据的“洗礼”。自动驾驶汽车在进行测试时会产生大量数据，每辆汽车每秒就会产生6～ 8GB的数据。仅仅在2017年，该领域就创造了大约250EB的大数据（

28.4489

3

2

0

关注作者

收藏

clbe2x2

收藏 Kmeans迭代的核心思想是

1.保持质心点不变更新类别2.保持类别不变更新质心点

19.9112

3

0

0

关注作者

收藏

张敏玉

Power BI 电商案例可视化看板

电商案例：活用客户价值模型公式：流量*转化率*客单价背景：刺激客户需求，提升贡献价值，根据用户行为分析。问题：短时间获得最大收益，如何选择客户群进行广告营销最可能实现？用户群规模大，金额大越往左上，贡献度越高分析每一个用户的购买习惯和购买倾向【可视化看板】注意:1、检查数据类型2、小时信息提取：【添加列】—>【时间】3、为orderinfo表补充区域名称信息4、orderdetail表求产

19.9806

5

1

0

关注作者

收藏

张敏玉

PowerQuery中的M函数

在PQ中用的函数称之为M函数01 | 为什么要学习M函数有些复杂的操作必须借助M函数M函数更加灵活，简洁高效02 | M函数基本规范M函数对大小写敏感，每一个字母必须按函数规范书写，第一个字母都是大写表被称为Table，每行的内容是一个Record，每列的内容是一个List行标用大括号{ }，比如取第一行的内容：=表{0} //PQ的第一行从0开始列标用中括号[ ]，比如取自定义列的内容：=表[自

19.9914

6

0

0

关注作者

收藏

我是大魔王哈哈

Error Launching job : Input path does not exist: hdfs ://192.168.198.128 : 8020/ data/word. txt

出现如下图所示的错误原因是因为我们在 /data/目录下找不到word.txt 解决方法：我们只要把word.txt文件上传到hdfs上的/data目录下就可以了hdfs dfs -put word.txt /data/

19.8542

1

1

0

关注作者

收藏

你应该是一阵风丫

Excel中常用的“值显示方式”简要介绍

12种值显示方式：列总计百分比：分母为每列下的汇总值；行总计百分比：分母为每行后的汇总值；总计百分比：分母为右下角的汇总值；百分比：非某行、列、右下角汇总值；父行汇总百分比：行窗口下存在父级关系，行维度下汇总百分比，如：1-1.1-1.1.1，父列汇总百分比：行窗口下存在父级关系，1-1.1-1.1.1，列维度下汇总百分比；父级汇总百分比：自由选择将某项作为计算依据；差异百分比：减法后再除法；差异

19.8947

4

3

0

关注作者

收藏

pkwwwsas

机器学习方法分类

机器学习的方法是基于数据产生的 "模型"（model）的算法，也称 "学习算法"（learning algorithm）。1.有监督学习（supervised learning）2.无监督学习（unsupervised learning）3.半监督学习（semi-supervised learning）4.强化学习（reinforcement learning）

13.7934

4

1

0

关注作者

收藏

clbe2x2

这..网站是被黑了吗

这..网站是被黑了吗?

13.7934

4

6

0

关注作者

收藏

永洪科技

干货分享！零售行业数据分析在商超中的应用！

商超为什么会存在？因为他能给我们提供生活所必须的商品——柴米油盐酱醋茶。当然，这是最原始的商店的样子，后来随着社会的发展，人们的需求越来越丰富，商店里所提供的商品涵盖了衣食住行等各种场景下的必需品。你是否想创业开个超市，不知道如何选址？你是否经营着一家商业超市，却不知道如何挑选商品？不知道货架如何陈列商品？不清楚什么商品多进什么商品少进？不清楚仓库里每种商品最好放多少存货才既不会影响销售又不积压现

34.0067

2

6

0

关注作者

收藏

你应该是一阵风丫

数据分析完整流程

1、业务理解：抓住问题核心、转为数据需求2、数据收集：系统数据收集、人工维护数据、外部数据支持3、数据处理：字段标准统一、多表数据关联、异常数据整理4、数据分析：数据探索（ETL）、运用分析方法论、结合高效工具5、图表制作：选择合适图表、准备图表数据、调整图表细节、撰写图表结论6、报表绘制：定位决策者角色、设定报表故事线、撰写报表结论

13.6778

4

0

0

关注作者

收藏

我是大魔王哈哈

如何格式化HDFS？

在终端中输入 hdfs namenode -format 即可

34.0328

4

2

0

关注作者

收藏

指点迷金

刘铭诚：7.13国际价格黄金顶峰徘徊，美原油期货分析|今日操作建议

境界决定世界的大小，利益是执行的源动力；面对行情趋势，重要的不是你有多少好点子，而是你的好点子执行了多少，不谋全局者不足谋一域。长期的利润不是运气，而是策略之后的执行力；获利不止是假设，最重要是去做，盈亏不是名词，而是动词，行情不是放弃，而是明白主次，懂取舍，舍次而求主。每一次的单边，你曾犹豫、徘徊，你害怕亏损，往往会越亏损。不是爱拼才会赢，而是知赢你才会拼。不要抱怨、当你开始学会成长的时候，利润

16.5972

5

2

0

关注作者

收藏

gracejpw1117

Spark使用parquet文件存储格式的好处

1) 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准；2) 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可以成功运行；3) parquet的压缩技术非常稳定

34.8716

3

3

0

关注作者

收藏

gracejpw1117

深度学习简介

深度学习（deep learning，以下简称DL），可以说是基于人工神经网络的机器学习。区别于传统的机器学习，DL需要更多样本，换来更少的人工标注和更高的准确率。DL利用深度来取代广度，进一步降低参数，提高拟合能力，很多情况下都比传统机器学习表现好。但DL和传统机器学习一样，DL学习的是一个映射f(x)=y，比如x是输入的手写数字图片，那么y就是0~9中的一个。传统的BP（(back propa

34.9520

5

1

0

关注作者

收藏

gracejpw1117

CNN、RNN和DNN的区别和应用场景

CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？以及他们的主要用途是什么？CNN 专门解决图像问题的，可用把它看作特征提取层，放在输入层上，最后用MLP (多层感知器)做分类。传统神经网络如下图所示CNN网络结构如图所示，CNN网络工作时，会伴随着卷积并且不断转换着这些卷积。RNN 专门解决时间序列问题的，用来提取时间序列信息，放在特征提取层（如CN

34.8590

2

3

0

关注作者

收藏

指点迷金

刘铭诚：7.13黄金原油平稳开局，日内行情走势分析操作建议

　　原油行情走势分析———　　　　周五(7月10日)美市早盘油价出现大幅回弹，此前由于美国和许多新兴市场出现新冠病毒蔓延给全球经济复苏“投下阴影”的警告：截至加西时间上午9:50(北京时间周六凌晨00：50)，WTI原油8月期货上涨0.93%，至39.99美元/桶，稍早曾触及38.54美元/桶的盘中低点；布伦特原油8月期货上涨0.99%，至42.77美元/桶。　　　　周五（7月10日），报告称，本

0.0531

1

3

0

关注作者

收藏

gracejpw1117

长短时记忆网络(Long Short Term Memory Network, LSTM)

长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。长短时记忆网络的思路：原始 RNN 的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。再增加一个状态，即c，让它来保存长期的状态，称为单元状态(cell state)。把上图按照时间维度展开：在 t 时刻，LSTM

34.8051

1

0

0

关注作者

收藏

gracejpw

CNN、RNN和DNN的区别

CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？以及他们的主要用途是什么？ CNN 专门解决图像问题的，可用把它看作特征提取层，放在输入层上，最后用MLP (多层感知器)做分类。传统神经网络如下图所示CNN网络结构如图所示，CNN网络工作时，会伴随着卷积并且不断转换着这些卷积。RNN 专门解决时间序列问题的，用来提取时间序列信息，放在特征提取层（如C

34.8051

1

2

0

关注作者

收藏

gracejpw

深度学习算法简介

深度学习（deep learning，以下简称DL），可以说是基于人工神经网络的机器学习。区别于传统的机器学习，DL需要更多样本，换来更少的人工标注和更高的准确率。DL利用深度来取代广度，进一步降低参数，提高拟合能力，很多情况下都比传统机器学习表现好。但DL和传统机器学习一样，DL学习的是一个映射f(x)=y，比如x是输入的手写数字图片，那么y就是0~9中的一个。传统的BP（(back propa

34.8051

1

2

0

关注作者

收藏

指点迷金

刘铭诚：7.13黄金买盘强劲支撑金价！原油趋势前瞻附最新操作建议！

　　黄金行情走势分析———　　　　周五（7月10日）黄金反弹至1810附近后再度回落最低跌至1794一线，黄金连续第二个交易日收阴；本周黄金自1770一线连续三个交易日直接涨破1800关口，最高触及1818一线；那么黄金还会不会创新高，我觉得还是有可能的，毕竟黄金自从去年开启了大涨的走势之后到目前也涨了500美金了，虽然中途也伴随这大幅回落，但是最终还是屡破新高。　　　　黄金受到全球疫情恶化的支撑

0.0000

0

1

0

关注作者

收藏

<1…789…75>

CDA考试动态

CDA报考指南