大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

数据治理的价值体系

数据治理的价值体系具体包括三个方面数据服务(主数据治理)：通过数据的采集、清洗、导入，提升数据质量，确保数据的一致性。这部分体现着主数据治理的关键价值。数据流通（业务数据治理）：通过实现信息整合和分发机制，支持跨业务、跨部门、跨系统的信息流转和协同。这部分体现着业务数据治理的关键价值。数据洞察(分析数据治理)：通过消除数据内在的质量缺陷，明确数据之间的关联关系，帮助数据分析人员更好地理解数据，实现

34.8899

5

4

0

关注作者

收藏

指点迷金

刘铭诚：7.12黄金多头控盘谨防极乐生悲！原油走势分析|周一操作建议

比你交易做的好人一定是保持着良好的心态,时刻考虑到自己是在投机市场里面做的投资。而且胜不骄,败不馁,每天从零开始,严格按计划执行操作,即使错了也一定要执行,不抱侥幸心理，计划你的交易，交易你的计划。———2020年7月11日黄金走势分析———周五（7月10日）金价盘中下跌，一度较日高回落逾16美元，刷新近二日低点至1794.24美元/盎司。本周三，金价涨至每盎司1818.02美元，创下2011年9

51.3146

4

1

0

关注作者

收藏

gracejpw1117

Tensorflow介绍（六）

压缩的必要性很显然，在计算图中，张量在节点之间流动。在流到达可以处理的节点之前，减少流造成的延迟非常重要。一个方法是使用有损压缩减小尺寸。张量的数据类型可以发挥重要作用，让我们来理解为什么。很明显机器学习中的操作中有更高的精度。例如，如果我们使用float32作为张量的数据类型，那么每个值都表示为32位浮点数，因此每个值占用32位的大小，这同样适用于64位。假设一个形状为（1000,440,440

24.7062

5

0

0

关注作者

收藏

gracejpw1117

Tensorflow介绍（五）

在worker之间交换数据现在我们知道Tensorflow将其所有操作分配到由worker管理的不同设备上。更常见的是，worker之间交换张量形式的数据，例如在e =（c）*（d）的图表中，一旦计算出c，就需要将其进一步传递给e，因此Tensor在节点间前向流动。该流动如图所示：此处张量从设备A传递到设备B。这在分布式系统中引起了一些性能延迟。延迟取决于一个重要属性：张量大小。设备B处于空闲模

24.6765

4

2

0

关注作者

收藏

gracejpw1117

Tensorflow介绍（四）

计算子图子图是主图的一部分，其本身就是计算图。例如，在上面的图中，我们可以获得许多子图，其中之一如下所示上面的图是主图的一部分，从属性2我们可以说子图总是表示一个子表达式，因为c是e的子表达式。子图也满足最后一个属性。同一级别的子图也相互独立，可以并行执行。因此可以在一台设备上调度整个子图。上图解释了子图的并行执行。这里有2个矩阵乘法运算，因为它们都处于同一级别，彼此独立，这符合最后一个属性。由

0.3821

3

2

0

关注作者

收藏

gracejpw1117

Tensorflow介绍（三）

分布执行Tensorflow允许用户使用并行计算设备更快地执行操作。计算的节点或操作自动调度进行并行计算。这一切都发生在内部，例如在上图中，可以在CPU上调度操作c，在GPU上调度操作d。下图展示了两种分布式执行的过程：第一种是单个系统分布式执行，其中单个Tensorflow会话（将在稍后解释）创建单个worker，并且该worker负责在各设备上调度任务。在第二种系统下，有多个worker，他们

0.3821

3

5

0

关注作者

收藏

gracejpw1117

Tensorflow介绍（二）

计算图(流, flow)现在我们理解了Tensor的含义，是时候了解流(Flow)了。流是指一个计算图或简单的一个图，图不能形成环路，图中的每个节点代表一个操作，如加法、减法等。每个操作都会导致新的张量形成。上图展示了一个简单的计算图，所对应的表达式为：e = (a+b)x(b+1)计算图具有以下属性：· 叶子顶点或起始顶点始终是张量。意即，操作永远不会发生在图的开头，由此我们可以推断

0.3821

3

1

0

关注作者

收藏

gracejpw1117

Tensorflow介绍（一）

Tensorflow是广泛使用的实现机器学习以及其它涉及大量数学运算的算法库之一。Tensorflow由Google开发，是GitHub上最受欢迎的机器学习库之一。Google几乎在所有应用程序中都使用Tensorflow来实现机器学习。TensorFlow的核心组件是通过边遍历所有节点的计算图和张量。张量(Tensor)在数学上，张量是N维向量，这意味着张量可以用来表示N维数据集。上面的图有点复

0.3821

3

0

0

关注作者

收藏

指点迷金

刘铭诚：7.11现货黄金争夺千八关口，能源原油下周一行情分析预测

不经一番寒彻骨，怎得梅花扑鼻香。黄金原油投资市场也是如此，不经历一番挫折，也同样不会成长，在这里没有什么不可能，有赚的金盆满钵，有亏的体无完肤，当然赚钱和亏钱必然有其原因所在，只是大部分的朋友们不肯去接受错误，致使陷入深渊无法自拔，错误的认知一旦形成，就需要外界来助力改掉操作上的恶习，投资的市场中不要抱有侥幸，因为侥幸的心里一旦存在，一朝就会万劫不复，所以，无规矩，不成方圆，遵守原则才是交易的核心

24.3698

3

2

0

关注作者

收藏

恶恶露咯

MySQL开窗函数

开窗函数格式为函数(字段) over(partition by 要分区的字段名 order by 要排序的字段名 asc/desc 滑动窗口) 滑动窗口格式为between frame_start and frame_end 即between ..1. and 2... 形式其中1和2的代码为以下几种：current row 边界是当前行，一般和其他范围关键字一起使用 unbounded p

24.4185

4

2

0

关注作者

收藏

gracejpw1117

数据中台之数据服务体系

前面利用数据汇聚、数据开发建设企业数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据的价值体现一定是在业务层面、即数据服务体系。就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。数据服务体系是基于公司自身的产品和业务的，比如以电商公司为例，数据服务就包括了：精准营销、用户画像、经营分析、可视化大屏等。

24.3515

4

2

0

关注作者

收藏

gracejpw1117

数据中台之数据质量和安全

数据质量和安全在很多架构图中归属于资产管理模块，但是笔者认为数据质量和安全应该是贯穿整个数据中台的。数据汇聚和数据开发的时候显然也应该考虑质量和安全问题，所以笔者倾向于将数据质量单独拿出来作为一个模块。数据质量我们会遇到无处不在的数据质量问题，包括业务系统脏数据、数据不一致不准确等。影响数据使用和上层决策。为什么会出现数据质量问题呢？大部分是如下几个原因开发代码的BUG数据源变更：比如由于MYSQ

24.3632

4

1

0

关注作者

收藏

gracejpw1117

数据中台之数据资产管理

有了数据汇聚、数据开发模块，中台已经具备传统数仓平台的基本能力，可以做数据的汇聚以及各种数据开发，就可以建立企业的数据资产体系。这里我有必要再次强调一遍：数据资产指的是有价值的数据。这个也正是资产管理模块需要去做的事情。如何让数据变的有价值？第一体现在数据本身上，比如需要保证数据的质量。第二体现在业务上，偏技术的数据体系业务人员是比较难理解的，因此资产管理需要用企业全员更好理解的方式，把企业的数据

24.3632

4

5

0

关注作者

收藏

gracejpw1117

数据中台之数据开发

数据开发可以理解为数据汇聚和数据资产的一个桥梁。何为数据资产？数据资产是有价值的数据。而数据汇聚是原始数据，业务人员一般是难以使用的。原始数据-->有价值的数据，是需要一个过程的。那么就是让数据开发模块来完成这个过程。数据开发是一整套数据加工及管控的工具，包括离线开发，智能调度，实时开发，人工智能等。举个例子，某公司想知道广告投放的效益，而原始数据包括埋点数据，用户注册数据，用户消费数据等，是不是

24.3632

4

1

0

关注作者

收藏

gracejpw1117

数据中台之数据汇聚

数据汇聚，首先必然要有数据来源，有了数据来源之后，需要确定采集工具，有了采集工具之后你还要确定存储位置。数据来源数据是数据中台的核心，所以数据汇聚无疑是数据中台的入口。企业中的数据来源极其多，但大都都离不开这几个方面：数据库，日志，前端埋点，爬虫系统等。数据库我们不用多说，例如通常用mysql作为业务库，存储业务一些关键指标，比如用户信息、订单信息。也会用到一些Nosql数据库，一般用于存储一些不

24.3632

4

4

0

关注作者

收藏

gracejpw1117

什么是数据中台

数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系，屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，可以让数据的使用成本更低。如果用三句话来概括数据中台的组成架构，那么一定是：通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。总之，数据中台离

0.0292

2

4

0

关注作者

收藏

指点迷金

刘铭诚：7.10期货原油摇摇欲坠#外汇黄金行情分析|今日操作建议

——2020年7月10日原油走势分析——原油昨日行情走预期，EIA库存数据利空抗跌高位盘整，等到周四才开始暴跌洗盘，确实是利空出尽先涨后跌，受到持续供应过剩和全美严峻疫情形势的压制，美油跌逾3%，创逾一周新低至39.27美元/桶。昨日于40.6果断干空也顺利止盈，今日周五重点需要留意前面我给到的39.0支撑企稳情况，若是破位再跌20个点也有可能。从技术面日线来看，油价处于布林带中轨39.0-38.

34.8872

4

1

0

关注作者

收藏

gracejpw1117

1、图的定义图是一个顶点集合Vertex和一个顶点间关系的集合Edge组成，记G=(V,E) V(Vertex)：顶点的有限非空集合。 E(Edge)：顶点间关系的有限集合（边集）。存在一个结点v，可能含有多个前驱节点和后继结点。例如：2、无向图和有向图无向图在G=(V,E)中，如果对于任意的结点a,b∈V，当(a,b)∈E时，必有(b,a)∈E（即关系R对称），此图称为无向图。无向图中

18.4267

2

3

0

关注作者

收藏

永洪科技

数据圈都在看，永洪新品发布直播大会干货集锦！

“BI是企业转型数字化最高效的方式之一。”知名调研分析机构很早就做出了这样的判断。7月9日，以《绽放科技创新力量，推进BI国产化替代》为主题的2020永洪科技新产品发布会与业界见面，聚焦BI与数据分析领域，以新态势、新产品、新方案助力企业数字化转型。1、新态势：国产化替代提速日本科学史学家汤浅光朝提出当一个国家的科学成果数量占世界科学成果总量25%的时候，就可以称之为世界科学中心，世界科学中心转移

18.4267

2

4

0

关注作者

收藏

张敏玉

MySQL的分组查询

在 select 语句中，允许使用 group by 子句将查询结果按照一个或多个字段进行分组，字段值相同的为一组，对每个组进行聚合计算，实现数据的分组汇总。语法：select from [where ] group by select 后的字段名应该是分组字段和聚合字段。group by分组字段可

18.9188

5

2

0

关注作者

收藏

<1…8910…75>

CDA考试动态

CDA报考指南