kafka分布式的情况下，如何保证消息的顺序?

2023-03-15

在Kafka分布式的情况下，如何保证消息的顺序是一个非常重要的问题。由于Kafka是一个分布式系统，它将消息分配到多个节点上进行处理和存储，这意味着消息可能会以不同的顺序到达不同的节点。为了解决这个问题，Kafka ...

数据挖掘方法大全

2022-10-25

1、数据挖掘的分析方法——决策树法 决策树在解决归类与预测上有着极强的能力，它以法则的方式表达，而这些法则则以一连串的问题表示出来，经由不断询问问题最终能导出所需的结果。典型的决策树顶端是一个树根 ...

用Python当中Plotly.Express模块绘制几张图表，真的被惊艳到了

2022-06-20

作者：俊欣 来源：关于数据分析与可视化 相信大家对一些常规的可视化图表都比较熟悉了，例如像是折线图、柱状图、饼图等等，今天小编通过Plotly Express模块来为大家绘制几个不常见但是特别惊艳的图表。 ...

数据工程师面试指南

2022-03-14

网飞数据工程师欣然·威贝尔。 尽管数据工程师(DE)是2019年增长最快的科技职位，但没有太多关于数据工程面试期待什么以及如何准备的在线资源。 在过去的一年里，我在湾区的几家科技公司面试了数据工程师 ...

干货 | 数据分析实战案例——用户行为预测

2021-12-22

CDA数据分析师 出品 作者：CDA教研组 编辑：Mika 案例介绍 背景：以某大型电商平台的用户行为数据为数据集，使用大数据处理技术分析海量数据下的用户行为特征，并通过建立逻辑回归模型、随机森林 ...

深度学习预测房价：回归问题，K折交叉

2021-11-15

作者：AI入门学习 来源：小伍哥 机器学习中，大部分是分类问题，另一种常见的机器学习问题是回归问题，它预测一个连续值而不是离散的标签，例如，根据气象数据预测明天的气温，或者根据软件说明书预测完成软 ...

python分析6625条视频，揭秘“打工人”凭啥刷爆全网！

2020-11-02

 CDA数据分析师 出品   作者：Mika 数据：真达   后期：Mika 【导读】 Show me data，用数据说话！今天我们聊一聊 python分析“打工人” 最近，“打工梗”在朋友圈持续爆火，没有人能 ...

数据仓库架构设计的一点概念

2018-08-16

数据仓库架构设计的一点概念 1、数据仓库所处环节 在一个成体系、结构化的数据应用场景下，数据和处理有四个层次： 操作层、数据仓库层、部门/数据集市层、个体层。 操作层 操作层是指为具体业务 ...

数据结构与算法之排序

2018-08-15

数据结构与算法之排序 堆排序、快速排序、希尔排序、直接选择排序不是稳定的排序算法，而基数排序、冒泡排序、直接插入排序、折半插入排序、链表插入排序、归并排序是稳定的排序算法。 直接插入排序 T(n) = ...

大数据时代　这些问题待解决

2018-08-07

大数据时代　这些问题待解决 近日，据《参考消息》报道，我国正在开展的全国网络安全执法大检查行动，首次开展了针对大数据安全的整治工作，具体包括大数据的采集、存储、应用、传输、销毁等全生命周期的监管、 ...

大数据时代 这些问题待解决

2018-08-06

大数据时代 这些问题待解决 在网络时代的今天，数据信息是否安全时刻触动着每个人的心弦。有关专家告诉《中国科学报》记者，尽管大数据已使用多年，但在技术监管领域，各环节仍存在诸多技术难点。 数据来源 ...

大数据平台带来的种植业革命

2018-06-08

大数据平台带来的种植业革命 到了播种季节，一个美国的农场主早晨起来，喝着咖啡，轻轻点一下移动设备屏幕，先进的播种处方便展现在他眼前。借助农田历史数据，并结合其专属的农田检测数据，这个农场主可获得孟 ...

大数据对比分析，技术面试里的那些门道

2018-06-03

大数据对比分析，技术面试里的那些门道 众所周知，技术能力的评价是技术求职者的重要的一项指标。但是，求职者的面试表现到底是如何被判定的呢?怎样的面试分数统计才能更加靠谱地衡量求职者的真实水平呢?美国的 ...

海量数据对比分析，技术面试里的那些门道

2018-05-12

海量数据对比分析，技术面试里的那些门道 众所周知，技术能力的评价是技术求职者的重要的一项指标。但是，求职者的面试表现到底是如何被判定的呢？怎样的面试分数统计才能更加靠谱地衡量求职者的真实水平呢？美 ...

如何建立数据仓库架构

2018-03-13

如何建立数据仓库架构 每一个数据仓库有一个架构。这架构要么是即时的或计划过的；或隐式的或形成文件的。不幸的是，许多数据仓库开发时并没有一个明确的架构，这极大的限制了它的灵活性。在没有架构的情况下， ...

五种大数据处理架构

2018-03-02

五种大数据处理架构 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算 ...

影响数据检索效率的几个因素

2018-01-01

影响数据检索效率的几个因素 数据检索有两种主要形态。第一种是纯数据库型的。典型的结构是一个关系型数据，比如 mysql。用户通过 SQL 表达出所需要的数据，mysql 把 SQL 翻译成物理的数据检索动作返回结果。 ...

大并发大数据量请求的处理方法

2017-12-28

大并发大数据量请求的处理方法 大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 3.大 ...

大数据量快速处理的架构设计

2017-12-27

大数据量快速处理的架构设计 在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这 ...

大数据量的数据库表设计技巧

2017-12-26

大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 ...