大数据分析师技能有哪些

2023-03-30

随着大数据技术的不断发展，数据分析师已经成为企业决策和商业运营中不可或缺的角色。作为大数据分析师，不仅需要具备数据分析的技能和知识，还需要掌握相关的工具和技术，如数据仓库、数据挖掘、机器学习、大数据 ...

MySQL数据库备份方法有什么？

2023-03-30

MySQL是一种常用的关系型数据库管理系统，为了保证数据的可靠性和安全性，备份是非常必要的。本文将介绍如何进行MySQL数据库备份，并分别介绍全量备份和增量备份两种方式。 一、全量备份 全量备份是指将整个数据库一 ...

requests 和 scrapy 在不同的爬虫应用中，各自有什么优势？

2023-03-28

Requests和Scrapy都是用于爬取网页数据的Python库，它们各自有着自己的优势和适用场景。本文将会对这两个库进行比较和分析。 Requests Requests是一个非常流行的Python HTTP库，可以轻松地发送HTTP请求和处理响应。 ...

高并发的情况下（100W）,数据先存在Redis保证快速响应，然后怎么往MySql里面写？

2023-03-27

在高并发的情况下，为了保证系统的稳定性和性能，往往采用将数据先存储在Redis中，以保证快速响应。但是，Redis属于内存数据库，数据存储在内存中，当服务器宕机或者Redis进程被杀掉时，数据会丢失。因此，需要将数 ...

如何通俗地理解Hive的工作原理？

2023-03-23

Hive是一个基于Hadoop的数据仓库工具，可以让用户通过类SQL语言查询和分析大规模的分布式数据集。下面将介绍Hive的工作原理及其通俗易懂的解释。 首先，我们需要了解Hadoop和MapReduce的概念。Hadoop是一个开源的分 ...

kafka和mqtt的区别是什么？

2023-03-23

Kafka和MQTT是两种不同的消息传递协议，它们都被广泛地应用于分布式系统中，为开发人员提供了高效、可靠和实时的消息传递机制。本文将会比较与总结这两种协议的特点和区别，并探讨如何选择适合自己的协议。 一、Kafk ...

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

2023-03-22

HBase和Hive都是在Hadoop生态系统中常用的数据存储和分析工具，它们各自具有独特的特点和适用场景。本文将从以下几个方面探讨HBase和Hive的差别和使用场景。 数据模型 HBase是一种基于列族的NoSQL数据库，它以行为 ...

使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?

2023-03-14

随着深度学习模型的日益复杂，训练集数据规模也越来越大。对于使用PyTorch进行训练的用户来说，一个常见的问题是当训练集数据量过大时，Dataloader加载速度变得很慢，这会显著影响模型的训练效率和性能。 那么当我 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

大数据工程师的必备技能有哪些

2022-11-07

1、大数据平台 目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。 目前很多企业都把数据采集下来了，对于传统的业务数据 ...

数据分析完整的流程与知识结构体系详解

2022-10-24

一个完整的数据分析流程，应该包括以下几个方面，建议收藏此图仔细阅读。 完整的数据分析流程：1、业务建模。2、经验分析。3、数据准备。4、数据处理。5、数据分析与展现。6、专业报告。7、持续验证与跟踪。 ...

Python数据分析使用教程

2022-10-21

关于Python数据分析，其实网上能够找到的学习资源很多，主要分为两类： 一类是提供各种资源的推荐，比如书单、教程、以及学习的先后顺序； 另一类是提供具体的学习内容，知识点或实际案例。 但很多繁 ...

什么是大数据分析？大数据分析常用方法有哪些？

2022-10-18

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性（Veracity）。 大数据分析包含那些方面 不管是对数据分析专 ...

什么是数据科学

2022-10-18

什么是数据科学？它和已有的信息科学、统计学、机器学习等学科有什么不同？作为一门新兴的学科，数据科学依赖两个因素：一是数据的广泛性和多样性；二是数据研究的共性。现代社会的各行各业都充满了数据，这些数据 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

5大数据分析软件优势介绍

2022-10-17

一、Excel Microsoft Excel是微软公司的办公软件Microsoft office的组件之一，是由Microsoft为Windows和Apple Macintosh操作系统的电脑而编写和运行的一款试算表软件。Excel 是微软办公套装软件的一个重要的组 ...

数据工程的构建技巧

2022-03-30

由解决方案架构师和数据工程师Mohammed M Jubapu撰写 数据工程是当今市场上最受欢迎的工作之一。数据无处不在，被认为是新时代的石油。企业从不同的来源产生大量的数据，数据工程师的任务就是组织数据信 ...

介绍一个效率爆表的数据采集框架

2022-03-24

作者：俊欣 来源：关于数据分析与可视化 今天我们来聊一下如何用协程来进行数据的抓取，协程又称为是微线程，也被称为是用户级线程，在单线程的情况下完成多任务，多个任务按照一定顺序交替执行。 那么ai ...

成为数据工程师所需的9项技能

2022-03-14

多里安·马丁，GetGoodgrade 你想涉足数据工程吗？ 好主意. 很多公司都在寻找数据工程师--如果你在LinkedIn上搜索“数据工程师”，仅在美国就会得到88，000多个好的职位。每个人都可以使用远程工作选 ...

数据工程师面试指南

2022-03-14

网飞数据工程师欣然·威贝尔。 尽管数据工程师(DE)是2019年增长最快的科技职位，但没有太多关于数据工程面试期待什么以及如何准备的在线资源。 在过去的一年里，我在湾区的几家科技公司面试了数据工程师 ...