mysql表数据量太大，达到了1亿多条数据，除了分库分表，还有没有其他解决方式？

2023-04-26

当MySQL表的数据量达到1亿多条时，分库分表是一个常见的解决方案。但是，分库分表并不总是适合每种情况，且实施起来可能会非常复杂。因此，本文将探讨一些其他可以考虑的解决方式。 数据清理 在1亿多条记录的数据 ...

请问Hadoop、Spark、Storm、Flink的区别是什么？分别适用什么场景？

2023-04-07

Hadoop、Spark、Storm与Flink是四种流行的大数据处理框架。它们都可以用于处理海量数据和实现分布式计算，但在细节上有所不同。本文将对这四个框架进行比较，并探讨它们适用的不同场景。 Hadoop Hadoop是一个由Apach ...

MySQL不同的引擎在成本、压缩、性能比较如何？

2023-04-07

MySQL是一个广泛使用的关系型数据库管理系统，支持多种存储引擎。每个存储引擎都有其独特的特性和优缺点，包括成本、压缩和性能。在本文中，我们将比较MySQL不同引擎之间的这些方面。 MyISAM MyISAM是MySQL最早的 ...

在pandas中dataframe怎么转化为字典？

2023-04-03

Pandas是一种Python库，用于数据分析和操作。它提供了许多功能，可以轻松地将数据从不同的格式转换为其他格式。在本文中，我们将探讨如何将Pandas dataframe转换为Python字典。 首先，让我们了解一下Pandas datafram ...

数据分析师所需技能有哪些

2023-03-30

随着数据科学的不断发展，数据分析师这一角色也变得越来越重要。作为数据分析领域的专业人士，数据分析师需要具备广泛的知识和技能，以便能够有效地分析和挖掘数据中的价值。本文将从数据分析师所需的技能方面 ...

在spss里调节效应的结果怎么看？

2023-03-30

SPSS是一款广泛使用的统计分析软件，可用于数据处理和分析。在实验或调查中，研究人员通常会对某些因素进行干预，以观察其对特定结果变量的影响。其中一个指标是效应大小，表示自变量（干预）与因变量之间的关系程度 ...

数据分析师培育需要多久

2023-03-28

数据分析师是当今社会中备受欢迎的职业之一，他们的工作是帮助企业和组织做出更好的决策，提高效益并发掘价值。然而，要成为一名数据分析师并不是一件容易的事情，因为要想达到数据分析师的水平需要掌握复杂的数据 ...

常见的数据分析工具

2022-09-19

Step1：Excel学习掌握 所用的工具正是职场中最常用的Excel！ ①重点函数学习 重点是了解各种函数：Vlookup、sum，count，sumif，countif，find，if，left/right，时间日期函数、文本函数 ②数据透视 ...

我们不需要数据科学家，我们需要数据工程师

2022-03-14

由Mihail Eric著，《机器学习研究与教育》。 参加KDnuggets工作满意度调查，部分灵感来自这个博客。 以下是受此帖子启发的KDnuggets漫画 数据。它无处不在，我们只会得到更多。在过去的5-1 ...

数据科学让你快乐吗？

2022-03-14

作者Yulia Lukashina，技术作家。 我完全相信每个人都能做好（赚到好钱！）只有在他们喜欢做的工作中。如果你对你的任务感到无聊，每天都不得不强迫自己，你就不能交付高质量的结果。 但如果数据科学让 ...

我迄今为止的数据科学学习之旅

2022-03-14

自由数据科学家Arnuld谈数据 埃里克·韦伯（是的，那个长得不错的家伙带着一只可爱的狗）最近在LinkedIn上写了一篇帖子，讲述了当他开始数据科学生涯时，他希望自己能少做的10件事。这篇文章是我通过这十点 ...

数据科学家与ML工程师的区别

2022-02-28

数据科学家和机器学习工程师的角色之间经常存在混淆。尽管他们确实友好地合作，在专门知识和经验方面有一些重叠，但这两种作用的目的完全不同。 从本质上说，我们是在区分科学家和工程师，前者寻求理解他 ...

如何获得实际的数据科学经验，以便为职业生涯做好准备

2022-02-28

在这篇文章中，我将给出三种方法，在这些方法中，您可以自己获得实际的数据科学经验。通过完成这些项目，您将对SQL、Pandas和Machine learning Modeling有更好的理解。 首先，我将为您提供实际的SQL案例 ...

数据科学不会在10年内灭绝，你的技能可能

2022-02-28

作为一个在数据科学领域工作了十多年的人，看到人们预言该领域将在10年内如何灭绝是令人沮丧的。给出的典型原因是emergingAutoMLtools将如何消除从业者开发自己算法的需求。 我发现这样的观点特别令人沮丧 ...

为成功建立有效的数据分析团队和项目生态系统

2022-02-28

介绍 在软件开发、信息安全和数据分析的长期职业生涯中，我观察到，除非得到非常好的管理，否则大型、复杂和压倒性的项目可能无法满足风险承担者的需求。相比之下，我参与的大多数成功的数据分析项目在范 ...

能让你被雇用（或不被雇用）的数据科学组合项目想法

2022-02-28

有哪些数据科学项目组合的想法可以让你得到这份工作？ 当雇主雇佣一个数据科学家时，他们通常会寻找一个有能力为他们的业务创造收入和机会的人。编程、机器学习、统计学等知识不足以获得一份数据科学工 ...

在R中用箱形图做组间比较

2021-09-07

来源：丁点帮你 作者：丁点helper 之前的文章讲了如何用R绘制箱形图，以此来帮助我们了解数据的整体分布情况、是否存在异常值。除此之外，箱形图还可以进行数据的组间比较。 分组变量的数据清理 多重 ...

如何将杂乱的数据整理好（一）数据完整性判断

2021-02-05

来源：丁点帮你 作者：丁点helper 在前面的文章中，我们跟大家一起学习了R中的数据导入、基本的操作方法、描述性统计等内容。 这其中的很多操作都是针对格式和内容都完好的数据而言的。但在实际工作 ...

【北京慧都时代科技有限公司】招聘数据分析师

2018-08-24

【北京慧都时代科技有限公司】招聘数据分析师 慧都时代是一家专业从事服务与销售相关业务的顾问型应用服务提供商。经过无数慧都人的辛勤耕耘和不懈追求，慧都在不断帮助客户创造价值的同时，也在实践过程中潜心研究 ...

大数据与云计算相辅相成

2018-08-23

大数据与云计算相辅相成 大数据的价值开始日益受到重视，人们对数据处理的实时性和有效性的要求也在不断提高。现在对大数据的应用己经不局限于BI（商业智能）领域，在公共服务、科学研究等各方面，大数据也都在 ...