kafka topic数据如何写入hdfs？

2023-04-04

Apache Kafka是一种分布式流处理平台，它可以将大量数据以流的形式传输和处理。Hadoop Distributed File System（HDFS）是Apache Hadoop生态系统中的一个分布式文件系统，它在大数据领域得到广泛应用。本文将探讨如 ...

catboost原理介绍，与lightgbm和xgboost比较优劣？

2023-04-03

CatBoost是一种基于梯度提升树的机器学习算法，它在处理分类和回归问题时都具有优秀的性能。CatBoost最初由Yandex团队开发，在2017年推出，并迅速受到了广泛关注和应用。 CatBoost与LightGBM和XGBoost都属于GBDT（Gr ...

神经网络的样本为何要增加噪声？

2023-04-03

神经网络是一种模仿生物神经系统运作的计算模型，它可以通过学习和调整自身参数来解决各种复杂问题。在神经网络中，样本是非常重要的，因为它们是神经网络训练的基础。实际上，在神经网络的训练过程中，加入噪声是一 ...

如何限制神经网络输出值的范围？

2023-03-31

神经网络（Neural Network）是一种强大的机器学习模型，它可以对各种类型的数据进行建模和预测。在许多应用程序中，我们需要将神经网络输出值限制在特定范围内，例如0到1之间或-1到1之间。这篇文章将介绍几种限制神 ...

python matplotlib 如何使x,y轴的单位长度相等呢？

2023-03-28

在使用Python的matplotlib库绘制图形时，我们常常需要控制坐标轴的单位长度。当x和y轴的比例不同，图形可能会被拉伸或者压缩，从而失真。本文将介绍如何通过设置坐标轴的纵横比例，使得x和y轴的单位长度相等。 Matpl ...

matplotlib.pyplot.imshow如何显示灰度图？

2023-03-23

matplotlib.pyplot.imshow是一个Python库中的函数，用于在matplotlib中显示图像。它可以用于显示彩色或灰度图像，具体取决于输入图像的格式。在本文中，我们将重点介绍如何使用该函数来显示灰度图像。 首先，让我们 ...

卷积神经网络提取图像特征时具有旋转不变性吗？

2023-03-22

卷积神经网络（Convolutional Neural Network，CNN）是一种非常强大的图像处理和分类工具。在许多实际应用中，我们需要对图像进行旋转、缩放、平移等操作，并期望神经网络能够对这些变化保持不变性。本文将探讨卷积 ...

Linux 下 zip 文件解压乱码如何解决？

2023-03-22

在 Linux 系统中，由于不同的编码方式或字符集的差异，可能会导致解压缩 zip 文件时出现乱码。本文将介绍如何解决这个问题。 1. 检查文件编码 首先，需要检查文件编码。可以通过以下命令查看 zip 文件的编码格式： f ...

深度学习pytorch训练时候为什么GPU占比很低?

2023-03-21

深度学习在过去几年中已经成为了计算机科学领域的一个热门话题。随着越来越多的研究者和工程师对深度学习进行探索，并且采用PyTorch等流行的深度学习框架，GPU也成为了训练深度学习模型时主要的计算资源。然而，在实 ...

使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?

2023-03-14

随着深度学习模型的日益复杂，训练集数据规模也越来越大。对于使用PyTorch进行训练的用户来说，一个常见的问题是当训练集数据量过大时，Dataloader加载速度变得很慢，这会显著影响模型的训练效率和性能。 那么当我 ...

数据分析之数据挖掘入门指南

2022-10-25

数据分析 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 常用的第三方库 ...

数据分析师之数据挖掘入门

2022-10-19

数据分析 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 常用的第三方库 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

实战 | 如何用 Python 自动化监控文件夹完成服务部署

2022-07-06

作者：星安果 来源：AirPython 最近在部署前端项目的时候，需要先将前端项目压缩包通过堡垒机上传到应用服务器的 /tmp 目录下，然后进入应用服务器中，使用 mv 命令将压缩文件移动到 Nginx 项目设定目录，最 ...

5 分钟，使用内网穿透快速实现远程手机桌面

2022-06-01

来源：AirPython 大家好，我是安果！ 又比如你想远程管控儿童使用手机的内容，控制他们使用手机娱乐的时长 下面将聊聊远程控制手机的一种方案，供有需要的小伙伴参考 在操作之前，我们需要做如 ...

爬虫福音：GitHub 超火爆开源 IP 代理池

2022-04-12

作者：闲欢 来源：Python 技术 经常有粉丝在后台留言，问：大佬，运行你的爬虫程序怎么报错了？ 我让他把报错信息发过来，看过之后一声叹息。 大多数粉丝是直接拿着代码就开始运行，然后就是等待结果 ...

我从高效的数据科学家那里学到的15个习惯

2022-03-14

麦迪逊·亨特，地球科学学士学位本科生 当涉及到进入数据科学领域时，你需要使用书中的每一个技巧来给自己一个优势，推动你越过终点线。 那么，为什么不尝试效仿行业中最好的人的习惯呢？ 这篇 ...

超越回购：GitHub促进人工智能和机器学习领域的职业发展

2022-03-14

作者：PerceptiLabs联合创始人兼首席执行官马丁·伊萨克森。 长期以来，版本控制工具一直是信息工作者的主要工具，尤其是那些需要在代码库上存储和协作的地方，同时维护完整的更改历史的开发人员。 多年 ...

Mongodb数据库转换为表格文件的库

2022-03-10

作者：Python进阶者 来源：Python爬虫与数据挖掘 前言 大家好，我是吴老板。今天给大家分享一个可将Mongodb数据库里边的文件转换为表格文件的库，这个库是我自己开发的，有问题可以随时咨询我。 M ...

什么！竟然有人把图片从 1M 优化到 1024kb（CDA内容分享）

2022-01-12

来源：Python 技术 同时还声称，这样的工作看似简单，却蕴含着高技术含量，工程师连续两天两夜守在电脑前，终于攻下难关。 今天咱们就单纯来讨论下图像压缩这件事。 都知道，咱 Python 是有很多 ...