自动化提取
驱动开发
技术美术
ico
毛球修剪器方案
IT企业管理基本概念
猿创征文
java毕业设计
GcPDF
一卡通数据分析
readelf
fastapi
webdav
AMQP
onnx
perl
NDVI
html静态网页作业
MMDetection
日志库
spark
2024/4/11 12:27:33
Hive on Spark （1）
spark中executor和driver分别有什么作用？
Spark中Executor
在 Apache Spark 中，Executor 是分布式计算框架中的一个关键组件，用于在集群中执行具体的计算任务。每个 Executor 都在独立的 JVM 进程中运行，可以在集群的多台机器上…
Spark集群的运行基本流程是怎样的？
Spark集群的运行架构
Spark是基于内存计算的大数据并行计算框架，比MapReduce计算框架具有更高的实时性，同时具有高效容错性和可伸缩性，在学习Spark操作之前，首先介绍Spark运行架构，如图所示。 在上图中，Sp…
Kafka与Spark案例实践
1.概述
Kafka系统的灵活多变，让它拥有丰富的拓展性，可以与第三方套件很方便的对接。例如，实时计算引擎Spark。接下来通过一个完整案例，运用Kafka和Spark来合理完成。
2.内容
2.1 初始Spark
在大数据应用场景中，面对…
大数据--spark生态3--RDD介绍及其算子
目录
一：RDD创建
1.1从文件系统中加载数据创建RDD
1.2通过并行集合（数组）创建RDD
二：RDD操作
2.1转换操作
2.2行动操作
2.3 惰性机制
2.4 持久化
三：rdd转换算子
3.1 value类型
3.2 key-value类型
四&…
Spark Analyzed LogicalPlan 的生成过程用的规则
Spark SQL 解析之后是 Unresolved Logical Plan，经过 Analyzer 之后变为 Resolved Logical Plan。 用的规则组成一个 batches: Seq[Batch]。一个 Batch 包含一组规则和这组规则的执行次数限制。
1. Batch Substitution（替换操作的 Batch）
1…
深度解析SPARK的基本概念
关联阅读博客文章： 深入理解MapReduce：从Map到Reduce的工作原理解析
引言：
在当今大数据时代，数据处理和分析成为了企业发展的重要驱动力。Apache Spark作为一个快速、通用的大数据处理引擎，受到了广泛的关注和应用。…
Spark【RDD编程（三）键值对RDD】
简介 键值对 RDD 就是每个RDD的元素都是 （key，value）类型的键值对，是一种常见的 RDD，可以应用于很多场景。 因为毕竟通过我们之前Hadoop的学习中，我们就可以看到对数据的处理，基本都是以…
Scala第十九章节(Actor的相关概述、Actor发送和接收消息以及WordCount案例)
Scala第十九章节
章节目标
了解Actor的相关概述掌握Actor发送和接收消息掌握WordCount案例 1. Actor介绍
Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。
1.1 Java并发编程的问题
在Java并…
Spark分布式内存计算框架
目录
一、Spark简介
（一）定义
（二）Spark和MapReduce区别
（三）Spark历史
（四）Spark特点
二、Spark生态系统
三、Spark运行架构
（一）基本概念
&#x…
原创技术分享给应届生 计算机毕业设计PyTroch+Spark+LSTM+Scrapy图书推荐系统 图书爬虫可视化 图书大数据 图书数据分析
开发技术
前端：vue.js、echarts、websocket
后端API:springbootmybatis-plus
数据库：mysql
数据分析：Spark
机器学习：PyTroch（基于神经网络的混合CF推荐算法）、协同过滤算法(基于用户、基于物品全部实…
云服务器配置 docker-spark
云服务器配置 docker-spark 1. 安装2. 启动3. 查看4. 验证5. 其他 1. 安装
我的服务器是腾讯云轻量应用服务器，2 核 2 G，已经内置了 docker， 配置大概如下：
ubuntuVM-20-5-ubuntu
---------------------
OS: Ubuntu 22.04 LTS x…
计算机毕业设计之Python+Spark汽车推荐系统 汽车可视化 汽车数据分析 汽车大数据 汽车推荐app 汽车小程序 大数据毕业设计 汽车爬虫
功能 最近移动端的沙箱支付不太稳定，经常报订单不存在，可以不管，直接多点几次，仍然可以支付的。
Vue spark 懂车帝汽车大数据大屏
技术
基于spark java API
实现分析功能 基础情况：预约流程、汽车经纪人、用户统计…
分享思路：Python+Spark爬虫音乐推荐系统 音乐数据分析可视化 音乐推荐app 音乐网站 大数据毕业设计(app+web+爬虫+spark+可视化)
多端设计思路 1、音乐大屏幕展示端：
用户来源分布统计，歌手排行，歌手数量，歌曲数量，用户数量，播放数量，收藏数量，下载数量，充值金额排行，歌曲排行榜…
（四）PySpark3：Mlib机器学习实战-信用卡交易数据异常检测
目录
一、Spark Mlib
二、案例背景以及数据集
三、代码
四、总结 PySpark系列文章：
（一）PySpark3：安装教程及RDD编程
（二）PySpark3：SparkSQL编程
（三）PySpark3&am…
Apache Kyuubi Celeborn，助力 Spark 拥抱云原生
简介： 10月14日13:00-17:30，Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup，欢迎报名参会！
Apache Spark 作为如今大数据离线计算领域事实标准&…