Spark删除redis千万级别set集合数据实现分析
1.使用pipline的原因 Redis 使用的是客户端-服务器（CS）模型和请求/响应协议的 TCP 服务器。 这意味着通常情况下一个请求会遵循以下步骤： 客户端向服务端发送一个查询请求，并监听 Socket 返回，通常是以阻塞模式，等待服务端响应。 服务端处理命令，并将结果返回给客户端。 管道（pipeline）可以一次性发送多条命令并在执行完后一次性将结果返回，pipeline 通过
Redis 2024年02月07日 149
TAGS:Spark
Spark使用IDEA编写wordcount的示例演示
配置 Spark版本：3.2.0 Scala版本：2.12.12 JDK：1.8 Maven：3.6.3 pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www
Spark源码解析（一）：RDD之Transfrom算子
一、延迟计算 RDD 代表的是分布式数据形态，因此，RDD 到 RDD 之间的转换，本质上是数据形态上的转换（Transformations） 在 RDD 的编程模型中，一共有两种算子，Transformations 类算子和 Actions 类算子。开发者需要使用 Transformations 类算子，定义并描述数据形态的转换过程，然后调用 Actions 类算子，将计算结果收集起来、或是物化
其他编程 2023年07月11日 68
