为啥这段代码指定了local[2]默认分区数还是11不是2呢
为啥这段代码指定了local[2]默认分区数还是11不是2呢
前端皮皮
发布于 2024-01-30 13:29:01
发布于 2024-01-30 13:29:01
今
日
鸡
汤
天生我材必有用，千金散尽还复来。
大家好，我是皮皮。
一、前言
前几天在Python白银交流群【Kim】问了一个Python代码的问题。问题如下：为啥这段代码指定了local[2]默认分区数还是11不是2呢？
# coding = utf-8
# 导入Spark相关类
from pyspark import SparkConf, SparkContext
if __name__ == '__main__':
# 初始化执行环境,构建配置文件SparkConf对象 local[*]看CPU核数构建几个分区
conf = SparkConf().setAppName("自定义分区").setMaster("local[2]")
# 构建SparkContext对象
sc = SparkContext()
# rdd数据准备
rdd = sc.parallelize([('andy', 1), ('jack',1), ('hello', 1), ('lucy', 1),
('tom', 1), ('su', 1)])
# 自定义一个分区函数
def process(k):
if k[0] >= 'a' and k[0] <= "i": return 0
if k[0] >= "j" and k[0] <= "q": return 1
return 2
# 调用partitionBy对rdd进行重新分区
print("重新自定义分区前:", rdd.glom().collect())
print("重新自定义分区前:", rdd.partitionBy(3, process).glom().collect())
二、实现过程
这里【东哥】结合AI给了一个指导，如下所示：
这个方法顺利地解决了粉丝的问题。
另外再补充一个小问题：请教下，函数装饰器的问题，被装饰的函数和装饰器的函数参数可以互相访问使用吗？答案是可以的。
如果你也有类似这种数据分析的小问题，欢迎随时来交流群学习交流哦，有问必答！
三、总结
大家好，我是皮皮。这篇文章主要盘点了一个Pandas数据提取的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。
本文参与?腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2024-01-29，如有侵权请联系?cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录