Python利用Spark并行处理框架批量判断素数

方法一：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

def isPrime(n):

if n<2:

return False

if n==2:

return True

if not n&1:

return False

for i in range(3, int(n**0.5)+2, 2):

if n%i == 0:

return False

return True

#创建RDD

rdd = sc.parallelize(range(1000))

#过滤

result = rdd.filter(isPrime).collect()

print('='*30)

print(result)

方法二，空间占用大，不推荐：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

n = 1000

m = int(n**0.5) + 1

rdd = sc.parallelize(range(2, n))

result = set()

while True:

#获取第一个元素

t = rdd.first()

if t > m:

break

result.add(t)

#对RDD上的所有元素进行过滤、筛选，能被整除的全部过滤掉

rdd = sc.parallelize(rdd.filter(lambda x: x%t != 0).collect())

print(list(result)+rdd.collect())