在ImportError上运行NuPIC模型时的PySpark

Question

我试图在PySpark上运行PySpark，但我得到了一个ImportError。有没有人知道我该怎么解决这个问题？

当我不使用PySpark时，代码运行良好，但我现在正试图从上运行它。

我试图使用我目录中的源代码来运行它，因为通过安装Nupic包来运行它会导致其他一些错误。

谢谢你的帮助！！

我正在尝试运行这个函数

input_data.rdd.foreach(lambda row: iterateRDD(row, model))
def iterateRDD(record, model):
    modelInput = record.asDict(False)
    modelInput["value"] = float(modelInput["value"])
    modelInput["timestamp"] = datetime.datetime.strptime(modelInput["timestamp"], "%Y-%m-%d %H:%M:%S")
    print"modelInput", modelInput
    result = model.run(modelInput)
    anomalyScore = result.inferences['anomalyScore']
    print "Anomaly score is", anomalyScore

然而，我得到了这个错误，并且不理解它。

文件"C:/Users/rakshit.trn/Documents/Nupic/nupic-master/examples/anomaly.py"，第100行，在runAnomaly input_data.rdd.foreach(lambda行:iterateRDD(行，模型))文件"C:\Python\Python27\lib\site-packages\pyspark\rdd.py"，第789行中，在foreach self.mapPartitions(processPartition).count() #强制评估文件"C:\Python\Python27\lib\site-packages\pyspark\rdd.py"，第1055行中，在计数返回self.mapPartitions(lambda i: sum(1 for _ in i)).sum()文件self.mapPartitions行1046，在sum返回self.mapPartitions(lambda x: sum(x)).fold(0，operator.add)文件"C:\Python\Python27\lib\site-packages\pyspark\rdd.py"，行917，在折叠"C:\Python\Python27\lib\site-packages\pyspark\rdd.py"，= self.mapPartitions(func).collect() File .collect第816行中，在self.mapPartitions sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd()) File "C:\Python\Python27\lib\site-packages\py4j\java_gateway.py"，第1257行中，在call应答中，在self.gateway_client、self.target_id中，文件"C:\Python\Python27\lib\site-packages\pyspark\sql\utils.py"，第63行，在deco中返回f(*a，**kw)文件"C:\Python\Python27\lib\site-packages\py4j\protocol.py"，第328行，格式为get_return_value格式( "."，名称)，值) py4j.protocol.Py4JJavaError:调用z:org.apache.spark.api.python.PythonRDD.collectAndServe.时出错："D:\spark-2.4.3-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\worker.py"，：由于阶段失败而中止作业:阶段2.0中的任务0失败1次，最近的失败:阶段2.0中丢失的任务0.0 (TID 2，本地主机，执行器驱动程序)：org.apache.spark.api.python.PythonException:回溯(最近一次调用)：文件org.apache.spark.api.python.PythonException行364，在主文件"D:\spark-2.4.3-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\worker.py"，第69行，在read_command文件"D:\spark-2.4.3-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\serializers.py"，第172行，在"D:\spark-2.4.3-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\serializers.py"，_read_with_length返回self.loads(obj)文件第583行中，在loads中返回pickle.loads(obj) ImportError:没有名为frameworks.opf.htm_prediction_model的模块

我猜NuPIC无法访问框架/opf/htm_prediction_model.py.opf文件

Answer 1

您可能正在运行旧版本的NuPIC。查看https://discourse.numenta.org/t/warning-0-7-0-breaking-changes/2200并检查所使用的版本(https://discourse.numenta.org/t/how-to-check-what-version-of-nupic-is-installed/1045)