首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • SparkDesk× 腾讯云实战指南:国产大模型从 API 集成到场景落地

    配置双平台认证from tencentcloud.common import credentialfrom sparkdesk_api.core import SparkAPI# 腾讯云鉴权cred = credential.Credential("SecretId", "SecretKey")# SparkDesk API初始化(需在讯飞开放平台申请)spark_api = SparkAPI(app_id

    41910编辑于 2025-10-01
  • 来自专栏测试技术圈

    使用CoT 的 Prompt方式利用 LLM 设计测试用例实践

    前期准备 import SparkApi import os from dotenv import load_dotenv, find_dotenv #以下密钥信息从控制台获取 _=load_dotenv question = checklen(getText("user",system_message+user_message)) SparkApi.main(appid,api_key,api_secret

    91120编辑于 2023-10-20
  • 来自专栏后台技术底层理解

    spark操作Hbase表

    通过SparkAPI读取数据 val hbaseRDD = sc.newAPIHadoopRDD(hbaseConfiguration, classOf[TableInputFormat],

    1.2K20发布于 2020-08-04
  • 来自专栏素质云笔记

    Sparklyr与Docker的推荐系统实战

    最后,对于其他Spark功能,我们还可以通过`sparkapi`来调用所有Spark库中的Scala接口。

    97110发布于 2019-05-26
  • 来自专栏Hadoop实操

    如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业

    jgontylsqa.jpeg] 4.总结 ---- 通过Rstudio提供的sparklyr包,你可以连接到Spark本地实例以及远程Spark集群,本文档主要讲述了R通过调用sparklyr提供的SparkAPI

    2.3K60发布于 2018-03-29
  • 来自专栏about云

    spark入门基础知识常见问答整理

    Stage,也称TaskSet RDD:Resilient Distributed Datasets的简称,弹性分布式数据集,是Spark最核心的模块和类 Transformation/Action:SparkAPI

    1.6K100发布于 2018-03-27
  • 来自专栏码洞

    Spark通信原理之Python与JVM的交互

    玄妙的地方在于Python在运行的过程中需要调用Spark的API,这些API的实现在JVM虚拟机里面,也就是说python脚本运行的进程同Spark的API实现不在一个进程里,当我们在Python里面调用SparkAPI

    1.5K10发布于 2018-08-15
  • 来自专栏Hadoop实操

    什么是sparklyr

    创建extensions(https://spark.rstudio.com/extensions.html),可以调用完整的SparkAPI并提供Spark包的接口。

    2.8K90发布于 2018-03-29
  • 来自专栏流川疯编写程序的艺术

    autoML 前瞻与实践 ---- H2O Sparkling Water简介

    一个典型的例子是借助sparkapi进行数据挖掘,其中一个准备好的表被传递给H2O深度学习算法。构建的深度学习模型基于测试数据估计不同的度量,这些度量可用于Spark工作流的其余部分。

    1.1K10编辑于 2021-12-06
  • 来自专栏尼莫的AI小站

    分布式机器学习:如何快速从Python栈过渡到Scala栈

    栈完成,主要是pandas+sklearn+seaborn等库的使用,后需要使用spark集群,因此转移到pyspark; 现在的需求是功能等不动的前提下转移到Scala下实现,也就是通过Scala+SparkAPI

    1.6K20发布于 2020-10-28
  • 来自专栏尼莫的AI小站

    机器学习:如何快速从Python栈过渡到Scala栈

    栈完成,主要是pandas+sklearn+seaborn等库的使用,后需要使用spark集群,因此转移到pyspark; 现在的需求是功能等不动的前提下转移到Scala下实现,也就是通过Scala+SparkAPI

    2.2K31发布于 2020-10-20
领券