回答情况：
提问时间：
问题标签：
我们有一个永远运行的flink作业，从kafka读取，创建滑动时间窗口(流间隔:1小时，2小时到24小时)和(幻灯片间隔:1分钟，10分钟到1小时)。基本上是its : KafkaSource.keyBy(keyId).SlidingWindow(stream，幻灯片).reduce.sink从最后的4/5天开始，我正在监控工作及其运行情况，但我担心的是检查点的大小。正如rocksDB所做的压缩和合并，大小不会永远增长，但仍然在增长，到目前为止已经达到了100 gb。
那么，什么是检查点永远运行作
浏览 6修改于2022-11-07得票数 0
我已经使用twitter的流媒体用户api和火花流做了twitter流流。这在我的本地机器上成功运行。但是当我以本地模式在集群上运行这个程序时。这是第一次成功运行。稍后，它会给出以下异常。而火花类路径已经设置好了！！每次我必须创建一个新的检查点目录才能使它成功运行。否则，它将
浏览 2提问于2015-08-05得票数 0
回答已采纳
num_return_sequences=1)
它引发问题中提到的以下错误：AttributeError：'GPT2Model‘对象没有属性'gradient_checkpointingtransformers/models/gpt2/modeling_gpt2.py"，返回forward_call(*input，**kwargs)文件的第861行中，在向前打印(self.gradient_checkpointing1177行中，在getattr AttributeError中(“{}”对象没有属性
浏览 37修改于2021-10-29得票数 1
回答已采纳
根据我读过的和文档，星火流的foreachRDD( someFunction )只会在驱动程序进程中执行someFunction本身，尽管如果对RDD进行操作，那么它们将在执行程序上执行-- RDDs位于的位置。如果我关闭检查点，序列化问题就会消失。
是否有一种方法可以让Spark不序列化fore
浏览 9修改于2017-05-23得票数 3
回答已采纳
/rocksdbexecution.checkpointing.timeout: 600000execution.checkpointing.mode: EXACTLY_ONCEexecution.checkpoint
浏览 19提问于2020-10-27得票数 0
回答已采纳
flink.buffer_timeout=50flink.memory=16#checkpointsflink.checkpointing_min_pause=30000flink.checkpointing_enabled=true
flink.checkpointing_
浏览 7修改于2020-09-10得票数 1
因为它是有界的，所以检查点会自动禁用(根据INFO msg Disabled Checkpointing.Checkpointing is not supported and not needed when executing jobs in BATCH mode.)
浏览 17提问于2022-09-15得票数 0
默认情况下，ckpt-1会使用最新的步骤200，可以加载 save_checkpoints_secsmy_feature_columns, n_classes=3, config=my_checkpointing_config
浏览 0提问于2018-08-27得票数 5
回答已采纳
getpid(), sizeof(mask), &mask); system("/home/ifeanyi/Process/checkpointing/Debug/checkpointing"); // Last leaf cout << endl;
}
浏览 6提问于2011-12-15得票数 0
smi)^Checkpointing to checkpoint.*^MD5 \(checkpoint., email sent' }Write-Host 'continuing script'
Perforce命令p4 -jc的输出应该始终类似于以下3行：MD5 (checkpoint.*
Rotating D:\Perforce\Server\journal to journa
浏览 0修改于2018-12-25得票数 2
回答已采纳
010000002b00000049444c3a6f6d672e6f72672f436f734e616d696e672f4e616d696e67436f6e746578744578743a312e30000001000000000000006c000000010102000a00000031302e322e382e333500f90a0b0000004e616d6553657276696365000300000000000000080000000100000000545441010000001c00000001000000010001000100000001000105090101000100
浏览 1修改于2017-05-23得票数 0
回答已采纳
disable-fortran --disable-cxx checking for pthread_key_create in -lpthread... noconfigure: error
浏览 4提问于2015-12-10得票数 2
回答已采纳
在checkpointing文件夹中，我看到batch 29还没有提交，所以我可以从checkpointing的sources，state和/或offsets中删除一些东西，以防止spark因为缺少_spark_metadata
浏览 1修改于2018-10-28得票数 3
Wav2Vec2ForCTCmodel = Wav2Vec2ForCTC.from_pretrained( gradient_checkpointingmodel = Wav2Vec2ForCTC.from_pretrained( 5 gradient_checkpointing
浏览 196提问于2021-06-17得票数 0
回答已采纳
我的Helm部署yaml文件中有以下代码段：
{{if or .Values.ha.enabled .Values.checkpointing.enable_checkpointing .Values.enable_upgrade_hook
浏览 0提问于2018-07-09得票数 9
NativeMemoryTracking=summary -XX:+UseG1GC -Dkubernetes.websocket.ping.interval=300000"
execution.checkpointing.interval: 2minexecution.checkpointing.min-pause: 110s
executio
浏览 218提问于2021-09-09得票数 0
VALUE_TWO /SET "\"\package.variablesVariable_Three\"";"\"VALUE_THREE\"”/REPORTING E的/SERVER SomeServer /CHECKPOINTINGOFF /SET /REPORTING E
/DTS "\MSDB\BlaBla“/SERVER SomeServer /MAXCONCURRENT”-
浏览 1修改于2016-02-25得票数 3
我正在尝试使用以下内容在SQL 2005上执行SSIS包：dtexec /SQL "\MyPackageName" /SERVER mssql1 /MAXCONCURRENT " -1 " /CHECKPOINTING O
浏览 0修改于2012-09-27得票数 8
回答已采纳
文件远程运行DTSX包：
DTEXEC /DTS "\File System\MY_PACKAGE_NAME" /SERVER MY_SERVER_NAME /MAXCONCURRENT " -1 " /CHECKPOINTING
浏览 0提问于2008-10-03得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号