最近在处理单细胞测序的数据,对电脑性能要求高,所以探索了一下在服务器上跑代码。 Run test.R file in biowulf server.Step1: Allocate an interactive session for interactive R work. Note that R sessions are not allowed on the login node nor helix. [user@biowulf]$ sinteractive --gres=lscratch:5[user@biowulf]$ module load R/4.4.2Step2: Create test01032025 .R file in the /data/$user/script/Rscript folder.Step3: Run test01032025.R file, and check the output
-- 官方系统下载 Centos7 for Raspberry Pi Hypriot Docker Image for Raspberry Pi --- 让你的docker(只能跑基于ARM的镜像)跑在树莓派上的系统 基本上所有镜像都可以使用此方法。 # 格式化 # 树莓派2使用的是小卡,老高买的是SANDISK的16G,标称读取速度为80M/s的那款,送大卡卡托,方便MAC使用。 # SD卡在装系统前需要格式化为FAT32,mac下可以在系统的实用工具找到磁盘工具,然后格式化即可!也可以下载[Formatting Tool][7]格式化。 diskutil unmountdisk /dev/disk2 # if,of换一下参数就好,注意那个of=/dev/rdisk2的disk2前有个r sudo dd if=Hypriot.img
但是有一些代码本身有问题,所以也确实是有一些时候会造成整个服务器奔溃,比如一个小伙伴跑一个简单的动态预测模型代码,详见: 教程官网:https://drizopoulos.github.io/JMbayes2 "platelets" "prothrombin" [19] "histologic" "status2" 如果是把上面的312行的数据扩充到十几万条信息然后跑上面的代码 这个测试数据,在我们个人电脑通常是十几秒钟就跑完了,但是如果是服务器的话居然是需要十几分钟,就很让用户奔溃,关键是慢就算了还会把服务器卡死,因为调用了服务器所有的计算机资源。。。。 # 具体的多线程处理代码 } 并没有真实的接受用户传入参数,正常情况下应该是真实的允许用户在调用函数时手动设置线程数,这样用户可以根据实际需求选择是否使用多线程。 my_function <- function(..., num_threads = 1) { # 在需要时使用 num_threads 控制多线程的逻辑 # 具体的多线程处理代码 } 我们的服务器动辄是
前言 Processing 开始使用的是 Java 语言,由于 Java 语言的跨平台,我们可以在 Windows、Mac、Linux 系统上安装 Processing 软件来进行创作。 使用 p5js 在 iOS 系统上玩转 Processing,不得不面临着一些问题: 1、p5js 需要运行在浏览器上,效率堪忧 2、p5js 如果利用 iOS 的系统特性,如重力加速计、摄像头、AR等等 我就想让 Processing 完美跑在 iPhone、iPad 上就没有其他好办法了么? 有。 SwiftProcessing! 也正是开源,github 社区有大牛已经开始实现 Processing 在 iOS 系统上的移植操作。 所谓移植,就是将 Processing 的全部或者关键部分用 iOS 开发的语言重新实现一遍。 在 Playground 中可以使用 Live View 快速测试自己想要做的动画或特效。这种形式非常适合创意图形,或者制作教程。 下面是小菜运行的官方源代码中 Playground 的一个例子。
虽然Spark支持同时Java,Scala,Python和R,在本教程中我们将使用Scala作为编程语言。不用担心你没有使用Scala的经验。练习中的每个代码段,我们都会详细解释一遍。 Spark核心概念 在一个高的抽象层面,一个Spark的应用程序由一个驱动程序作为入口,在一个集群上运行各种并行操作。驱动程序包含了你的应用程序的main函数,然后将这些应用程序分配给集群成员执行。 每个RDD会分成多个分区,每个分区可能在不同的群集节点上参与计算。RDD可以包含任何类型的Java,Scala对象,Python或R,包括用户自定义的类。 键入或粘贴以下代码并回车,在Spark Scala Shell。 = r._1 !
虽然Spark支持同时Java,Scala,Python和R,在本教程中我们将使用Scala作为编程语言。不用担心你没有使用Scala的经验。练习中的每个代码段,我们都会详细解释一遍。 Spark核心概念 在一个高的抽象层面,一个Spark的应用程序由一个驱动程序作为入口,在一个集群上运行各种并行操作。驱动程序包含了你的应用程序的main函数,然后将这些应用程序分配给集群成员执行。 每个RDD会分成多个分区,每个分区可能在不同的群集节点上参与计算。RDD可以包含任何类型的Java,Scala对象,Python或R,包括用户自定义的类。 键入或粘贴以下代码并回车,在Spark Scala Shell。 = r._1 !
最近在做一个项目,顺便把前段时间学习的ElasticSearch给用上,所以我在服务器上面安装了ES 结果忽视了个条件,ES默认的JVM内存占用为1G,而我服务器总共才2G,结果当然是寄了。 在相同物理内存下,减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制的,不能无限生成,经验值在3000~5000左右。 不过这里用到-Xmx和-Xms就行了 # 图片里面的代码有点问题,复制这个即可,请根据实际的ElasticSearch版本进行修改 docker run -id --name es -p 9200:9200
最近在做一个项目,顺便把前段时间学习的ElasticSearch给用上,所以我在服务器上面安装了ES 结果忽视了个条件,ES默认的JVM内存占用为1G,而我服务器总共才2G,结果当然是寄了。 在相同物理内存下,减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制的,不能无限生成,经验值在3000~5000左右。 不过这里用到-Xmx和-Xms就行了 # 图片里面的代码有点问题,复制这个即可,请根据实际的ElasticSearch版本进行修改 docker run -id --name es -p 9200:9200
在实际测试中,一个单元可以小到一个方法,也可以大到包含多个类。从定义上讲,单元测试和集成测试是有严格的区分的,但是在实际开发中它们可能并没有那么严格的界限。 当然,单元测试运行速度得快,一般是在秒级的,太慢的话就不能及时获得反馈了。 为什么要写单元测试? 单元测试的好处 确保代码满足需求或者设计规格。 JUnit 简介 基本上每种语言和框架都有不错的单元测试框架和工具,例如 Java 的 JUnit、Scala 的 ScalaTest、Python 的 unittest、JavaScript 的 Jest 我们可以让 Stub 返回预设好的假数据,然后在单元测试里就可以依赖这些数据,对代码进行测试。 边界值分析 边界值是指划分等价类后,在边界附近的一些输入数据,这些输入往往是最容易出错的。
在Windows上的Bat脚本,相对没那么友好,至少对我来说是这样的,还有一个致命的原因就是不方便调试……这点比较致命。 那有没有一种方法,可以在Windows上跑Shell脚本呢?答案是肯定的。 端口状态,如果失败则重启 FTP,即 Serv-U; 利用 crond 做计划任务,每 10 分钟运行一次 ftp_check.sh 脚本; 记录相关日志到 ftp_check.log ; ---- 代码实现 首先去 Mobaxterm 官网下载最新版,并拷贝到 Windows server 服务器中; 运行 Mobaxterm,并开启一个会话-Shell,类型选择 Bash; 在新开的会话中编写 shell 脚本 ---> ftp_check.sh 代码如下仅供参考; #! :crond 编写计划任务:crontab -e ---- 结语 这样在你不关闭 Mobaxterm 下,你的这个任务就会一直运行下去; cron 任务编写有点不友好,需要克服下; 由于日志文件是在shell
你可曾想过在IOS设备上运行Linux系统?或者用shell来传输文件、编写脚本,又或者使用Vi来开发代码? 流程 想要在IOS设备上安装iSH,首先需要安装TestFlight,有了它呢就能在设备上安装测试版的程序了,美滋滋。 通过TestFlight安装iSH 一旦安装了iSH,就可以在IOS设备上正常打开了,程序会有ash shell,但是可以使用APK包管理器执行相关命令以及安装其他的包。 ? (这些都可以在文末的内置命令列表中查看) ? wget和Vi的使用界面 使用APK在iSH中安装软件 Alpine Linux使用APK包管理器来进行相应程序的安装。 在iSH和iCloud之间传输文件 现在,有了iSH就可以通过IOS设备进行实际的开发以及测试工作了,因此,通过iCloud将文件传输至iSH也是非常容易的。
在dell r610服务器上安装fedora15 我是通过pxe方式安装的,开始的时候检测硬件的时候老是过不起,看提示大概是cpu 0 error ,开始以为是安装源的问题,重新下载,解压,问题依旧 ,后来想到会不会是因为cpu核数太多造成的,我的机器配置是两颗6核+超线程,下来在系统中会看到24颗cpu,进bios,关掉超线程,再关掉一颗cpu,终于,硬件检测过去了,开始安装。
但是,TP 和 AP 的目标并不一致,有些 TP 业务中有意义的特性在 AP 业务中并无好处,甚至还有很多坏处,比如封闭性。 ETL 中的 E 和 T 这两步事实上也是某种计算,如果计算能力被封闭到数据库之内的话,我们就只能先把数据装入库中才能计算了,因为无法计算库外的数据。 在文件系统上构建数据仓库如果我们采用开放的存储体系来构建数据仓库,比如直接采用文件来存储,上述很多问题都能有效地解决。 在高性能文件存储的基础上,esProc 还设计了诸多高性能算法(要知道有些算法需要存储的配合才能应用),其中有序游标、遍历复用、外键指针、单边分堆、倍增分段并行等都是 esProc 的独创发明。 比如在计算用户流失率的电商漏斗分析场景中,用户使用 Snowflake 的 Medium 服务器(相当于 4*8=32 核)3 分钟没有跑出来;而 esProc 在一个 12 核 1.7G 的低端服务器上仅用不到
现在,有一个名为 Continue 的项目能够让 LLM 在 IDE 中运行,例如让 ChatGPT 在 VSCode 中运行。 项目地址:https://github.com/continuedev/continue 总的来说,Continue 是一个由 SDK、GUI 和服务器组成的开源库。 其中,SDK 使用户能够访问在 LLM 集成的 IDE 中访问一些必要工具(例如打开目录、编辑文件、调用模型等);GUI 能够让用户透明地检查每个自动化步骤,从而提供撤销和重新运行任何错误代码的机会;服务器则负责将 用户可以直接要求解释整段代码: 也可以选中部分代码,要求Continue解释程序中的细节。 用自然语言编辑代码 LLM 本身具备的生成代码功能主要是根据用户给出的自然语言命令,编写一段代码。 用户可以使用如下命令创建 Python 脚本、启动 React 组件: 回答编程问题 在实际开发中,开发者可能会遇到要优化代码的问题。
参考文章 CentOS安装Git实现多人同步开发 centos中GIT服务器搭建及使用密钥连接 简述 1、服务器上安装Git依赖及Git 2、创建Git用户及所属组 3、服务器上初始化Git仓库 4、安装Git客户端并生成公钥 5、创建证书登录 6、使用Git Bash克隆服务器上的空仓库 7、将本地库项目推送到服务器 1、服务器上安装Git以及依赖 1.1安装Git依赖 yum install 这样就把服务器的空仓库拉取下来了。 ? 现在我们能够正常的提交代码到服务器的git,但是还不能自动同步,我们还需要修改服务器的hooks/post-receive文件。 ,不与本地合并,只能通过提交的客户端提交的方式修改代码。 774 post-receive chown phper:git post-receive 最后在www下 mkdir project chown -R phper:git project chmod
在Substrate链上跑Solidity ERC20智能合约 jasonruan 2020.07.18 1 前言 本实践案例中,我们首先会搭建和启动一条substrate链,再通过MetaMask这款著名的以太坊钱包浏览器插件 然后我们会在remix这款智能合约在线IDE上的完成ERC20智能合约的开发、编译、部署、调试。 Author: Shawn Tabrizi <shawntabrizi@gmail.com> Date: Thu Jul 16 02:21:15 2020 +0200 2.1.2 添加个人账号 在substrate frontier链的创世配置里面,内建我们在MetaMask上的自有账号,并初始化配置上足够的ETH数量,以便我们开发测试的需要。 代币余额 [image.png] 再次查看账户1上的代币余额 [image.png]
在边缘环境、No-GPU、私有化场景下,就数据安全、资源受限的情况下,如何用≤9B参数的小模型构建一个真正可用的Agent? 2data_path:dataepochs:-3-5grad_accum:-4-8logging_steps:5lora_alpha:-16-32lora_dropout:-0.05-0.1lora_r: RAG结合有版本的源代码,将源代码排查融入SOPSkill多轮对话复杂排查场景需要多轮交互澄清问题。 目前常规Agent利用大模型长上下文的能力保持对话连贯性的模式在小模型上完全跑不通——耗时超乎想象,幻觉是常态记忆管理长期记忆与短期记忆的平衡,历史会话状态的存储与检索。 当前策略:抛弃记忆,或将记忆上移到主AgentAgent源代码:https://github.com/AI-888/06-Aether训练代码:https://github.com/AI-888/08-
然后我们会在remix这款智能合约在线IDE上的完成ERC20智能合约的开发、编译、部署、调试。 frontier链的创世配置里面,内建我们在MetaMask上的自有账号,并初始化配置上足够的ETH数量,以便我们开发测试的需要。 智能合约编译成功,接下来我们就将已经开发完成的Solidity ERC20智能合约部署到Substrate链上。 •在MetaMask上添加自定义代币 合约地址:0xfE2dF1EE3783eBD46481e32d849acB49ec5004Bf ? •代币发行方地址所剩代币为:9000.00 XYC ? •查看到账户3上XYC代币余额 ? •再次查看账户1上的代币余额 ? ---- 本文作者:rzexin 作者主页: https://learnblockchain.cn/people/932
我们只需要简单配置一下Ubuntu官方提供的base根文件系统,使其在我们的开发板上跑起来即可。首先需要下载Ubuntu-base,我们移植Ubuntu16.04版本根文件系统。 127.0.0.1 localhost" >> /etc/hosts echo "127.0.0.1 zhiguoxin_imx6ul" >> /etc/hosts 3.5 设置串口终端 ubuntu根文件系统在开发板上启动以后我们通常也希望串口终端正常工作 用户名和密码输入成功以后就会进入到系统,如图所示: 进入ubuntu根文件系统 可以看出,ubuntu根文件系统工作正常,这个时候就可以在ARM板上玩Ubuntu系统了。 4.2 安装黑客帝国软件 至此,ubuntu根文件系统已经完全在开发板上运行起来了,如果要安装什么软件的话直接使用apt工具即可,和我们在PC下使用ubuntu一样。 当然也可以在arm板上运行黑客帝国矩阵代码cmatrix。 https://v.douyin.com/hWPnppL/
不少跟我们买Jetson TX2开发板的用户在我们指导下成功刷完机后,都会迫不及待地想赶紧跑个代码了: “来个TensorRT的例子吧!” “有没有人脸识别的例子啊?” 今天,我们教大家跑一个在TX2上利用TensorRT的人脸识别的代码。 这个例子其实主要是为了演示Jetson 中的tensorRT 插件的。 代码中大部分使用了NVIDIA著名的jetson_inference (https://github.com/dusty-nv/jetson-inference)代码中的函数 ? 环境 Jetson TX2 JetPack-3.1 构建 1.下载代码 git clone https://github.com/AastaNV/Face-Recognition 2.进入Face-Recognition /face-recognition 这个代码执行后需要等待一会出现结果。源代码来自NVIDIA官方论坛推荐的