两种方式: 1、 curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io 2、 vi /etc/docker/daemon.json { "registry-mirrors": ["https://registry.docker-cn.com"] } service
Git 远程仓库 远程仓库 普通远程仓库搭建 环境 远程服务器安装 git 服务及新增用户 本地服务器生成密钥并放入远程服务器 初始化远程 git 仓库 设置远程 git 仓库权限 用户 git 本地服务器生成密钥并放入远程服务器 (1)生成密钥 本地服务器在 ~/.ssh 目录下可以找到 id_rsa.pub,里面就是公钥 ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub (2) (1)文件路径 vi /etc/passwd (2)修改配置 原配置 git:x:500:500::/home/git:/bin/bash 修改配置 git:x:500:500::/home/git 192.168.125.6" yum -y install gitlab-ee 访问 GitLab (1)按照上面 EXTERNAL_URL 指定的 url 访问 GitLab http://192.168.125.6 (2) 账号密码 账号:root 密码:12345678 GitLab 的使用 1、创建 OA 组 2、创建 zhss 用户,在 OA 组中加入 zhss 用户 账号:zhss 密码:12345678
a1.channels.c2.kafka.bootstrap.servers = cdh1.macro.com:9092,cdh2.macro.com:9092,cdh2.macro.com:9092 副本数为2。 = 2000 a1.sources.r2.kafka.bootstrap.servers = cdh1.macro.com:9092,cdh2.macro.com:9092,cdh2.macro.com a1.channels.c2.dataDirs = /data0/apache-flume-1.9.0-bin/data/behavior2/ a1.channels.c2.maxFileSize = = c1 a1.sources.r2.channels = c2 a1.sinks.k2.channel= c2 启动flume消费kafka 在HDFS中创建origin_data目录 hadoop
第2章 数据仓库原理 作业题 1、设数据集 A = \{1, 1, 3, 3, 4, 5, 5, 5, 6, 7, 7, 7, 9, 10, 12, 15\} ,请用等深分箱法将其分成 k=4 个箱子 8、数据仓库有哪几种逻辑模型? (1)多维模型:若用纯多维数据库管理系统作为 DW 的管理平台,则多维数据模型既是数据仓库的概念模型,又是数据仓库的逻辑模型,而多维数据集都存储在多维数据库中。 9、位图索引是数据仓库的什么模型? 位图索引是数据仓库中的物理模型,用于在数据仓库中进行快速的数据检索和查询。 在数据仓库中,维度表通常包含了大量的分类属性,如性别、地区、产品类型等。 通过位图索引,可以加速对维度属性的查询,提高数据仓库的性能和响应速度。
权 限 项目管理员 维护人员 开发者 访 客 受限访客 查看项目仓库 ✔ ✔ ✔ ✔ ✔ 创建项目仓库 ✔ ✔ ✔ 编辑、删除项目仓库 ✔ ✔ 查看、复制、拉取 Artifact 2.已经将用户从 LDAP 管理员组中删除了,为什么该用户登录 Harbor 时依然是系统管理员?
仓库是需要一个文件夹的 有习惯的人 一般是 专门建个DevRepository/SvnRep 这是我专门用来放 svn的仓库的 然后就是在DOS命令行里面创建仓库了, 键入命令行:svnadmin cerate 仓库地址 创建完毕之后去相应的文件夹里面,看看生成了什么文件 上面的文件是什么意思: Conf 配置文件 版本权限 后面会用到的 Db 底层数据库 不需要管它 Hooks 钩子 钩子程序
已启动并正常运行 1.通过命令启动私库 docker run -d -p 5000:5000 --privileged=true -v /data/history:/data/registry registry 2. NAMES ce112003958f registry "/entrypoint.sh /e..." 12 days ago Up 2 :5000->5000/tcp quirky_liskov #查看私库中的镜像 [root@localhost ~]# curl -XGET http://192.168.100.6:5000/v2/ rhel7/pod-infrastructure","server","tomcat"]} [root@localhost ~]# #查看某一镜像的版本信息 访问方式为 http://ip:port/v2/ 镜像名字/tags/list [root@localhost ~]# curl -XGET http://192.168.100.6:5000/v2/server/tags/list {"name":
下载2. 配置环境变量2.1 打开环境变量窗口2.2 新建环境变量3. 验证二、Maven仓库配置1. 本地仓库2. 远程仓库前言本文主要内容:Maven下载安装以及仓库配置。 ----详细内容,请见原文地址:1-2. Maven 安装、仓库配置----最后如果觉得写的不错,订阅起来吧,干货持续输出中!
示例 假设有一个连锁店的销售数据仓库,记录销售相关的日期、商店和产品,其星型模式如图2-3所示。 图2-4 雪花模式的销售数据仓库 下面所示的查询语句的结果等价于前面星型模式的查询,可以明显看到此查询比星型模式的查询有更多的表连接。 数据仓库需要集成很多操作型源系统中的数据。由于数据集市的复杂度和需要处理的数据都小于数据仓库,因此更容易建立与维护。表2-19总结了数据仓库与数据集市的主要区别。 2. 确定需求 数据仓库项目的需求可以分为业务需求和技术需求。 (1)定义业务需求 建立数据仓库的主要目的是为组织赋予从全局访问数据的能力。 (2)定义技术需求 数据仓库的数据来源是操作型系统,这些系统日复一日地处理着各种事务活动。操作型系统大都是联机事务处理系统。数据仓库会从多个操作型源系统抽取数据。
REGISTRY_HTTP_TLS_CERTIFICATE=/certs/registry.crt -e REGISTRY_HTTP_TLS_KEY=/certs/registry.key -v ~/data/registry2:
本地仓库是远程仓库的一个缓冲和子集,当你构建Maven项目的时候,首先会从本地仓库查找资源,如果没有,那么Maven会从远程仓库下载到你本地仓库。这样在你下次使用的时候就不需要从远程下载了。 如果你所需要的jar包版本在本地仓库没有,而且也不存在于远程仓库,Maven在构建的时候会报错,这种情况可能是有些jar包的新版本没有在Maven仓库中及时更新。 默认仓库的存储位置 Maven缺省的本地仓库路径为${user.home}/.m2/repository 具体如下图 自定义修改仓库的存储位置: 可改变默认的 .m2 目录下的默认本地存储库文件夹 通过修改${user.home}/.m2/settings.xml 配置本地仓库路径 ,没有settings这个xml文件就新建,或者如下复制个;具体看图: 模板里面的配置项都是没有修改的。 > </settings> 你也可以自己如下测试: 先备份自己的仓库文件即.m2目录下的repository文件夹,然后把这个文件夹移动到其他地方,直接在c盘移动快(这个只为测试啦,要是测试OK
push -u -u参数 upstream git push origin master -u //获取最新代码 连接远程仓库 git remote add origin 仓库的地址 查看远程仓库 :git init 将文件添加到暂存区:git add 文件名 [可选:另一个文件名] 将暂存区提交到仓库:git commit –m "描述" 与查询有关的: 查询仓库状态:git status 比较文件差异 (请在git add之前使用):git diff 文件名 查看仓库历史记录(详细):git log 查看仓库历史记录(单行):git log --pretty=online 或 git log --online git reset HEAD 文件名 回退到历史版本:git reset --hard 该版本ID 回退到上个版本:git reset --hard HEAD^ 上上版本是HEAD^^,也可用HEAD~2表示 push -u -u参数 upstream git push origin master -u //获取最新代码 连接远程仓库 git remote add origin 仓库的地址 查看远程仓库
使用 Docker Compose + Docker machine 配置一个 Docker 私有仓库。 addr: :443 host: https://docker.domain.com headers: X-Content-Type-Options: [nosniff] http2: \.[0-9]-dev))|Go ).*$" ) { return 404; } # To add basic authentication to v2 use proxy_set_header X-Forwarded-Proto $scheme; proxy_read_timeout 900; } } 测试私有仓库功能 修改 /etc/hosts,替换为对应 IP 127.0.0.1 docker.domain.com 网页查看 https://docker.domain.com/v2/_catalog 命令行登录
基本介绍 作为数据仓库和商业智能(DW/BI)行业中有影响力的领军人物,RalphKimball、MargyRoss得到了世界范围内的认可和尊重,他们在《数据仓库与商业智能宝典(第1版)》中确立了行业标准 现在,在《数据仓库与商业智能宝典(第2版)成功设计、部署和维护DW/BI系统》中已经更新了65篇DesignTip和白皮书,从而汇集了DW/BI技术创新前沿的著作。 从项目规划和需求收集,到维度建模、ETL和BI应用,《数据仓库与商业智能宝典(第2版):成功设计、部署和维护DW/BI系统》涵盖了你在数据仓库和商业智能中将会遇到的所有内容。 启动DW/BI项目和收集需求的注意事项 集成式企业数据仓库的必备要素,其中包括总线架构和矩阵 事实表的粒度性和三种基本类型 渐变维度技术 星型模式、外支架和桥接表 维度建模高级模式 提取、转换和加载(ETL)子系统与数据质量 BI应用实践 大数据注意事项 无论你正以何种身份参与数据仓库或商业智能项目,这本可轻易参考和最近更新的宝典可谓无价之宝。
-C "kangvcar@126.com" [root@kangvcar ~]# cat .ssh/id_rsa.pub 注意:在本地用ssh-keygen生成密钥对后,把公钥添加到github上 2. 以上前4步的操作是克隆自己github里的项目到本地 因为我只能把我本地的公钥添加到了我的github上,而不能添加到别人的github账户下,所以只能克隆自己github仓库里的项目,而不能clone 别人仓库里的项目。 首先肯定不能直接克隆别人的github项目的地址,因为你没有公钥在别人的github仓库里,所以我要像把别人的项目fork到自己的github上,然后在克隆到本地,在本地修改完成后,在提交给原作者。 具体操作步骤如下: 先用网页打开别人的项目,然后fork到自己的仓库中去。 再用自己仓库里对应项目的地址克隆到本地。 修改完成后,把在本地把所做的修改push推送到自己的github上。
1.Git简介 Git是目前世界上最先进的分布式版本控制系统 git的使用,主要包括: 本地仓库的命令 远程仓库的命令 项目需求、页面、模型类的设计,及页面的使用 2.安装 sudo apt-get 首先找一台电脑充当服务器的角色,其他每个人都从这个“服务器”仓库克隆一份到自己的电脑上,并且各自把各自的提交推送到服务器仓库里,也从服务器仓库中拉取别人的提交。 在用户主目录里找到.ssh目录,里面有id_rsa和id_rsa.pub两个文件,这两个就是SSH Key的秘钥对,id_rsa是私钥,不能泄露出去,id_rsa.pub是公钥,可以放心地告诉任何人 step2: settings”的“SSH Keys”页面,然后,点“New SSH Key”,填上任意Title,在Key文本框里粘贴id_rsa.pub文件的内容,点“Add Key”,你就应该看到已经添加的Key 2. 2.工作区与暂存区 使用IDE打开目录,创建项目,将文件添加到暂存区 git add 文件1 文件2 ... git add 目录 使用暂时区的内容恢复工作区的内容 git checkout -- 文件名
YUM源仓库配置 YUM源仓库配置 YUM简介 软件仓库的提供方式 RPM软件包的来源 以ftp方式构建YUM仓库 1.在服务器上安装ftp 2.命名服务器地址 3.查看挂载 查看配置文件 10.移动所有挂载目录下的文件到ftp下 11.清除所有缓存,建立缓存 12.安装ftp进行测试,ftp方式的yum仓库源是否可行 YUM常用命令 1.查询软件包 2.查询软件包组 (下载来源,yum源) 有时仓库里有文件但仍然无法下载,原因yum指向问题,没有让仓库生效 在/etc/repos.d目录下,文件后缀是repo的是YUM仓库的源。 软件仓库的提供方式 1.FTP服务:ftp://… 既可以是在线也可以是本地 2.HTTP服务:http://… 在线源 3.本地目录:file://… 本地源 4.baseurl=file:// ) 3.用户自定义的RPM包集合(先下载软件包,依赖包都存放在一个自定义的目录下,) 以ftp方式构建YUM仓库 1.在服务器上安装ftp yum -y install vsftpd 2.命名服务器地址
早期MPP时代的数仓IBM DB2和Teradata是早期数仓理论的实践者,也是市场领导者。其中Teradata是MPP数仓最成功的商业产品,几乎是行业的天花板。 到了2009年9月,Exadata V2发布,采用了SUN的(此后MySQL也属于了Oracle),次年Oracle完成了SUN的收购。 在V2版本中,Exadata存储节点中首次采用了Flash卡,从而可以同时支持OLAP和OLTP类型的负载。有了高性能产品的同时也有了极其昂贵的价格。 著名的Conor O'Mahony(DB2的市场经理)罗列了使用一台全机架系统(full-rack)Exdata V2所需的费用列表:$1,150,000 硬件价格$1,680,000 存储服务器的软件价格 2012年,在Oracle公司工作十多年的2位程序员决心在云上建立一个数据仓库,于是诞生了Snowflake公司。它诞生的第一天,就有云计算的特点:存储与计算分离、按量付费、云中立。
2、Maven本地仓库配置 在本地新建本地仓库文件夹,替代默认新建在系统盘的仓库地址,因为随着时间,仓库会越来越大,所以建议自己新建一个本地仓库: Maven远程库也是位于网络上的存储库。 因为maven在获取需要的jar包时会首先从本地仓库获取,当本地仓库不存在需要的jar包时会从setting.xml的远程仓库获取到本地仓库,但是默认的配置文件从国外服务器获取,速度较慢,所以修改远程仓库地址 provides configuration for a single user, | and is normally provided in ${user.home}/.m2/ location can be overridden with the CLI option: | | -s /path/to/user/settings.xml | | 2. repository <localRepository>/path/to/local/repo</localRepository> --> <localRepository>F:/m2/repository
(Tao) ➜ git clone repo.git c2 Cloning into 'c2'... warning: You appear to have cloned an empty repository master (branch is currently checked out) error: failed to push some refs to '/Users/tao/repo' # 进入 c2 /c2 (Tao) ➜ c2 git:(master) touch test (Tao) ➜ c2 git:(master) ✗ git add -A (Tao) ➜ c2 git:(master 7aacc58] test commit 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 test (Tao) ➜ c2 这也正是裸仓库存在的意义。 裸仓库一般情况下是作为远端的中心仓库而存在的。