我们为每一层都增加一个偏差单位(bias unit) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import numpy as np def sigmoid(x): return 1/(1+np.exp(-x)) def net(): # todo 确定输入和权重的维度 X = np.array([[1],[-2],[3],[-4]]) theta1 = np.random.uniform(size=(3, 4)) hidden_input = sigmoid(np.matmul(theta1,X)) print 3 我们虽然可以使用一些二项式项来组合这些特征,但是我们仍然受到这些原始特征的限制。 如果分类问题有四个结果, 我们不会将y的取值为:0,1,2,3 而是会将y表示为一个1*4的向量 1 2 3 4 5 6 7 8 9 import numpy as np import tqdm def
这个课程啥也没讲,就用一个最简单的例子引出神经网络。下图所示ReLu激活函数,全称是rectified linear unit,后面还会出现一个其他的激活函数。
基于此,斯坦福吴恩达团队的最新研究——ManyICL,主要评估了目前最先进的多模态基础模型在从少样本 (少于 100) 到多样本(最高至 2000)上下文学习中的表现。 总的来说,吴恩达团队的这项研究为多模态基础模型的应用开辟了新的路径,特别是在快速适应新任务和领域方面。
吴恩达机器学习IV 于2020年11月15日2020年11月15日由Sukuna发布 这一周只需要对两个函数进行更改就行了 第一题:实现神经网络的前后传播 function [J grad] = nnCostFunction over the training examples if you are implementing it for the % first time. % % Part 3: = (Theta2 * [ones(m, 1) a2]')'; a3 = sigmoid(z3); %计算代价函数 for i = 1:m J = J + (-yNum(i, :) * log( a3(i, :))' - (1.- yNum(i, :)) * log(1.- a3(i, :))'); end %取第i行与a3(算出来的最后结果)的第i列做点积即可 J = J / m %正则化 t1 = a3-yNum; % 5000 x 25 %sigmoidGradient是之前写好的求导函数 %不包含第1列:全部为1 d2 = (d3 * Theta2(:, 2:end)) .* sigmoidGradient
吴恩达: 是指规模非常大,并在大数据上训练的模型,使用的时候可以为特定的应用进行微调。是我和斯坦福的朋友创建的术语,例如GPT-3就是NLP领域的基础模型。 吴恩达:十年前,当我发起 Google Brain 项目,并使用 Google的计算基础设施构建“大”神经网络的时候,引起了很多争议。 吴恩达:我想是的。 在过去一年,我一直在讨论以数据为中心的AI,我遇到了和10年前一样的评价:“没有新意”,“这是个错误的方向”。 吴恩达:使用50张图片训练什么样的模型?是微调大模型,还是全新的模型? 吴恩达:让我讲一下Landing AI的工作。 吴恩达:很有可能。有很多研究人员已经指出,有偏差的数据是导致系统出现偏差的众多因素之一。其实,在设计数据方面也已经有了很多努力。
金磊 发自 凹非寺 量子位 | 公众号 QbitAI 就在刚刚,AI大牛吴恩达发布推文: 我的新冠病毒检测呈阳性。 吴恩达称其目前的症状类似于轻微流感,而且他此前是已经打过疫苗的,否则情况会更加糟糕。 除此之外,他还对防疫工作者表示了感谢。 AI大牛吴恩达 吴恩达(Andrew Ng)是斯坦福大学计算机科学系和电子工程系教授。 也是谷歌大脑的联合创始人和主管,曾担任过百度首席科学家。 而吴恩达最“家喻户晓”的工作,是通过他开发的神经网络,仅是看了一周的油管视频,便自主学会识别哪些是关于猫的视频。 这个案例可以说是为人工智能领域翻开崭新一页。 …… 最后,也正如许多网友在吴恩达推文下的留言,希望能够早日康复。
夏乙 岳排槐 发自 凹非寺 量子位 出品 | 公众号 QbitAI 吴恩达团队可能没想到突然被diss。 吴恩达Twitter一发,说得好像这个问题已经解决了一样,可是他们只找了4名放射科医师,略微超过了他们的平均成绩。 生物学家、医生、以及吴恩达的半个机器学习同行们对这条Twitter的不满,很大程度上也是因为吴恩达老师的学术地位和影响力。 与当年的洋洋洒洒、雷霆万钧相比,他这次对吴恩达的批评,应该算是“三和一少”的态度了。 而说马库斯,马库斯就到。 刚刚马库斯也出手参与了一下这件事,他又在Twitter上开炮: “过度炒作可能已经成了吴恩达的习惯,在影像诊断上,在汽车上,更普遍地说在AI上都是这样。” 关于未来 其实,放狠话的不仅仅是吴恩达。
即在鸡尾酒会上从声音网格中识别个别的声音和音乐) Lecture 4 多元线性回归:拥有多个变量的线性回归 notation: n:特征的数目 x(i):训练集中的第i个输入 xj(i):第i个训练项中第j个特征的值 3 例如-3到3也是能接受的。 特征缩放 输入值/(所有输入值中最大与最小之差) 均值归一化 (输入值-输入值的平均值)/(所有输入值中最大与最小之差) ? 关于梯度下降和正规方程的优缺对比: Gradient Descent Normal Equation 需要选择合适的学习效率 不需要选择学习效率 需迭代 无需迭代 计算复杂度为O(kn2) 因为要计算XTX,计算复杂度为O(n3) 要使代价函数最小趋向于0,则需降低θ3和θ4的值,因为二次项≥0,所以令它们为0时代价函数最小,从而降低了他们在hypothesis function的影响,从而减少了过拟合。
吴恩达 prompt 课程笔记 1. Solar panel cost: 250x 3. Solar panel cost: 250x 3. Use at most 3 sentences. Issue 2. Issue 3.
吴恩达机器学习II 于2020年10月26日2020年10月26日由Sukuna发布 注意:X是一个 的矩阵,矩阵的第一列都是1!
吴恩达机器学习I 于2020年10月20日2020年10月20日由Sukuna发布 第一题:WarmUp 让我们写一个函数返回一个单位阵 这真没啥好说的 function A = warmUpExercise % Save the cost J in every iteration J_history(iter) = computeCost(X, y, theta); end end 吴恩达给的代码里面出现了迭代
吴恩达机器学习III 于2020年11月2日2020年11月2日由Sukuna发布 第一部分:多分类 X:是一个 维的矩阵,里面存的是m组数据集 第一题: 正则化的逻辑回归表达式 function [ You should set p to a vector % of values from 1..K (e.g., p = [1; 3; 1; 2] predicts classes 1, 3, 1,
吴恩达机器学习-3-逻辑回归与正则化问题 第三周主要讲解的内容包含: 逻辑回归 代价函数 线性回归和逻辑回归的比较 正则化问题 逻辑回归 分类问题 假设预测的变量y是离散的值,需要使用逻辑回归Logistic 0.5 又因为 z={\theta^{T}}x ,即: {\theta^{T}}x>=0y=1 ;反之:{\theta^{T}}x<0y=0 实例demo 在下图的中实例中,参数\theta满足[-3,1,1 ],当-3+x_1+x_2 \geq0,即x_1+x_2\geq3时,模型预测y=1;说明此时:直线x_1+x_2=3就是决策边界 ? 3、具体过程 ? 不断地迭代更新\theta_{j}: ? 如果存在n个特征,也就是\theta=[\theta_0,\theta_1,…,\theta_n]^T。 加入正则化参数 在模型h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4中,主要是高次项产生的过拟合问题: ?
这种模式下,它的畸变值会迅速下降,从 1 到 2,从 2 到 3 之后,你会在 3 的时候达到一个肘点。 在此之后,畸变值就下降的非常慢,我们就选这个转折点。
吴恩达的《ChatGPT 提示工程》课程主要是分享使用大语言模型API来构建应用程序的一些可行性,以及如何构建的最佳实践。 23日晚,林绍波发声明,向受影响乘客及社会各界致歉,并对3名涉事乘务员予以解聘。 ,国泰航空行政总裁林绍波向受影响乘客及社会致歉并解聘3名涉事乘务员。 为民造福的使命担当 3. 3. 最后,你需要告诉客户这封邮件是通过AI自动编写的。
矩阵的索引 向量的表示 矩阵的加法 矩阵与实数的乘法 矩阵的表达式 矩阵与向量的乘法 矩阵与矩阵的乘法 矩阵特性——不满足交换律 矩阵特性——满足结合律 单位矩阵 矩阵的逆 矩阵的转置
吴恩达机器学习-8-聚类和降维 本周的主要知识点是无监督学习中的两个重点:聚类和降维。 常用的外部指标是: Jaccard 系数 FM 系数 Rand 系数 上述3个系数的值都在[0,1]之间,越小越好 常用的内部指标是: DB指数 Dunn指数 DBI的值越小越好,Dunn的值越大越好。 K-means算法过程 吴恩达视频的中的伪代码为 repeat { for i= to m # 计算每个样例属于的类 c(i) := index (from 1 to K) of cluster 主要参数 sklearn.datasets.make_blobs(n_samples=100, n_features=2,centers=3, cluster_std=1.0, center_box=( 0.63667341],[-0.40887718, 0.85253229]] X_aniso = np.dot(X, transformation) y_pred = KMeans(n_clusters=3,
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
logistic function), 是一个常用的逻辑函数为 S形函数(Sigmoid function),公式为: image.png python 代码实现sigmoid函数: 1 2 3 代价函数 逻辑回归的代价函数为: image.png 其中: image.png 代入代价函数: image.png 逻辑回归代价函数的Python代码实现: 1 2 3 4 5 6 7 8 假如说你现在需要一个学习算法能自动地将邮件归类到不同的文件夹里,区分开来自工作的邮件、来自朋友的邮件、来自家人的邮件或者是有关兴趣爱好的邮件,那么,就有了一个四分类问题:其类别有四个,分别用 y=1、y=2、y=3、 又称为正则化参数(Regularization Parameter) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import numpy as np def mseWithRegular 给代价函数增加一个正则化的表达式,得到代价函数: image.png 代码实现: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 import numpy as np def