come from HKPolyU, majoring in CS&AI. A novice at machine learning and blockchain:)
ML-Andrew NG 学习笔记(5) Forward Propagation
前向传播：前一层的输入经过计算后，不断向下一层传入，作为下一次的输入，一直向前传递数据。前向传播的一般实现：dense函数中的参数g即为sigmoid函数对于该隐藏层（hidden layer），使用numpy为每个单元创建对应数据，考虑到后续需要用到for循环，因此矩阵W应设为2✖️3的大小，3同时也对应参数b的三个值。 for循环内部，放大来看便是如下：sequential函数即将4个网络层串联在一起，最终输出结果f_x
ML-Andrew NG 学习笔记(5) Forward Propagation
前向传播：前一层的输入经过计算后，不断向下一层传入，作为下一次的输入，一直向前传递数据。前向传播的一般实现：dense函数中的参数g即为sigmoid函数对于该隐藏层（hidden layer），使用numpy为每个单元创建对应数据，考虑到后续需要用到for循环，因此矩阵W应设为2✖️3的大小，3同时也对应参数b的三个值。 for循环内部，放大来看便是如下：sequential函数即将4个网络层串联在一起，最终输出结果f_x
ML-Andrew NG 学习笔记(4) Overfitting & Regularization
a.拟合问题对于一组相同的数据，可以选取不同的模型对其训练。模型的不同会导致其对数据的贴合表现不近相同。 结果总体上可以分为以下三种（首先使用回归作为例子）：underfit（欠拟合）如图，使用一个一次的简单函数拟合，很显然，让人不甚满意也可以称为high biasgood fit（正常拟合） 这次采用二阶多项式进行拟合，虽然有的点并没有在线上，但是总体而言非常不错generalizationoverfit（过拟合） 使用了复杂的四阶多项式，每个点都位于线上，但是这样的结果很显然不适用于真实的房价预测high variancehigh bias：模型过于简单或特征选择不充分，使得没有足够的灵活性来适应数据中的变化 high variance：模型试图捕捉数据中每个细微的点，甚至可能误将噪声认为使真实信号，给一组不同的数据集训练变化会非常大分类中的例子：underfit good fit overfit欠拟合可以通过增加模型的复杂程度或者补充特征来使模型完善，下文主要讨论关于过拟合的问题。 解决方案：增加训练样本数量选择合适的特征不充足的数据+所有的特征很容易导致过拟合，可以删掉一...
ML-Andrew NG 学习笔记(4) Overfitting & Regularization
a.拟合问题对于一组相同的数据，可以选取不同的模型对其训练。模型的不同会导致其对数据的贴合表现不近相同。 结果总体上可以分为以下三种（首先使用回归作为例子）：underfit（欠拟合）如图，使用一个一次的简单函数拟合，很显然，让人不甚满意也可以称为high biasgood fit（正常拟合） 这次采用二阶多项式进行拟合，虽然有的点并没有在线上，但是总体而言非常不错generalizationoverfit（过拟合） 使用了复杂的四阶多项式，每个点都位于线上，但是这样的结果很显然不适用于真实的房价预测high variancehigh bias：模型过于简单或特征选择不充分，使得没有足够的灵活性来适应数据中的变化 high variance：模型试图捕捉数据中每个细微的点，甚至可能误将噪声认为使真实信号，给一组不同的数据集训练变化会非常大分类中的例子：underfit good fit overfit欠拟合可以通过增加模型的复杂程度或者补充特征来使模型完善，下文主要讨论关于过拟合的问题。 解决方案：增加训练样本数量选择合适的特征不充足的数据+所有的特征很容易导致过拟合，可以删掉一...
ML-Andrew NG 学习笔记(3) Classification & Logistic Regression
如前文提到的例子，对肿瘤大小进行分类，以此来预测是良性或是恶性，当数据比较集中时，使用线性回归也许会奏效，但当出现某些数据时，表现会变得很不好。当引入最右侧方框内的数据点后，拟合的直线及阈值受到的影响，误差都变得非常大对于这种分类，不需求预测出本身大小的问题（如期望输出0或1这样的值），考虑采用逻辑回归（Logistic Regression）现在很好地拟合了数据集在逻辑回归中，有如下几种常用的处理方法：Sigmoid Function：将实数映射到区间 (0,1) 上。在逻辑回归中，我们通常使用 Sigmoid 函数作为激活函数，将线性回归的结果转换为一个概率值，从而进行分类。Softmax Functon: 将多个线性输出映射为一个概率分布。在多分类问题中，Softmax函数通常被用来将线性输出转化为概率分布，可以对每个类别进行概率预测。ReLU Function (Rectified Linear Unit):在神经网络中广泛应用。ReLU函数在输入大于0时输出输入值本身，否则输出0。这种激活函数的好处是计算速度快且具有稀疏性，因此可以有效地减少过拟合现象。Sigmoid ...
ML-Andrew NG 学习笔记(3) Classification & Logistic Regression
如前文提到的例子，对肿瘤大小进行分类，以此来预测是良性或是恶性，当数据比较集中时，使用线性回归也许会奏效，但当出现某些数据时，表现会变得很不好。当引入最右侧方框内的数据点后，拟合的直线及阈值受到的影响，误差都变得非常大对于这种分类，不需求预测出本身大小的问题（如期望输出0或1这样的值），考虑采用逻辑回归（Logistic Regression）现在很好地拟合了数据集在逻辑回归中，有如下几种常用的处理方法：Sigmoid Function：将实数映射到区间 (0,1) 上。在逻辑回归中，我们通常使用 Sigmoid 函数作为激活函数，将线性回归的结果转换为一个概率值，从而进行分类。Softmax Functon: 将多个线性输出映射为一个概率分布。在多分类问题中，Softmax函数通常被用来将线性输出转化为概率分布，可以对每个类别进行概率预测。ReLU Function (Rectified Linear Unit):在神经网络中广泛应用。ReLU函数在输入大于0时输出输入值本身，否则输出0。这种激活函数的好处是计算速度快且具有稀疏性，因此可以有效地减少过拟合现象。Sigmoid ...
ML-Andrew Ng 学习笔记(2) Cost Function & Gradient Descent
笔者今年只有大一，虽然课程内有讲ml但是觉得不应止于此，想额外学一部分，故见解不到位的也请谅解以下将会讨论成本函数（cost function）和梯度下降（gradient descent）的相关问题。A.成本函数：用于衡量假设函数h(x)准确性的工具给出一份数据，能够拟合出多条直线，有着多组θ_0, θ_1，但为了更精准地预测，需要找到其中一组，使得数据点尽可能多地落在直线上或者其附近，因此需要成本函数。cost function** 举例**：单变量线性回归（univariate linear regression）单变量是对于x而言的to minimizex_i, y_i为第i组的样本1/2m 作用仅仅是对后面整体求导时，作为指数的2乘下来与1/2抵消,不会影响到求θ的最小值 "To make the derivations mathematically more convenient"cost function (or Squared error function)** 几何理解：** 对于简化版h(x)=θ_1*x,实质上是各组h(x_1)=θ_1*x_1与真实值y_1...
ML-Andrew Ng 学习笔记(2) Cost Function & Gradient Descent
笔者今年只有大一，虽然课程内有讲ml但是觉得不应止于此，想额外学一部分，故见解不到位的也请谅解以下将会讨论成本函数（cost function）和梯度下降（gradient descent）的相关问题。A.成本函数：用于衡量假设函数h(x)准确性的工具给出一份数据，能够拟合出多条直线，有着多组θ_0, θ_1，但为了更精准地预测，需要找到其中一组，使得数据点尽可能多地落在直线上或者其附近，因此需要成本函数。cost function** 举例**：单变量线性回归（univariate linear regression）单变量是对于x而言的to minimizex_i, y_i为第i组的样本1/2m 作用仅仅是对后面整体求导时，作为指数的2乘下来与1/2抵消,不会影响到求θ的最小值 "To make the derivations mathematically more convenient"cost function (or Squared error function)** 几何理解：** 对于简化版h(x)=θ_1*x,实质上是各组h(x_1)=θ_1*x_1与真实值y_1...
ML-Andrew Ng 学习笔记(1) Supervised Learning & Unsupervised Learning
笔者今年只有大一，虽然课程内有讲ml但是觉得不应止于此，想额外学一部分，故见解不到位的也请谅解（虽然是写给自己的==）以下将会讨论监督学习（supervised learning）和无监督学习（unsupervised learning）的特点及实例，同时附上笔者个人对此的见解。监督学习：根据数据（“right answer”given）拟合出一条直线或者曲线，进而使模型能给出更多right answer回归（Regression）分类（Classification）Regression例子1：一个学生收集了某市的房屋尺寸大小及其对应价格的一些数据，现在甲有一栋750平方英尺的房子，如何估计一下大概能卖掉多少钱？a regression problemRegression： Predict continuous valued output个人理解为变量之间有着非常强的数学关系，输入与输出都是数字Classification例子2：某人收集了一部分与乳腺癌肿瘤相关的数据，现在乙有一个肿瘤，如何判断该肿瘤是良性还是恶性？a classification problemClassifi...
ML-Andrew Ng 学习笔记(1) Supervised Learning & Unsupervised Learning
笔者今年只有大一，虽然课程内有讲ml但是觉得不应止于此，想额外学一部分，故见解不到位的也请谅解（虽然是写给自己的==）以下将会讨论监督学习（supervised learning）和无监督学习（unsupervised learning）的特点及实例，同时附上笔者个人对此的见解。监督学习：根据数据（“right answer”given）拟合出一条直线或者曲线，进而使模型能给出更多right answer回归（Regression）分类（Classification）Regression例子1：一个学生收集了某市的房屋尺寸大小及其对应价格的一些数据，现在甲有一栋750平方英尺的房子，如何估计一下大概能卖掉多少钱？a regression problemRegression： Predict continuous valued output个人理解为变量之间有着非常强的数学关系，输入与输出都是数字Classification例子2：某人收集了一部分与乳腺癌肿瘤相关的数据，现在乙有一个肿瘤，如何判断该肿瘤是良性还是恶性？a classification problemClassifi...
