Softmax函数原理及Python实现过程解析

脚本专栏 2024/12/26 佚名

3 1 2

快活林资源网 Design By www.csstdc.com

Softmax原理

Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果，具体计算公式为：

对于k维向量z来说，其中zi∈R，我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法，如max-min、z-score方法并不能保证各个元素为正，且和为1。

Softmax性质

输入向量x加上一个常数c后求softmax结算结果不变，即:

我们使用softmax(x)的第i个元素的计算来进行证明：

函数实现

由于指数函数的放大作用过于明显，如果直接使用softmax计算公式

进行函数实现，容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质：先对输入数据进行处理，之后再利用计算公式计算。具体使得实现步骤为：

查找每个向量x的最大值c；
每个向量减去其最大值c, 得到向量y = x-c;
利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)

代码如下：

import numpy as np

def softmax(x):
  """
  softmax函数实现
  参数：
  x --- 一个二维矩阵, m * n,其中m表示向量个数，n表示向量维度
  返回：
  softmax计算结果
  """
  assert(len(X.shape) == 2)
  row_max = np.max(X, axis=axis).reshape(-1, 1)
  X -= row_max
  X_exp = np.exp(X)
  s = X_exp / np.sum(X_exp, axis=axis, keepdims=True)

  return s

测试一下：

a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)

print(softmax(a))
print(softmax(b))
print(softmax(c)) # error

输出结果为：

[[ 0.09003057 0.24472847 0.66524096]
[ 0.66524096 0.24472847 0.09003057]]
[[ 0.09003057 0.24472847 0.66524096]]
Traceback (most recent call last):
assert(len(X.shape) == 2)
AssertionError

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

Python,Softmax,函数

快活林资源网 Design By www.csstdc.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

快活林资源网 Design By www.csstdc.com

评论“Softmax函数原理及Python实现过程解析”

暂无评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年12月26日

Softmax函数原理及Python实现过程解析

python3.8.1+selenium实现登录滑块验证功能

在TensorFlow中实现矩阵维度扩展

评论“Softmax函数原理及Python实现过程解析”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接