相关性分析、相关系数矩阵热力图
相关性
相关性分析是研究两组变量之间是否具有线性相关关系，所以做相关性分析的前提是假设变量之间存在线性相关性，得到的结果也是描述变量间的线性相关程度。除此之外，相关性分析方法还会有其他的假设条件。而灰色关联度分析首先对数据量要求很小，其次灰色关联度是通过判断变量的发展趋势的一致性决定相关性的大小，约束条件也小很多。
相关性分析的三种方法
目前主要的相关性分析方法有皮尔逊相关系数、斯皮尔曼相关系数和肯达相关系数。
其中皮尔逊相关系数和斯皮尔曼相关系数最为常用。皮尔逊相关系数虽然最经典，但是假设条件最多：
1、两组变量都服从正态分布
2、实验数据之间的差距不能太大。皮尔逊相关性系数受异常值的影响比较大。
3、每组样本之间是独立抽样的。
4、总之，数据必须是连续型数据，服从正态分布，而且两组数据具有线性关系。
所以，在做相关性分析时，最严谨的做法先要检验数据的分布特征，判断数据是否服从正态分布以及是否具有线性关系，当上面的条件都满足时，用皮尔逊相关系数最为有效，当有一个不满足时可以用斯皮尔曼相关系数，斯皮尔曼相关系数可以用于连续型也可以用于离散型数据，肯达相关系数适用于两个分类变量均为有序分类的情况，即两组数据都是离散型数据，所以使用的很少。
皮尔逊相关系数(pearson)：连续、正态、线性数据
肯达相关系数(kendall)：两组离散数据
斯皮尔曼相关系数(spearman)：适用范围广，只要数据满足单调关系，例如线性函数、指数函数、对数函数即可。
相关性分析代码
1、数据展示
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
datas=pd.read_excel(r'C:\Users\1003\Desktop\土地指标\指标.xlsx')
datas=datas.iloc[:,:-2]
datas
2、标准化处理
这里对数据统一正向化处理。
from sklearn.preprocessing import MinMaxScaler
columns=datas.columns
standard_s2=MinMaxScaler()#创建StandardScaler()实例
datas=standard_s2.fit_transform(datas)#将DataFrame格式的数据按照每一个series分别标准化
datas=pd.DataFrame(datas,columns=columns)#将标准化后的数据改成DataFrame格式
datas3、用pandas做相关性分析
pandas.DataFrame.corr(method='pearson')
'参数'
"""
method= pearson，kendall，spearman 对应着三种方法
默认meathod = pearson
"""此处看看皮尔逊相关系数和斯皮尔曼相关系数的结果。
（1）、皮尔逊相关系数矩阵
#皮尔逊相关系数矩阵
datas.corr(method='spearman')
画热力图：
#热力图展示
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
sns.heatmap(round(datas.corr(method='pearson'), 2),cmap="YlGnBu")
（2）、斯皮尔曼相关系数矩阵
datas.corr(method='spearman')
画热力图：
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 设置展示一半，如果不需要注释掉mask即可
mask=np.zeros_like(round(datas.corr(method='spearman'), 2))
mask[np.triu_indices_from(mask)]=True
with sns.axes_style('white'):
sns.heatmap(round(datas.corr(method='spearman'), 2),cmap="YlGnBu",annot=True,mask=mask)
（下一篇用同样的数据做一下灰色关联度分析）
相关文章：
【python123】题目答案整理 ------更多答案见专栏
目录 二老鼠打洞 来自计算机的问候-任意数量参数 自定义幂函数 来自计算机的问候-多参函数 编写函数输出自除数 最大素数 求数列前n项的平方和 生兔子 计算圆周率——割圆法 数列求前n项和 素数： *如有错误请私聊纠正 二老鼠打洞 nint(input()) # 每日打…...
Python编程题汇总
Python编程复习 1.1找出列表中单词最长的一个 找出列表中单词最长的一个def test():a ["hello", "world", "yoyo", "congratulations"]length len(a[0])# 在列表中循环for i in a:if len(i) > length:length ireturn length p…...
Matplotlib详解
视频教程 1.什么是matplotlib matplotlib: 最流行的Python底层绘图库，主要做数据可视化图表,名字取材于MATLAB，模仿MATLAB构建 2.样例 2.1折线图 eg：假设一天中每隔两个小时(range(2,26,2))的气温(℃)分别是[15,13,14.5,17,20,25,26,26,…...
Jetson AGX Orin安装Anaconda、Cuda、Cudnn、Pytorch、Tensorrt最全教程
文章目录一：Anaconda安装二：Cuda、Cudnn安装三：Pytorch安装四：Tensorrt安装一：Anaconda安装 Jetson系列边缘开发板，其架构都是arm64，而不是传统PC的amd64，深度学习的环境配置方法大…...
pytorch入门篇2 玩转tensor(查看、提取、变换)
上一篇博客讲述了如何根据自己的实际需要在pytorch中创建tensor：pytorch入门篇1——创建tensor，这一篇主要来探讨关于tensor的基本数据变换，是pytorch处理数据的基本方法。 文章目录1 tensor数据查看与提取2 tensor数据变换2.1 重置tensor形状…...
随机森林算法
随机森林1.1定义1.2随机森林的随机性体现的方面1.3 随机森林的重要作用1.4 随机森林的构建过程1.5 随机森林的优缺点2. 随机森林参数描述3. 分类随机森林的代码实现1.1定义 随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随机森林非常简单&am…...
实证分析 | 中介效应检验原理与Stata代码实现
前言 本文是温忠鳞和叶宝娟2014年刊载于《心理科学进展》的论文《中介效应分析：方法和模型发展》的简要笔记与拓展。 温忠麟、叶宝娟：《中介效应分析：方法和模型发展》，《心理科学进展》，2014年第5期 中介效应检验 要…...
几个代码画出漂亮的词云图，python最简单的词云图教程（建议收藏）
在开始编写程序之前，我们先了解一下词云图的作用，我们拿到一篇文章，想得到一些关键词，但文章篇幅很大，无法短时间得到关键词，这时我们可以通过程序将文章中的每个词组识别出来，统计每个词组出现…...
mac m1,m2 安装 提供GPU支持的pytorch和tensorflow
mac m1,m2 安装 提供GPU支持的pytorch和tensorflowAnaconda安装测试Pytorch参考链接安装步骤安装 Xcode创建conda环境测试加速效果注意Tensorflow参考链接安装步骤安装 Xcode指定安装环境加速效果测试The Endmac m1 刚出的时候，各种支持都不完善。那时候要使用conda…...
如何用Python优雅的合并两个Dict
假设有两个dict x和y，合并成一个新的dict，不改变 x和y的值，例如 x {a: 1, b: 2}y {b: 3, c: 4} 期望得到一个新的结果Z，如果key相同，则y覆盖x。期望的结果是 >>> z {a: 1, b: 3, c: 4} 在PEP448中ÿ…...
python读取文件的几种方式
下面是不同场景较为合适的数据读取方法： 1.python内置方法（read、readline、readlines） 纯文本格式或非格式化、非结构化的数据，常用语自然语言处理、非结构文本解析、应用正则表达式等后续应用场景下，Python默认的三…...
python常用模块大全
目录 时间模块time() 与 datetime()random()模块os模块sys模块tarfile用于将文件夹归档成 .tar的文件shutil 创建压缩包,复制,移动文件zipfile将文件或文件夹进行压缩 shelve 模块 json和pickle序列化hashlib 模块subprocess 模块re模块 时间模块time() 与 datetime() time()模…...
成本降低90%，OpenAI正式开放ChαtGΡΤ
今天凌晨，OpenAI官方发布ChαtGΡΤ和Whisper的接囗，开发人员现在可以通过API使用最新的文本生成和语音转文本功能。OpenAI称：通过一系列系统级优化，自去年12月以来，ChαtGΡΤ的成本降低了90%；现在OpenAI用…...
Python：ModuleNotFoundError错误解决
前言： 大家都知道python项目中需要导入各种包（这里的包引鉴于java中的），官话来讲就是Module。 而什么又是Module呢，通俗来讲就是一个模块，当然模块这个意思百度搜索一下都能出来，Python 模块(…...
python案例——利用python画图
1、画直线 问题描述： 利用python中的 turtle （海龟绘图）模块提供的函数绘制直线 算法设计： turtle.penup(): 画笔抬起turtle.color(): 设置颜色turtle.goto(): 画笔移动到下一目标turtle.pendown(): …...
pandas.DataFrame设置某一行为表头（列索引），设置某一列为行索引，按索引取多行多列
pandas读取文件 pandas.DataFrame 设置索引 pandas.DataFrame 读取单行/列，多行多列 pandas.DataFrame 添加行/列 利用pandas处理表格类型数据，快捷方便，不常用但是有的时候又是必要技能，在这里记录一下一些常用函数和自己的踩坑…...
主成分分析（PCA）算法模型实现及分析（MATLAB实现）PCA降维
主成分分析（PCA）算法模型实现及分析（源码在文章后附录）1 引言2 关于PCA原理和算法实现2.1 PCA基本原理2.2 协方差计算2.3 PCA实现步骤 （1）PCA算法实现步骤 （2）基于特征值分解协…...
python 识别图片验证码/滑块验证码准确率极高的 ddddocr 库
前言 验证码的种类有很多，它是常用的一种反爬手段，包括：图片验证码，滑块验证码，等一些常见的验证码场景。 识别验证码的python 库有很多，用起来也并不简单，这里推荐一个简单实用的识别验证码的…...
华为OD机试 - 称砝码（Java JS Python）
题目描述 现有n种砝码，重量互不相等，分别为 m1,m2,m3…mn ； 每种砝码对应的数量为 x1,x2,x3...xn 。现在要用这些砝码去称物体的重量(放在同一侧)，问能称出多少种不同的重量。 输入描述 对于每组测试数据： 第一行：n --- 砝码的种数(范围[1,10]) 第二行：m1 m2 m3 ... m…...
DataFrame转化为json的方法教程
网络上有好多的教程，讲得不太清楚和明白，我用实际的例子说明了一下内容，附档代码，方便理解和使用 DataFrame.to_json(path_or_bufNone, orientNone, date_formatNone, double_precision10, force_asciiTrue, date_unitms, defau…...
requests库的使用（一篇就够了）
urllib库使用繁琐，比如处理网页验证和Cookies时，需要编写Opener和Handler来处理。为了更加方便的实现这些操作，就有了更为强大的requests库。 request库的安装 requests属于第三方库，Python不内置，因此需要我们手动…...
Pytorch+PyG实现MLP
文章目录前言一、导入相关库二、加载Cora数据集三、定义MLP网络四、定义模型五、模型训练六、模型验证七、结果完整代码前言 大家好，我是阿光。 本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现&a…...
PYcharm怎么用，一篇教会你
文章目录一、界面介绍二、设置中文（无需汉化包）三、常用快捷键四、Python 标识符和关键字1、标识符2、 关键字五、行和缩进六、Python 引号七、Python注释1、单行注释2、多行注释八、Python空行九、输入和输出1、print 输出2、input 输入十、多行语句一、…...
如何在pycharm中使用anaconda的虚拟环境
最近项目中有许多同学咨询如何在pycharm中使用anaconda的虚拟环境（envs），这里就给大家简单介绍一下。 首先我们需要安装anaconda，这里就不在追述了，网上安装教程非常多。anaconda的安装路径大家需要记着因为后面会使用…...
Pytorch环境安装+Pycharm环境安装
我的配置： CUDA版本：11.7 Pytorch版本：1.13.0 Anaconda版本：anaconda3.2022.10（64-bit） Pycharm版本：2022社区版 具体配置过程如下： 1.Anaconda安装 本次安装的anaconda为win6…...
csapp第三章(2) --- 程序的机器级表示
csapp第三章(1) --- 程序的机器级表示https://blog.csdn.net/m0_63488627/article/details/129470787?spm1001.2014.3001.5501本章大纲 目录 3.4.过程 3.4.1运行中的栈 3.4.2转移控制 3.4.3数据传送 3.4.4栈上的局部存储 3.4.5栈的递归实现 3.5.数组分配和访问 3.6结…...
使用Ananconda进行Pytorch配置
为什么选择pytorch: 活跃度：逐渐形成了完整的开发生态，资源多。动态图：动态图架构，且运行速度较快。代码简洁：易于理解，设计优雅，易于调试。 可能有的疑惑： 深度学习框架太多不知道…...
python实现定时任务的8种方式详解
在日常工作中，常常会用到需要周期性执行的任务，一种方式是采用 Linux 系统自带的 crond 结合命令行实现。另外一种方式是直接使用Python。 当每隔一段时间就要执行一段程序，或者往复循环执行某一个任务，这就需要使用定时任…...
强大的数据分析工具——Pandas操作、易错点、知识点三万字详解
一、 Pandas数据结构 1.Series 2.DataFrame 3.从DataFrame中查询出Series DataFrame: 二维数据、整个表格、多行多列 Series:一维数据，一行或者一列 import pandas as pd import numpy as np 1、Series Series是一种类似于一维数组的对象，它由一组数…...
第一章 使用 matplotlib 绘制折线图
系列文章目录 第一章 使用 matplotlib 绘制折线图 第二章 使用 matplotlib 绘制条形图 第三章 使用 matplotlib 绘制直方图 第四章 使用 matplotlib 绘制散点图 第五章 使用 matplotlib 绘制饼图 第六章 使用 matplotlib 绘制热力图 第七章 使用 matplotlib 绘制堆叠条形图 第…...
jupyter notebook运行代码没反应且in[ ]没有*
前言： 在刚解决jupyter notebook打不开网页的问题后，我迫不及待地写了Python的代码，看看运行的结果如何。于是，我输入了print("Hello, world")，期待地点了一下运行，结果它直接跳到下一行了......…...
（超详细)python环境安装
耀风也是python初学者，文章可能会有不严谨的地方，如有发现希望帮我指正 1.python环境的安装 （1）为什么要安装python环境？ python是一个解释性语言，所谓解释性语言就是代码不会进行预编译，而是…...
matplotlib绘图设置刻度线朝内、不显示刻度等常用代码
文章内容设置刻度线朝里坐标轴不显示刻度设置x轴0刻度从y轴开始绘制直线x某个值设置刻度线朝里 plt.rcParams[‘xtick.direction’] ‘in’ # 将x轴的刻度线方向设置向内 plt.rcParams[‘ytick.direction’] ‘in’ # 将y轴的刻度线方向设置向内 坐标轴不显示刻度 plt.xti…...
用Python实现ModbusTcp协议
用Python实现ModbusTcp协议 去年2021年写了两篇用Python实现Modbus-RTU串行通信协议的文章，今年有个项目用现场上位计算机通过ModbusTcp网关来读写现场的Modbus-RTU协议的仪表设备和IO设备。我则写了一个Python程序来测试采购的这台ModbusTcp网关设备。 首先是需要设…...
python绘制混淆矩阵
之前就了解过混淆矩阵，但是一直没有实践，今天刚好有数据实践一下，这里记录一下代码实现过程，方便以后查阅。 python绘制混淆矩阵matplotlib实现sklearn实现sklearn.metrics.ConfusionMatrixDisplayfrom_estimatorfrom_predictions…...
如何快速下载Python解决在官网下载缓慢问题以及如何安装Python
不知道你们碰到过这样的情况没有，在Python官网下载Python却很慢，刚开始我还以为是被限速了，后来才了解到这是因为Python官网的服务器是在外网，所以呢那我找到了一个Python的国内下载网址：CNPM Binaries Mirror (npmmir…...
FPN网络详解
1 特征金字塔 特征金字塔(Feature Pyramid Networks， FPN)的基本思想是通过构造一系列不同尺度的图像或特征图进行模型训练和测试，目的是提升检测算法对于不同尺寸检测目标的鲁棒性。但如果直接根据原始的定义进行FPN计算，会带来大额的计算开…...
python操作Excel
前言： Python操作Excel需要三方库的支持，如果要兼容Excel 2007以前的版本，也就是xls格式的Excel文件，可以使用三方库xlrd和xlwt，前者用于读Excel文件，后者用于写Excel文件。如果使用较新版本的Excel&#…...
Anaconda内安装OpenCV最有效的方法
问题背景： 如果你试过在Anaconda内安装opencv的诸多方法都不奏效，那么本文的这个方法可以从根本上解决这个问题。 安装准备： 在Anaconda3内的python建议为3.6版本，安装的opencv最好为对应的3.4.1.15版本，安装的open…...
Python你绝对不知道的15个小技巧，知道的算我输
名字：阿玥的小东东 学习：Python语言、正在学习c++语言 主页：阿玥的小东东 目录 前言 1.all or any 2.bashplotlib 3.collections 4.dir 5.from __future__ import...
2023美赛C题【分析思路+代码】
以下内容为我个人的想法与实现，不代表任何其他人。 文章目录问题一数据预处理时间序列模型创建预测区间单词的任何属性是否影响报告的百分比？如果是，如何影响？如果不是，为什么不是？问题二问题三难度评估模型…...
华为OD机试 - 对称美学（Java JS Python）
题目描述 对称就是最大的美学，现有一道关于对称字符串的美学。已知： 第1个字符串：R第2个字符串：BR第3个字符串：RBBR第4个字符串：BRRBRBBR第5个字符串：RBBRBRRBBRRBRBBR相信你已经发现规律了，没错！就是第 i 个字符串 = 第 i - 1 号字符串取反 + 第 i - 1 号字符串； …...
Python两种读取txt与csv文件方式（利用numpy处理数据）
数据集 csv文件内容 一共80个数据（只截取前10个数据） 在excel中显示的内容 在pycharm中显示的内容 txt文件内容 一共80个数据 在记事本中显示的内容 在pycharm中显示的内容 利用pandas方式读取 一、csv文件 1、读取所有内容 import pandas as pd…...
智能优化算法之灰狼优化算法（GWO）的实现（Python附源码）
文章目录一、灰狼优化算法的实现思路1、社会等级结构分级2、包围猎物3、攻击猎物4、搜索猎物二、算法步骤三、实例一、灰狼优化算法的实现思路 灰狼优化算法（Grey Wolf Optimizer，简称GWO）是由Seyedali Mirjalili等人于2014年提出的一种群智…...
简单研究一下 OpenAI 的官方文档
文档地址：https://platform.openai.com/docs/ 接口说明：https://platform.openai.com/docs/api-reference 一、概览 OpenAI API 可直接调用模型接口，也可在线微调（不过只能微调GPT-3系列模型）。 本小节主要介绍 toke…...
opencv的安装+pycharm中安装cv2库
简单记录一下本次cv2库的安装流程。 opencv的安装： 1.下载 阿里云 Simple Index 中国科技大学 Simple Index 豆瓣(douban) Simple Index 清华大学 Simple Index 中国科学技术大学 Simple Index 我在这里找到的： https://www.lfd.uci.edu/~gohlk…...
python操作abaqus建模教程①
参考资料： 1. pyabaqus库使用指引（官方）：GitHub - haiiliin/pyabaqus: Type hints for Abaqus/Python scripting (The repo has been transferred to https://github.com/haiiliin/abqpy).Type hints for Abaqus/Python scriptin…...
超详细Ubuntu安装Anaconda步骤+Anconda常用命令
目录1. 下载Anconda安装包方法1：网页手动下载方法2：wget命令下载2. 安装AnacondaSTEP1：使用bash命令安装AnacondaSTEP2：阅读并接受安装协议STEP3：确认安装位置STEP4：初始化Anaconda（包含环境变量…...
关于anaconda navigator打不开问题的解决
1.找到路径C:\Users\Administrator下的.condarc，用记事本方式打开，将如下内容插入文件： channels:- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free ssl_verify: true s…...
PyCharm与Anaconda超详细安装配置教程
摘要：本文详细介绍如何在Windows 10中安装PyCharm和Anaconda这两款Python中必备的软件，博文中每一步均有详细截图和步骤讲解，最后介绍如何使用Anaconda创建虚拟环境并在PyCharm中配置该环境。所提供的软件安装步骤在Windows 10系统中进行了测…...