点击最高的模板网站,wordpress缓存清除缓存,自己本地可以做网站服务器吗,大连普兰店网站建设从数据清洗到特征工程#xff1a;MATLAB矩阵行列删除的4个实战应用场景 最近在帮一个做量化分析的朋友处理一批金融时序数据#xff0c;他抱怨说数据里充满了缺失值和异常点#xff0c;直接用机器学习模型跑出来的结果简直没法看。这让我想起了自己刚开始接触数据分析时 missing_per_row sum(missing_mask, 2); % 每行缺失值个数 missing_per_col sum(missing_mask, 1); % 每列缺失值个数 % 可视化缺失情况简单统计 fprintf(数据维度: %d 行 x %d 列\n, size(data)); fprintf(存在缺失值的行数: %d\n, sum(missing_per_row 0)); fprintf(存在缺失值的列数: %d\n, sum(missing_per_col 0));这个初步诊断能告诉你缺失是集中在少数几个“问题”特征列上还是广泛散布在样本行中。1.2 基于阈值的行列删除策略根据诊断结果我们可以制定不同的删除策略。这里的关键是将逻辑判断与矩阵索引删除结合起来。策略A删除缺失值过多的列特征如果某些特征缺失率超过50%保留它们可能弊大于利填充的误差也会很大。threshold 0.5; % 缺失率阈值设为50% col_missing_rate missing_per_col / size(data, 1); cols_to_delete find(col_missing_rate threshold); % 使用find定位列索引 if ~isempty(cols_to_delete) fprintf(即将删除缺失率超过%.0f%%的列: %s\n, threshold*100, num2str(cols_to_delete)); data(:, cols_to_delete) []; % 执行列删除 feature_names(cols_to_delete) []; % 同步更新特征名称元胞数组 else fprintf(所有特征缺失率均未超过阈值无需删除整列。\n); end策略B删除包含任何缺失值的行样本这是最严格但也是最简单的清洗方式适用于缺失值稀少或样本量极大的情况。% 方法1使用 any 函数和逻辑索引 rows_with_any_missing any(missing_mask, 2); data_cleaned data(~rows_with_any_missing, :); % 方法2直接使用 find 定位行号更直观便于记录被删除了哪些样本 bad_rows find(any(missing_mask, 2)); data(bad_rows, :) []; sample_ids(bad_rows) []; % 同步更新样本ID fprintf(删除了 %d 个包含缺失值的样本行。\n, length(bad_rows));注意在删除行或列后务必同步更新与之关联的其他变量如特征标签、样本ID等保持数据对齐这是实践中极易出错的一步。策略C仅删除在关键特征上缺失的行有时某些特征如标签列、核心自变量绝对不能缺失而其他特征的缺失可以后续填充。key_columns [1, 5, 10]; % 假设第1、5、10列是关键特征 key_missing_mask any(isnan(data(:, key_columns)), 2); data(key_missing_mask, :) [];通过组合这些策略你可以实现一个稳健的、可配置的自动化数据清洗流水线而不是手动查找和删除。2. 场景二异常值处理——基于统计规则剔除“坏”样本清洗完缺失值下一个拦路虎是异常值。它们可能源于记录错误、设备故障或罕见的极端事件会严重扭曲统计模型特别是线性模型的参数估计。2.1 基于标准差Z-Score的行删除对于近似服从正态分布的数据常用3σ原则。我们将计算每个样本在所有特征上的综合Z-Score或针对单个关键特征并删除极端值。% 假设我们关注的是一个关键指标列如‘交易量’ volume data(:, volume_col_idx); z_scores (volume - mean(volume)) / std(volume); % 找出Z-score绝对值大于3的异常样本行 outlier_rows find(abs(z_scores) 3); % 在删除前建议先审查这些异常值 if ~isempty(outlier_rows) fprintf(发现 %d 个Z-score异常样本其索引和值为:\n, length(outlier_rows)); disp([outlier_rows, volume(outlier_rows)]); % 可以在这里加入人工确认或更复杂的判断逻辑 end % 执行删除 data(outlier_rows, :) []; fprintf(已基于Z-score删除 %d 个异常样本行。\n, length(outlier_rows));2.2 基于四分位距IQR的多特征异常检测对于非正态分布或存在多个需要监控的特征IQR法更稳健。我们可以检查每个样本是否在多个特征上同时被判定为异常。% 选择需要检查异常的几个数值型特征列 feature_cols_to_check [2, 3, 7, 8]; outlier_flag_matrix false(size(data, 1), 1); % 初始化异常标志向量 for col feature_cols_to_check current_feature data(:, col); Q1 quantile(current_feature, 0.25); Q3 quantile(current_feature, 0.75); IQR Q3 - Q1; lower_bound Q1 - 1.5 * IQR; upper_bound Q3 1.5 * IQR; % 标记该特征上的异常行 outlier_flag_matrix outlier_flag_matrix | (current_feature lower_bound | current_feature upper_bound); end % 找出在任意被检查特征上出现异常的行 rows_to_remove find(outlier_flag_matrix); data(rows_to_remove, :) []; fprintf(基于IQR多特征检测删除了 %d 个异常样本行。\n, length(rows_to_remove));这种方法比单变量检测更全面能捕捉到在多维度上表现“怪异”的样本。3. 场景三特征工程——删除低价值或高冗余的特征列特征工程是机器学习的灵魂。我们常常从成百上千个原始特征开始但其中许多是无关的、冗余的或噪声。删除这些特征能降低模型复杂度防止过拟合并加速训练。3.1 删除方差过低的特征如果一个特征在所有样本中取值几乎恒定方差接近0它不提供任何区分信息。feature_variance var(data, 0, 1); % 按列计算方差 low_var_threshold 1e-5; % 根据数据尺度设定一个极小阈值 low_var_cols find(feature_variance low_var_threshold); if ~isempty(low_var_cols) fprintf(删除 %d 个低方差特征索引%s。\n, length(low_var_cols), num2str(low_var_cols)); data(:, low_var_cols) []; end3.2 基于相关性的冗余特征删除高度相关的特征如“身高厘米”和“身高米”提供重复信息。我们可以计算特征间的相关系数矩阵并删除那些与其它特征相关性过高的特征。corr_matrix corrcoef(data, Rows, pairwise); % ‘pairwise’忽略缺失值 high_corr_threshold 0.95; cols_to_drop []; for i 1:size(corr_matrix, 2) for j i1:size(corr_matrix, 2) if abs(corr_matrix(i, j)) high_corr_threshold % 简单策略删除后出现的那个特征j也可根据业务重要性选择 if ~ismember(j, cols_to_drop) cols_to_drop [cols_to_drop, j]; end end end end cols_to_drop unique(cols_to_drop); % 执行删除注意删除列后索引会变因此需要从后往前删或一次性处理 data(:, cols_to_drop) []; fprintf(基于高相关性%.2f删除了 %d 个冗余特征列。\n, high_corr_threshold, length(cols_to_drop));3.3 结合封装法的特征选择后删除更高级的方法是使用MATLAB的统计和机器学习工具箱进行特征选择。例如使用fscmrmr最小冗余最大相关性进行排名然后保留Top-N特征实质上是删除排名靠后的特征列。% 假设我们有一个响应变量 Y if exist(Y, var) isequal(size(data,1), length(Y)) [idx, scores] fscmrmr(data, Y); % 获取特征重要性排名和分数 % 决定保留前K个特征 K 30; selected_feature_indices idx(1:K); % 创建一个逻辑索引标记要保留的列 keep_mask false(1, size(data, 2)); keep_mask(selected_feature_indices) true; % 删除未选中的列即保留选中的列 data data(:, keep_mask); fprintf(基于MRMR特征选择保留了 %d 个重要特征。\n, K); end这个过程将行列删除从一种简单的数据修剪提升到了模型驱动的智能降维。4. 场景四样本平衡——针对分类问题的行删除策略在不平衡数据集中如欺诈检测中正常交易远多于欺诈交易直接训练模型会使分类器偏向多数类。除了上采样少数类**对多数类进行欠采样删除行**也是一种直接有效的方法。4.1 随机欠采样这是最直接的方法从多数类中随机删除一部分样本使其数量与少数类接近。% 假设 data 是特征矩阵labels 是对应的类别标签0为多数类1为少数类 majority_class 0; minority_class 1; majority_idx find(labels majority_class); minority_idx find(labels minority_class); n_minority length(minority_idx); n_to_keep n_minority; % 令多数类样本数与少数类相等 % 随机从多数类索引中选取要保留的样本 selected_majority_idx majority_idx(randperm(length(majority_idx), n_to_keep)); % 合并保留的多数类索引和全部少数类索引 all_idx_to_keep sort([selected_majority_idx; minority_idx]); % 通过索引提取数据等效于删除了未被选中的多数类行 data_balanced data(all_idx_to_keep, :); labels_balanced labels(all_idx_to_keep); fprintf(原始数据多数类%d个少数类%d个。\n, length(majority_idx), n_minority); fprintf(欠采样后多数类%d个少数类%d个。\n, n_to_keep, n_minority);4.2 基于聚类中心的欠采样原型选择随机删除可能丢失重要信息。一种更智能的方法是先对多数类样本进行聚类如K-Means然后只保留每个簇的中心点或离中心点最近的样本从而在减少样本量的同时保持原始分布结构。% 使用K-Means对多数类样本聚类 majority_data data(majority_idx, :); K n_minority; % 聚类中心数设为少数类样本数最终使两类数量相等 [cluster_idx, cluster_centers] kmeans(majority_data, K, Replicates, 3); % 找出每个簇中距离中心最近的样本 selected_majority_idx_from_clusters zeros(K, 1); for k 1:K members_of_cluster_k majority_idx(cluster_idx k); members_data_k data(members_of_cluster_k, :); distances pdist2(members_data_k, cluster_centers(k, :)); % 计算到本簇中心的距离 [~, nearest_idx] min(distances); selected_majority_idx_from_clusters(k) members_of_cluster_k(nearest_idx); end % 合并样本 all_idx_to_keep sort([selected_majority_idx_from_clusters; minority_idx]); data_balanced data(all_idx_to_keep, :);这种方法通过行列删除实现了数据分布的“精炼”比简单随机删除更能保留多数类的代表性信息。在实际项目中我通常会将这四种场景串联起来形成一个数据预处理的Pipeline脚本。每次运行新数据集时只需调整几个阈值参数就能自动完成从清洗到平衡的全过程。记住每一次data(rows_to_remove, :) []或data(:, cols_to_remove) []的操作都不是随意为之而是基于明确的数据洞察和模型需求所做的慎重决策。把这些基础操作玩熟练你在数据科学项目中的效率会提升一大截。