0

0

机器学习之模型管理:集成建模

PHPz

PHPz

发布时间:2023-05-01 19:13:04

|

1369人浏览过

|

来源于51CTO.COM

转载

​译者 | 崔皓

审校 | 孙淑娟

开篇

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

机器学习之模型管理:集成建模

机器学习被企业应用到不同的业务场景解决不同的业务问题,随着机器学习的广泛应用也让组织在选择学习方法时不堪重负。 

很多组织在机器学习的应用中使用了高级和经典的学习方法。有大家熟悉的监督学习和无监督学习二分法,还有例如对比学习、强化学习和自我监督学习等机器学习的新兴变体。

此外,还有涉及图形分析、深度神经网络、分割、行为分析和其他技术。当面对大规模复杂业务问题时——例如加强反洗钱措施从而打击金融犯罪——组织如何决定使用哪种机器学习的方法呢?

使用集成建模,让这个问题变得不那么重要了。这种机器学习方法使组织能够利用各种模型并将它们与预测准确性结合起来,从而获得最佳结果。

这种方法帮助金融服务、欺诈检测和网络安全中的高维数据提供完整上下文。使用集成建模的组织表示“集成建模让模型的建立更加多样化“,Resistant AI首席执行官Martin Rehak 承认,“我们并不希望单一模型一枝独秀。”

使用模型的多样性使组织能够用不同的算法来评估业务问题的各个方面,以便采用完全知情的、一致的决策方法——这些方法是可以解释的。

基于共识的模型决策

前面提到的集成建模的原理是毋庸置疑的,数据科学家无需花费大量时间来为业务案例设计完美的模型,只需要将那些不完美的模型组合起来产生预测能力。“当你以集成方法看待机器学习时,你会从小型算法中做出决策,”Rehak 指出。“而且,在我们的案例中,这些算法是针对每笔交易动态组合的,以便做出最佳决策。” 更重要的是,也许这些模型中的每一个都可以专注于某一个垂直领域,例如识别洗钱事件。

例如,一种模型只专注于交易的规模。另一个模型专注于交易的位置。不同的模型可以检查出哪些特定参与者参与了交易。目标是“没有出现任何峰值”的情况,Rehak 解释说。“模型的分布非常平坦,与模型对应的证据页相对较弱。通过结合许多弱证据元素,就能够做出更强有力的决定。” 另一个好处是,通过经典的机器学习和更简单的模型,将模型投入生产所需的训练数据(和注释)减少。这样的模型比需要大量训练数据的深度神经网络更容易解释。 

上下文建模

将 Rehak 所描述的分布平坦的建模方式与其他集成建模技术区分开来是很重要的。最常见的集成建模示例涉及 bagging 或boosting​(后者可能需要 Xtreme Gradient Boosting)。随机森林是一个基于不同决策树组合的提升示例。使用这种方法,“你可以根据集合中的先前版本一个一个地构建集合,”Rehak 评论道。尽管它是一种快速构建具高预测准确性的模型方法,但它存在过度拟合的风险(由于训练数据集太小,导致模型变得不太适用于生产数据)。

富兰氏手机商城系统源码 2011
富兰氏手机商城系统源码 2011

全国首个为手机行业定制的网站,外观豪华、时尚。DIV+CSS构建,符合W3C标准,完美搜索引擎优化迅速提高搜索引擎排名,稳定性、执行效率、负载能力均居国内同类产品领先地位。安装简单,傻瓜式操作,在线下单、支付、发货,轻松管理网站。 多套模板更换,界面更加豪华 完美搜索引擎优化 集成支付宝、财付通、网银等多种在线支付平台 手机、配件商品不同颜色、型号不同价格设置 图片化多种参数设置、搜索、评论 新闻

下载

Rehak 的集成方法更适合 AML 用例,因为它基于影响这些事件的上下文。“如果您询问洗钱专家交易是否恶意,他们首先是查看账户的历史以及该人过去的行为方式,”雷哈克说。通过他的方法,与地理位置、时间、相关方和金融机构等相关因素,使用单独的机器学习模型进行检查。只有将这些模型的每个结果组合在一起,人工智能系统才能确定是否存在犯罪交易,通过这种做法的误报会明显减少。“通过机器学习可以解释大多数异常值,否则海量的异常值会淹没反洗钱团队,”雷哈克说。

决策边界 

在用例进行集成建模时,使用超过 60 个模型针对分析交易的不同方面进行建模是常见的事情。集成方法的实时结果非常适合这种应用场景。“这 60 种算法中的一种可以将所有内容分割成段,然后对每秒平均事务大小进行建模,”Rehak 透露。“我们可以有数千个片段,这些片段都是同时动态更新的。”

由于将大量模型整合到集合中,每个模型都会评估交易的不同方面从而发现潜在的犯罪行为,除此之外再不能创建更全面的方法了。Rehak 透露:“我们从多个角度看待你,以至于塑造你行为的同时让你避免所有这些犯罪行为变得非常困难。”“因为,为了不被识别出来,“犯罪分子”需要避免的不止一个决策边界,而是大量动态的决策边界。这些算法中的每个模型都是独立学习的,然后我们将它们组合在一起。”

可解释的人工智能 

这些集合如何增强可解释性以及所对应的许多方面。 首先,他们没有过度依赖先进的机器学习,只包含简单、更可解释的算法(涉及传统机器学习)。这些模型成为评估交易犯罪的基石。“当我们说某件事很重要时,我们可以告诉你原因,”雷哈克说。“我们可以告诉你哪些指标表明了这一点。我们可以针对为每个发现写一份报告,指出由于这些因素会造成交易犯罪的高风险。” 尽管每种算法都专注于特征,但并非所有算法在模型中都具有相同的权重。一般而言,涉及图形分析(擅长检查关系)的算法​​比其他模型具有更大的权重。

模型不仅可以解释可疑的行为,也可以告诉你异常值出现的原因。“通常我们在集成中有四到五个占主导地位的算法,也就是说当我相信这是一个异常值时由于有算法的支撑,其他人也会表示同意,”Rehak 指出。“而且,我们有四五个触发因素,这就保证了在某种程度上使结果更偏向于异常。” 由于单个模型仅评估交易中的一个因素,因此它们提供了分数的可解释性和单词的可解释性。“因为我们知道集合,知道微分段,还知道交易量,我们可以很容易地在分数旁边通过问题显示这些信息,而交易量对一家公司的财务部门非常重要,”雷哈克补充道。

集成模式

最终,集成建模的使用效果超过了任何一种应用程序,尽管它对 AML 活动有巨大的帮助。如果应用得当,该技术可以提高可解释性,同时减少解决业务关键问题所需的训练数据和注释数量。

集成建模利用各种数据科学技术来解决多种业务问题,而不是将问题限制在一个或两个。因此,这种集成解决问题的方法可能会成为AI 部署的典型代表。

译者介绍

崔皓,51CTO社区编辑,资深架构师,拥有18年的软件开发和架构经验,10年分布式架构经验。曾任惠普技术专家。乐于分享,撰写了很多热门技术文章,阅读量超过60万。《分布式架构原理与实践》作者。

原文标题:​Machine Learning Model Management: Ensemble Modeling​

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

319

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

228

2023.10.07

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

387

2023.08.14

人工智能在生活中的应用
人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容,供大家免费下载体验。

401

2023.08.17

人工智能的基本概念是什么
人工智能的基本概念是什么

人工智能的英文缩写为AI,是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

289

2024.01.09

人工智能不能取代人类的原因是什么
人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

620

2024.09.10

Python 人工智能
Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用,系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例(如房价预测、图像分类、文本情感分析),帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

32

2025.10.21

人工智能在生活中的应用
人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容,供大家免费下载体验。

401

2023.08.17

vlookup函数使用大全
vlookup函数使用大全

本专题整合了vlookup函数相关 教程,阅读专题下面的文章了解更多详细内容。

26

2025.12.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Node.js 教程
Node.js 教程

共57课时 | 7.6万人学习

CSS3 教程
CSS3 教程

共18课时 | 4.1万人学习

Rust 教程
Rust 教程

共28课时 | 3.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号