0

0

如何在 MediaPipe Model Maker 中自定义图像增强类型

霞舞

霞舞

发布时间:2026-01-05 15:05:29

|

680人浏览过

|

来源于php中文网

原创

如何在 MediaPipe Model Maker 中自定义图像增强类型

截至 mediapipe model maker v0.10.9,官方不支持直接配置特定增强操作(如仅保留水平翻转、曝光调整和模糊),其 `do_data_augmentation` 仅为开关式布尔参数,内置增强逻辑固定且不可定制。

MediaPipe Model Maker 的 image_classifier 模块为快速部署提供了便捷封装,但在数据增强(Data Augmentation)层面高度抽象化。当前版本中,HParams(do_data_augmentation=True/False) 仅控制是否启用预设的默认增强流水线,该流水线由底层 ImagePreprocessor 实现,包含且仅包含两项操作:

  • ✅ 随机水平翻转(tf.image.random_flip_left_right)
  • ✅ 随机扭曲裁剪(tf.image.sample_distorted_bounding_box,会破坏原始宽高比,后续缩放可能导致形变)

⚠️ 重要限制说明:

  • ❌ 不支持单独启用/禁用某类增强(例如“只开翻转、关裁剪”);
  • ❌ 官方未实现曝光(exposure)、高斯模糊(blur)、色彩抖动、对比度调整等常见增强;
  • ❌ 无公开 API 或配置项允许传入自定义 tf.keras.layers 或 tf.image 函数链。

替代方案(推荐实践)

若需精确控制增强策略(如仅应用 random_flip_left_right + adjust_exposure + gaussian_blur),有以下两种可行路径:

✅ 方案一:预处理数据集(推荐,简洁安全)

在调用 ImageClassifier.create() 前,对原始训练数据进行离线增强,并将结果保存为新数据集:

AutoDraw
AutoDraw

AutoDraw是一个绘图工具,可以将草图转换成现成的模型图片

下载
import tensorflow as tf
import numpy as np

def custom_augment(image, label):
    # 1. 随机水平翻转
    image = tf.image.random_flip_left_right(image)
    # 2. 调整曝光(模拟 gamma 校正)
    image = tf.image.adjust_gamma(image, gamma=0.8 + tf.random.uniform([]) * 0.4)
    # 3. 添加轻微高斯模糊(需自定义核)
    blur_kernel = tf.constant([
        [1, 2, 1],
        [2, 4, 2],
        [1, 2, 1]
    ], dtype=tf.float32) / 16.0
    blur_kernel = blur_kernel[:, :, tf.newaxis, tf.newaxis]
    image = tf.nn.conv2d(
        tf.expand_dims(image, 0), 
        blur_kernel, 
        strides=1, 
        padding='SAME'
    )[0]
    return tf.clip_by_value(image, 0.0, 255.0), label

# 应用于 tf.data.Dataset
train_data = train_data.map(custom_augment, num_parallel_calls=tf.data.AUTOTUNE)
train_data = train_data.cache().shuffle(1000).batch(32).prefetch(tf.data.AUTOTUNE)

# 创建模型时关闭内置增强
hparams = image_classifier.HParams(
    epochs=100,
    export_dir="exported_model_2",
    do_data_augmentation=False  # ← 关键:避免重复增强
)

⚙️ 方案二:继承并重写核心类(高级,需维护)

通过继承 ImageClassifier 并覆盖 _create_preprocessing_layer() 或修改 ImagePreprocessor 行为实现深度定制。但需注意:

  • 需 fork MediaPipe 仓库并修改源码(如 mediapipe/model_maker/python/vision/core/image_preprocessing.py);
  • 后续升级 Model Maker 时需手动同步变更,维护成本高;
  • 不适用于生产环境快速迭代场景。

总结建议

对于绝大多数项目,预处理数据集(方案一)是更鲁棒、可复现且符合工程最佳实践的选择。它完全绕过框架限制,赋予你对每一步增强的绝对控制权,同时保持与 MediaPipe Model Maker 训练流程的兼容性。务必在增强后关闭 do_data_augmentation,防止双重增强导致分布偏移。未来若 MediaPipe 开放 augmentation_fn 参数或 CustomAugmentationOptions,可再平滑迁移。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

734

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

631

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

752

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1258

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

577

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

705

2023.08.11

漫蛙2入口地址合集
漫蛙2入口地址合集

本专题整合了漫蛙2入口汇总,阅读专题下面的文章了解更多详细内容。

162

2026.01.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号