0

0

PHP PDO实现CSV文件导入MySQL:常见错误与最佳实践

DDD

DDD

发布时间:2025-07-15 20:24:18

|

1074人浏览过

|

来源于php中文网

原创

PHP PDO实现CSV文件导入MySQL:常见错误与最佳实践

本教程详细介绍了如何使用PHP的PDO扩展将CSV文件数据导入MySQL数据库。文章从建立数据库连接、处理CSV文件、构建预处理语句等方面逐步讲解,并特别指出并纠正了在PDO预处理语句中常见的参数占位符语法错误。此外,教程还提供了增强代码健壮性的最佳实践,包括事务管理、错误处理以及针对大文件的优化策略,旨在帮助开发者高效、安全地完成数据导入任务。

1. 引言:使用PHP导入CSV数据到MySQL

在web开发中,将外部数据(如csv文件)导入到数据库是常见的需求。php结合mysql数据库以及pdo(php data objects)扩展,提供了一种安全高效的方式来完成这项任务。pdo的预处理语句机制不仅可以防止sql注入攻击,还能提高重复执行相同sql语句的效率。本教程将引导您完成整个导入过程,并着重讲解一个在预处理语句中常犯的语法错误及其解决方案。

2. 数据库连接设置

首先,我们需要建立与MySQL数据库的连接。使用PDO连接数据库是推荐的做法,因为它提供了统一的API接口和强大的错误处理机制。

 PDO::ERRMODE_EXCEPTION,    // 设置错误模式为抛出异常
            PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,        // 设置默认的查询结果获取模式
            PDO::ATTR_EMULATE_PREPARES   => false,                     // 禁用模拟预处理,使用真正的预处理语句
        ]
    );
    // 开启事务,确保数据导入的原子性
    $pdo->beginTransaction();

} catch (PDOException $ex) {
    // 捕获PDO连接或数据库操作异常
    exit("数据库连接或操作失败: " . $ex->getMessage());
} catch (Exception $ex) {
    // 捕获其他通用异常
    exit("发生未知错误: " . $ex->getMessage());
}

// ... 后续CSV处理和数据导入逻辑
?>

注意事项:

  • PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION:这是非常重要的设置,它会使PDO在遇到错误时抛出PDOException,便于我们捕获和处理。
  • PDO::ATTR_EMULATE_PREPARES => false:禁用模拟预处理可以确保PDO将SQL语句和参数分开发送到数据库服务器,从而利用数据库自身的预处理功能,提高安全性和性能。
  • $pdo->beginTransaction();:在开始导入大量数据前开启事务是最佳实践。如果导入过程中出现任何错误,可以回滚所有已执行的插入操作,保持数据一致性。

3. 处理CSV文件上传与读取

在PHP中,处理CSV文件通常涉及到文件上传和文件内容的读取。

关键函数 fgetcsv():fgetcsv() 函数用于从文件指针中读取一行并解析为CSV字段。它非常灵活,可以指定分隔符、Enclosure(包围符)和Escape(转义符)。 在示例CSV数据 BGYR002217;FK-066 中,字段之间使用的是分号(;)作为分隔符,而不是默认的逗号(,)。因此,在使用 fgetcsv() 时,必须明确指定分隔符。

// ... (文件打开代码)

// 准备SQL插入语句,并注意占位符的正确语法
$stmt = $pdo->prepare("INSERT INTO users (szam, forras_szam) VALUES (?, ?)");

$rowCount = 0;
// 循环读取CSV文件的每一行
// 注意:fgetcsv的第三个参数是分隔符,这里指定为分号';'
while (($row = fgetcsv($fh, 0, ';')) !== false) {
    // 简单的行数据校验:确保行有足够的元素
    if (count($row) < 2) {
        error_log("跳过无效CSV行 (元素不足): " . implode(',', $row));
        continue; // 跳过此行并处理下一行
    }

    try {
        // 执行预处理语句,将CSV行数据绑定到占位符
        $stmt->execute([$row[0], $row[1]]);
        $rowCount++;
    } catch (PDOException $ex) {
        // 记录插入失败的行和错误信息,可以选择继续或中断
        error_log("插入数据失败,行内容: " . implode(',', $row) . " - 错误: " . $ex->getMessage());
        // 如果希望在任何错误时都回滚并停止,可以取消注释以下两行
        // $pdo->rollBack();
        // exit("数据插入失败,已回滚所有操作: " . $ex->getMessage());
    }
}
fclose($fh); // 关闭文件句柄

// ... 后续事务提交和完成信息

4. PDO预处理语句中的常见错误及纠正

原始代码中存在一个常见的语法错误:

立即学习PHP免费学习笔记(深入)”;

$stmt = $pdo->prepare("INSERT INTO users (szam, forras_szam) VALUES (?;?)");

问题在于 VALUES (?;?)。在PDO的预处理语句中,问号 ? 是用于占位符的,它们之间不应该有其他字符(除非是命名占位符如 :name)。分号 ; 在SQL中通常表示语句的结束,在这里会破坏占位符的识别。

正确的语法应该是:

蛙蛙写作——超级AI智能写作助手
蛙蛙写作——超级AI智能写作助手

蛙蛙写作辅助AI写文,帮助获取创意灵感,提供拆书、小说转剧本、视频生成等功能,是一款功能全面的AI智能写作工具。

下载
$stmt = $pdo->prepare("INSERT INTO users (szam, forras_szam) VALUES (?, ?)");

每个问号代表一个独立的参数占位符,它们之间用逗号 , 分隔,就像SQL的 VALUES 子句中列值之间用逗号分隔一样。

5. 完整的导入脚本示例

结合上述所有部分,一个健壮的CSV导入脚本示例如下:

 PDO::ERRMODE_EXCEPTION,
            PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
            PDO::ATTR_EMULATE_PREPARES   => false,
        ]
    );
    $pdo->beginTransaction(); // 开启事务

    // 2. 检查文件上传
    if (!isset($_FILES["upcsv"]) || $_FILES["upcsv"]["error"] !== UPLOAD_ERR_OK) {
        throw new Exception("文件上传失败或未选择文件。错误码: " . ($_FILES["upcsv"]["error"] ?? 'N/A'));
    }

    // 3. 打开上传的CSV文件
    $fh = fopen($_FILES["upcsv"]["tmp_name"], "r");
    if ($fh === false) {
        throw new Exception("无法打开上传的CSV文件。");
    }

    // 4. 准备SQL插入语句 (注意:VALUES (?, ?) 是正确的语法)
    // 假设数据库中有一个名为 'users' 的表,包含 'szam' 和 'forras_szam' 两列
    $stmt = $pdo->prepare("INSERT INTO users (szam, forras_szam) VALUES (?, ?)");

    $rowCount = 0;
    // 5. 循环读取CSV文件的每一行并插入数据
    // 注意 fgetcsv 的第三个参数是分隔符,根据示例数据应为分号 ';'
    while (($row = fgetcsv($fh, 0, ';')) !== false) {
        // 简单的行数据校验:确保行有足够的元素
        if (count($row) < 2) {
            error_log("跳过无效CSV行 (元素不足或格式不正确): " . implode(';', $row));
            continue;
        }

        try {
            // 执行预处理语句,绑定CSV行数据
            $stmt->execute([$row[0], $row[1]]);
            $rowCount++;
        } catch (PDOException $ex) {
            // 记录错误,可以选择回滚并退出,或继续处理下一行
            error_log("插入数据失败,行内容: " . implode(';', $row) . " - 错误: " . $ex->getMessage());
            // 如果希望在遇到第一个错误时立即停止并回滚:
            $pdo->rollBack();
            exit("数据插入失败,已回滚所有操作: " . $ex->getMessage());
        }
    }
    fclose($fh); // 关闭文件句柄

    // 6. 提交事务
    $pdo->commit();
    echo "数据导入完成。共成功导入 " . $rowCount . " 条记录。";

} catch (PDOException $ex) {
    // 捕获PDO相关的异常,并尝试回滚事务
    if (isset($pdo) && $pdo->inTransaction()) {
        $pdo->rollBack();
    }
    exit("数据库操作失败: " . $ex->getMessage());
} catch (Exception $ex) {
    // 捕获其他通用异常
    exit("操作失败: " . $ex->getMessage());
}
?>

为了让上述PHP脚本能够运行,您还需要一个简单的HTML表单来上传CSV文件:




    
    CSV文件导入


    

上传CSV文件导入到MySQL



将上述HTML代码保存为 index.html,PHP代码保存为 import.php,确保它们在同一个目录下,并在您的Web服务器(如Apache或Nginx)上运行。

6. 进阶考虑与最佳实践

  • 数据验证: 在实际应用中,您需要在 fgetcsv 读取数据后,对 $row 中的每个字段进行严格的验证(例如,数据类型、长度、格式等),以确保数据的完整性和正确性。
  • 大型CSV文件: 对于非常大的CSV文件(例如,几十万甚至上百万行),PHP脚本可能会遇到内存限制或执行超时。在这种情况下,可以考虑以下替代方案:
    • 分批处理: 逐行读取并插入,但每次提交一定数量的行(例如1000行)作为一个事务。
    • LOAD DATA INFILE: 这是MySQL提供的专门用于从文件高效导入数据的SQL语句。它通常比通过PHP逐行插入快得多,并且可以处理非常大的文件。缺点是需要文件在服务器上可访问,并且需要相应的MySQL权限。
      LOAD DATA INFILE '/path/to/your/file.csv'
      INTO TABLE users
      FIELDS TERMINATED BY ';' -- 指定字段分隔符
      ENCLOSED BY ''          -- 如果字段没有被引号包围,则留空
      LINES TERMINATED BY '\n' -- 行结束符,Windows可能是'\r\n'
      (szam, forras_szam);    -- 指定列名

      您可以通过PHP执行这条SQL语句,但需要确保CSV文件位于MySQL服务器可以访问的路径,并且MySQL用户拥有 FILE 权限。

  • 用户界面反馈: 在实际应用中,您应该向用户提供更友好的进度反馈和错误提示,而不是简单的 exit() 或 echo "DONE."。
  • 日志记录: 将错误和警告信息记录到日志文件(如 error_log())中,而不是直接输出到浏览器,这对于调试和生产环境的监控至关重要。

7. 总结

通过本文,您应该已经掌握了如何使用PHP PDO将CSV数据导入MySQL数据库,并了解了PDO预处理语句中占位符的正确用法。记住,在进行数据导入时,不仅要关注代码的功能性,更要注重其健壮性、安全性和性能,特别是通过事务管理、错误处理和选择合适的导入策略来应对不同规模的数据。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2291

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

1505

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

1403

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

951

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

1413

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

1233

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1444

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1304

2023.11.13

Golang 分布式缓存与高可用架构
Golang 分布式缓存与高可用架构

本专题系统讲解 Golang 在分布式缓存与高可用系统中的应用,涵盖缓存设计原理、Redis/Etcd集成、数据一致性与过期策略、分布式锁、缓存穿透/雪崩/击穿解决方案,以及高可用架构设计。通过实战案例,帮助开发者掌握 如何使用 Go 构建稳定、高性能的分布式缓存系统,提升大型系统的响应速度与可靠性。

27

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.7万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 785人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号