本文档旨在指导开发者如何使用 Node.js 正确地将文件上传到 Replicate API，特别是在遇到 "Unprocessable Entity" 错误时。我们将探讨 Replicate API 期望的文件格式，并提供详细的代码示例，演示如何将图像和音频文件转换为 Base64 编码的 Data URI 格式，从而成功上传并调用模型。
使用 Node.js 上传文件到 Replicate API
在使用 Replicate API 时，特别是像 SadTalker 这样的模型，需要上传图像和音频文件。直接传递文件路径或使用 fs 模块读取文件内容可能会导致 "Unprocessable Entity" 错误。这是因为 Replicate API 期望文件以 Base64 编码的 Data URI 格式提供。
什么是 Data URI？
Data URI 是一种将小文件直接嵌入到 HTML 或 CSS 中的方法，而无需单独的文件。它使用 data: 协议，后跟 MIME 类型、base64 编码标志和实际的 Base64 编码数据。
例如：data:image/jpeg;base64,/9j/4AAQSkZJRgABA...
实现步骤
-
安装必要的依赖:
确保你已经安装了 replicate 和 dotenv 依赖。可以使用以下命令安装：
npm install replicate dotenv
-
读取文件并转换为 Base64 编码:
使用 fs 模块读取文件内容，并将其转换为 Base64 编码。以下代码片段演示了如何将图像文件转换为 Data URI 格式：
import Replicate from "replicate"; import dotenv from "dotenv"; import { promises as fs } from "fs"; dotenv.config(); async function convertImageToBase64(imagePath) { const data = await fs.readFile(imagePath); const base64 = data.toString("base64"); const mimeType = "image/jpeg"; // 根据你的图片类型更改 const dataURI = `data:${mimeType};base64,${base64}`; return dataURI; } async function convertAudioToBase64(audioPath) { const data = await fs.readFile(audioPath); const base64 = data.toString("base64"); const mimeType = "audio/mp3"; // 根据你的音频类型更改 const dataURI = `data:${mimeType};base64,${base64}`; return dataURI; }注意: 请根据你的文件类型修改 mimeType 变量。
-
调用 Replicate API:
使用转换后的 Data URI 调用 Replicate API。以下代码演示了如何使用 replicate.run 方法：
async function getVideo(inputImageURI, inputAudioURI) { const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "cjwbw/sadtalker:3aa3dac9353cc4d6bd62a8f95957bd844003b401ca4e4a9b33baa574c549d376", { input: { source_image: inputImageURI, driven_audio: inputAudioURI } } ); console.log(output); } -
完整示例代码:
以下是完整的示例代码，演示了如何读取图像和音频文件，将其转换为 Data URI 格式，并调用 Replicate API：
import Replicate from "replicate"; import dotenv from "dotenv"; import { promises as fs } from "fs"; dotenv.config(); async function convertImageToBase64(imagePath) { const data = await fs.readFile(imagePath); const base64 = data.toString("base64"); const mimeType = "image/jpeg"; // 根据你的图片类型更改 const dataURI = `data:${mimeType};base64,${base64}`; return dataURI; } async function convertAudioToBase64(audioPath) { const data = await fs.readFile(audioPath); const base64 = data.toString("base64"); const mimeType = "audio/mp3"; // 根据你的音频类型更改 const dataURI = `data:${mimeType};base64,${base64}`; return dataURI; } async function getVideo(inputImageURI, inputAudioURI) { const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "cjwbw/sadtalker:3aa3dac9353cc4d6bd62a8f95957bd844003b401ca4e4a9b33baa574c549d376", { input: { source_image: inputImageURI, driven_audio: inputAudioURI } } ); console.log(output); } async function main() { const imagePath = "./deepfakeImage.jpg"; const audioPath = "./deepfakeAudio.mp3"; const inputImageURI = await convertImageToBase64(imagePath); const inputAudioURI = await convertAudioToBase64(audioPath); await getVideo(inputImageURI, inputAudioURI); } main();
注意事项
- MIME 类型: 确保使用正确的文件 MIME 类型。常见的 MIME 类型包括 image/jpeg、image/png、audio/mp3 等。
- 文件大小: Data URI 会增加文件的大小，因为它将二进制数据转换为文本格式。对于非常大的文件，建议使用其他上传方法。
- 异步操作: 使用 fs.promises 提供的异步方法，避免阻塞事件循环。
- 错误处理: 在实际应用中，添加适当的错误处理机制，例如使用 try...catch 块捕获异常。
总结
通过将文件转换为 Base64 编码的 Data URI 格式，可以解决在使用 Node.js 上传文件到 Replicate API 时遇到的 "Unprocessable Entity" 错误。本文档提供了详细的代码示例和注意事项，帮助开发者成功地调用 Replicate API 并实现所需的功能。
