最近我需要弄清楚另一件事，将我的 assembly.ai 转录引擎连接到一个声音很大的前端。
这是我尝试过的：
- 请求具有回声消除功能的麦克风访问权限。
- 使用 web audio api 设置音频处理链。
- 将此设置与语音识别集成。
- 利用 dynamicscompressornode 进行额外的音频处理。
第 1 步：请求使用回声消除功能的麦克风访问权限
第一步是请求访问启用了回声消除功能的麦克风。此功能内置于大多数现代浏览器中，有助于减少扬声器的反馈。
async function getmicrophonestream() {
const constraints = {
audio: {
echocancellation: true,
noisesuppression: true,
autogaincontrol: true
}
};
try {
const stream = await navigator.mediadevices.getusermedia(constraints);
return stream;
} catch (err) {
console.error('error accessing the microphone', err);
return null;
}
}
解释
- 约束：我们指定音频约束以启用回声消除、噪声抑制和自动增益控制。
- 错误处理：如果用户拒绝访问或存在任何其他问题，我们会捕获并记录错误。
第 2 步：设置 web 音频 api 节点
接下来，我们设置 web audio api 来处理音频流。这涉及创建 audiocontext 并连接各种节点，包括 dynamicscompressornode。
async function setupaudioprocessing(stream) {
const audiocontext = new audiocontext();
const source = audiocontext.createmediastreamsource(stream);
// create a dynamicscompressornode for additional processing
const compressor = audiocontext.createdynamicscompressor();
compressor.threshold.setvalueattime(-50, audiocontext.currenttime); // example settings
compressor.knee.setvalueattime(40, audiocontext.currenttime);
compressor.ratio.setvalueattime(12, audiocontext.currenttime);
compressor.attack.setvalueattime(0, audiocontext.currenttime);
compressor.release.setvalueattime(0.25, audiocontext.currenttime);
// connect nodes
source.connect(compressor);
compressor.connect(audiocontext.destination);
return { audiocontext, source, compressor };
}
解释
- audiocontext：代表音频环境。
- mediastreamsource：将麦克风流连接到音频上下文。
- dynamicscompressornode：降低音频信号的动态范围，有助于管理背景噪音和反馈。
第 3 步：与语音识别集成
最后，我们将音频处理设置与 web speech api 集成以执行语音识别。
async function startSpeechRecognition() {
const stream = await getMicrophoneStream();
if (!stream) return;
const { audioContext, source, compressor } = await setupAudioProcessing(stream);
const recognition = new (window.SpeechRecognition || window.webkitSpeechRecognition)();
recognition.continuous = true;
recognition.interimResults = true;
recognition.onresult = (event) => {
for (let i = event.resultIndex; i < event.results.length; i++) {
const transcript = event.results[i][0].transcript;
console.log('Transcript:', transcript);
}
};
recognition.onerror = (event) => {
console.error('Speech recognition error', event.error);
};
recognition.start();
// Handle audio context resume if needed
if (audioContext.state === 'suspended') {
audioContext.resume();
}
return recognition;
}
// Start the speech recognition process
startSpeechRecognition();
解释
- 语音识别设置：我们设置了 web speech api 以进行连续和临时语音识别。
- 事件处理：我们处理onresult和onerror事件来处理识别结果和错误。
- 开始识别：我们开始语音识别过程并确保音频上下文不会暂停。
希望您发现这很有用。
快乐编码！
蒂姆.
