Discord Bot集成OpenAI Whisper语音转录的挑战与解决方案

import numpy as np

class WhisperTranscriber:
    def __init__(self, model):
        self.model = model # 假设 self.model 是已加载的OpenAI Whisper模型实例

    def binary_transcribe(self, audio_data_bytes):
        """
        将原始二进制音频数据转换为Whisper可处理的格式并进行转录。

        参数:
            audio_data_bytes: 原始的二进制PCM音频数据。

        返回:
            转录后的文本。
        """
        # 1. 将二进制数据从int16转换为NumPy数组
        # 假设原始数据是16位有符号整数 (int16)
        audio_np_int16 = np.frombuffer(audio_data_bytes, dtype=np.int16)

        # 2. 归一化到-1.0到1.0的浮点数范围，并转换为float32
        # Whisper模型通常期望float32类型，范围在-1.0到1.0之间
        audio_float32 = audio_np_int16.astype('float32') / 32767.0

        # 3. 调用Whisper模型进行转录
        result = self.model.transcribe(audio_float32)

        print("Transcription completed...")
        return result["text"]

# 示例用法 (假设 model 和 audio_data_from_discord 已准备好)
# transcriber = WhisperTranscriber(whisper_model_instance)
# transcribed_text = transcriber.binary_transcribe(audio_data_from_discord)

import numpy as np
import whisperx # 确保已安装 whisperx (pip install whisperx)

# 假设 raw_audio_data_from_discord 是从Discord机器人获取的原始二进制PCM数据
# 并且我们已将其转换为16kHz采样率的float32 NumPy数组
# 如果原始数据不是16kHz，需要先进行重采样

# 原始音频数据准备 (与上述 binary_transcribe 函数中的步骤类似)
# 假设 audio_data_bytes 是从 Discord 获取的原始 int16 PCM 数据
audio_np_int16 = np.frombuffer(audio_data_bytes, dtype=np.int16)
audio_float32_16khz = audio_np_int16.astype('float32') / 32767.0
# 注意：确保 audio_float32_16khz 的采样率是 16kHz。如果不是，需要使用 resampy 或 librosa 进行重采样。

# --- 使用 whisperX 进行优化转录 ---

# 1. 加载 whisperX 模型
# device: "cuda" (如果可用) 或 "cpu"
# compute_type: "float16" (推荐用于GPU) 或 "int8" (用于CPU或内存受限场景)
device = "cuda" if whisperx.is_available_cuda() else "cpu"
compute_type = "float16" if device == "cuda" else "int8"
batch_size = 16 # 根据GPU内存调整，减小可以降低内存占用

print(f"Loading WhisperX model on {device} with compute type {compute_type}...")
model_whisperx = whisperx.load_model("large-v2", device=device, compute_type=compute_type)

# 2. 使用 whisperX 处理音频并进行转录
# whisperX 的 transcribe 方法内部会执行 VAD 预处理
print("Transcribing audio with WhisperX...")
result_whisperx = model_whisperx.transcribe(audio_float32_16khz, batch_size=batch_size)

# 3. 提取转录文本
transcribed_text_whisperx = " ".join([segment["text"] for segment in result_whisperx["segments"]])

print(f"WhisperX Transcription: {transcribed_text_whisperx}")

# 4. (可选) 加载对齐模型以获取词级别时间戳
# model_a, metadata = whisperx.load_align_model(language_code=result_whisperx["language"], device=device)
# result_aligned = whisperx.align(result_whisperx["segments"], model_a, audio_float32_16khz, metadata, device)
# print("Aligned segments with word-level timestamps:")
# for segment in result_aligned["segments"]:
#     print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")