理解画中画窗口的交互限制
在现代 web 应用中，将视频内容（包括通过 canvas.capturestream() 生成的动态内容）通过 video.requestpictureinpicture() 投射到独立的画中画窗口已成为一种常见的用户体验增强方式。然而，当开发者尝试为这个浮动窗口添加更复杂的交互功能，例如可点击的按钮或获取鼠标位置时，会遇到显著的限制。
浏览器提供的 PictureInPictureWindow 对象虽然允许开发者监听 resize 事件以响应窗口大小变化，但它并不直接暴露通用的鼠标事件（如 mousedown, mouseup, mousemove 等）。这意味着我们无法像在常规 DOM 元素上那样，直接通过 addEventListener 来捕获用户在 PiP 窗口内的鼠标操作。这种设计主要是出于安全和隐私考虑，以及维持 PiP 窗口作为一种轻量级、非侵入式媒体播放界面的初衷。
MediaSession API：特定交互的解决方案
尽管通用鼠标事件受限，但对于某些常见的媒体相关交互需求，浏览器提供了一个专门的解决方案：MediaSession API。MediaSession API 旨在为 Web 应用程序提供一种标准化的方式，来向操作系统或浏览器报告媒体播放状态，并允许用户通过系统级媒体控件（如通知栏、锁屏界面或耳机按钮）与媒体进行交互。
对于画中画窗口，MediaSession API 的一个重要应用场景是为用户提供媒体控制功能。当一个 HTMLVideoElement 被激活为 PiP 窗口时，如果该视频元素关联了 MediaSession API 的动作处理器，那么这些处理器定义的控制按钮将会在用户鼠标悬停在 PiP 窗口上时自动显示出来。这尤其适用于视频会议、音乐播放器等需要基本媒体控制的场景。
实现媒体控制功能
要为画中画窗口添加媒体控制功能，我们需要利用 navigator.mediaSession.setActionHandler() 方法来注册特定的媒体动作处理器。以下是为视频会议应用添加麦克风静音/取消静音、摄像头静音/取消静音以及挂断功能的示例代码：
// 假设 toggleAudioMuted, toggleVideoMuted, hangup 是已定义的处理函数
// 这些函数负责实际的音频/视频状态切换和会议结束逻辑
// 注册麦克风静音/取消静音动作
navigator.mediaSession.setActionHandler('togglemicrophone', () => {
console.log('麦克风状态切换请求');
toggleAudioMuted();
// 更新 MediaSession 的麦克风活动状态以同步 UI
navigator.mediaSession.setMicrophoneActive(!navigator.mediaSession.microphoneActive);
});
// 注册摄像头静音/取消静音动作
navigator.mediaSession.setActionHandler('togglecamera', () => {
console.log('摄像头状态切换请求');
toggleVideoMuted();
// 更新 MediaSession 的摄像头活动状态以同步 UI
navigator.mediaSession.setCameraActive(!navigator.mediaSession.cameraActive);
});
// 注册挂断动作
navigator.mediaSession.setActionHandler('hangup', () => {
console.log('挂断请求');
hangup();
});
// 示例：更新 MediaSession 的活动状态以反映当前状态
// 这有助于 PiP 窗口上的图标正确显示（例如，静音图标）
// 假设 initialAudioMuted 和 initialVideoMuted 是当前状态
navigator.mediaSession.setMicrophoneActive(!initialAudioMuted);
navigator.mediaSession.setCameraActive(!initialVideoMuted);
// 注意：在实际应用中，toggleAudioMuted 和 toggleVideoMuted 函数
// 应该负责更新应用程序内部的静音状态，并相应地调用
// navigator.mediaSession.setMicrophoneActive() 和 navigator.mediaSession.setCameraActive()
// 来确保 PiP 窗口上的图标与应用程序状态同步。当上述代码被执行后，用户将会在画中画窗口上鼠标悬停时看到相应的控制按钮。例如，对于视频会议应用，可能会显示麦克风、摄像头和挂断图标。点击这些图标将触发注册的 JavaScript 函数，从而实现预期的功能。
注意事项与局限性
- 非通用鼠标事件替代方案： MediaSession API 并非用于获取任意鼠标位置或处理复杂点击区域的通用解决方案。它仅限于提供预定义的媒体相关控制动作。如果你的交互需求超出了这些预定义动作，那么在 PiP 窗口中直接实现这些交互目前是不支持的。
- 用户体验： 这些控制按钮通常只在用户鼠标悬停在 PiP 窗口上时才会显示，并且其样式和位置由浏览器控制，开发者无法自定义。
- 状态同步： 为了确保 PiP 窗口上的控制图标（例如，麦克风静音/非静音状态）与应用程序的实际状态保持同步，开发者需要在使用 setActionHandler 后，通过 navigator.mediaSession.setMicrophoneActive() 和 navigator.mediaSession.setCameraActive() 等方法及时更新 MediaSession 的状态。
- 浏览器兼容性： MediaSession API 的支持情况在不同浏览器和操作系统之间可能存在差异。在部署前，建议查阅 MDN Web Docs 或 W3C 规范以了解最新的兼容性信息。
总结
尽管浏览器画中画窗口在通用交互性方面存在限制，但 MediaSession API 为特定的媒体控制需求提供了一个优雅且标准化的解决方案。通过利用 setActionHandler，开发者可以为视频会议、媒体播放等应用场景在 PiP 模式下提供必要的交互功能，从而显著提升用户体验。在设计 PiP 模式下的交互时，应首先考虑 MediaSession API 是否能满足需求，如果不能，则需接受当前技术栈的局限性。
欲了解 MediaSession API 的更多细节，请参考以下资源：
- W3C MediaSession 规范：https://www.php.cn/link/c9c824652337e9217278c040b326e9a9
- MDN Web Docs - MediaSession API：https://www.php.cn/link/ba1ded3b4a24fb934f53571fb56151d6
