达芬奇解决方案的AI语音隔离改变了视频编辑游戏。以下是你需要知道的。
回到2017年，我发现自己沉浸在我的网络系列剧《流浪汉》的制作中。作为一名单独工作的独立电影制作人，我在一次拍摄过程中遇到了重大挫折。遗憾的是，我没有密切注意我的现场混音器上的增益旋钮，导致捕获的音频非常低。当我在后期制作时试图增加音量时，它也放大了远处道路上不想要的噪音和附近鸟儿的鸣叫声。
为了寻求解决方案，我求助于一位碰巧是音频专家的朋友，他试图修复文件。当时，回到2017年，这是我们不得不接受的最终结果。它还可以，但总体音频清晰度有明显的下降。
快进到2023年，我们拥有DaVinci Resolve的AI语音隔离的令人难以置信的力量。当我将这项技术应用于同样有问题的音频文件时，结果是令人兴奋的，正如你在视频中听到的那样。
如果你不熟悉DaVinci Resolve的语音隔离工具，它是在Resolve 18中引入的，语音隔离插件可以消除现有语音记录中的嘈杂和不受欢迎的声音。它是由人工智能技术驱动的，所以你需要一个好的GPU来获得流畅的播放。
效果确实令人印象深刻，使您能够将对话与录音中的背景噪音隔离开来。这包括各种各样的声音，如空调、风扇、风钻、餐厅氛围，甚至是与扬声器的声音一起播放的同步音乐。事实上，我们的Instagram Reel Maker在一段我已经删除了干净音频的视频中使用了它。哪个卷轴好吧，你永远不会知道。
因此，目睹了这一非凡的进步，让我开始思考。考虑到隔音通常涉及的大量准备工作，如消音设备、使用消声材料，以及安排拍摄远离飞机噪音，我开始质疑，当涉及到声音时，我们是否仍然需要过于谨慎。想想看。在过去的几年里，我慢慢地移除了2010年时放在我的齿轮包里的工具。
灰色卡片；消失了。
和滤镜；消失了。
见鬼，在一些拍摄中，即使是身体稳定器也取代了值得信赖的旧肩部装备。
怀着这种好奇心，我今天踏上了探索这个问题的旅程。
虽然我们的文章努力提供全面的信息，但观看教程视频以掌握这些听觉示例是至关重要的。
音频模糊与人工智能声音去除
现在，让我们深入探讨防风与开放麦克风的话题。为了测试人工智能语音隔离，我们在一个刮风的日子冒险来到当地的一段海岸线。我们的目标是确定这项技术是否可以消除对软式飞艇的需求--一种类似于大的中空的药丸状笼子的麦克风盖。这种特殊的盖子在麦克风周围创造了一个静止的空气腔，防止了振动，在具有挑战性的天气条件下尤其有用。
如果没有软式飞艇，风力无疑是压倒一切的，导致音频无法使用。然而，一旦使用了软式飞艇，几乎就像风不复存在一样。就好像根本没有风一样。声音变得非常清晰和不受干扰。
我们好奇地想看看人工智能的能力在行动中，我们将音频导入到DaVinci Resolve中，看看是否可以在没有软式飞艇的情况下完全消除风。不幸的是，结果并不令人满意。在这种情况下，由于风力的巨大威力，人工智能算法很难区分风和声音。因此，当在多风的地点拍摄时，人工智能可能不会提供什么帮助。
在这种情况下，明智的做法是依靠其他健全的保护措施，而不是仅仅依靠人工智能技术。
背景噪声与人工智能声音去除
继续我们在同一地点的旅程，沿着小路只需几分钟，就有一个风力较小的地点；然而，在背景中，我们可以听到一个农民全神贯注地工作，很可能是在操作拖拉机等机械。机器产生的噪音相当突出，麦克风将其拾取。
鉴于我们使用的是带有狭窄拾取模式的猎枪麦克风，一个简单的解决方案就出现了：我们可以要求受试者重新定位，以便麦克风面向远离背景噪音。通过这样做，我们可以有效地将噪声干扰降到最低。事实上，我们可以听到它的工作-拖拉机的噪音变得足够低。
然而，如果我们所处的位置不可能做到这一点，或许我们真的需要看到拖拉机方向上被摄体后面的风景。或者，也许我们需要在这个特定的时间拍摄，因为光线条件。
那么，让我们来看看在这种情况下，人工智能是如何处理拖拉机噪音的去除的。值得注意的是，它表现得相当好。事实上，在背景中根本很难检测到拖拉机的噪音。因此，在这种时间至关重要的情况下，我们现在可以选择在后期制作中纠正这些问题。正如我们在导言中看到的那样，它甚至可以很好地去除不需要的自然声音。
如果你正在创作一部恐怖短片，并且你的主题设定在野外，那么早晨鸟儿的美妙声音将会对你的场景基调产生更好的预兆。然而，您现在可以使用此工具删除这些元素，而不是启动一个ADR会话，然后加载Foley。
但是，在去除语音音频中的背景噪音时，有时需要权衡取舍。声音可能会变得略有压缩，听起来空洞。为了阐明这一现象，我们咨询了我们的常驻音频专家，他们分享了以下见解：在视频中，听例子。
在去除语音音频中的噪音时，由于两个主要原因，声音质量可能会受到不利影响。首先，当噪声去除设置过于激进时，会发生过度处理，从而导致去除噪声和部分原始语音信号。这种过度的处理可能会导致听起来低沉、中空或单薄的音频。其次，真实世界音频的复杂性和变化性存在固有的局限性。
不同类型的噪声，例如恒定的背景嗡嗡声、突然的突发或重叠的语音，在准确地将噪声与所需的语音信号分离方面提出了挑战。因此，在降噪和保持原始音频质量之间实现最佳平衡成为算法面临的挑战。
了解这些因素有助于我们在降噪和保持所需音频质量之间找到微妙的平衡。
考虑到前面提到的几点，投资高质量的设备或将自己定位在远离干扰噪音的地方无疑是切实可行的。然而，在紧要关头，AI语音隔离工具肯定提供了一个很好的替代ADR的选择。这确保了固定音频捕获全范围的声音频率。
室内噪声与人工智能消声
因此，我们探讨了在户外环境中遇到的一些挑战，但室内位置又如何呢
在这个场景中，我们的对象位于一个正在运行的冰箱附近，在背景中引发了可听到的电子嗡嗡声。理想情况下，我们要么关掉冰箱，要么把女演员放在远离来源的地方，以减轻噪音。当我们关掉冰箱时，音频变得完美--没有任何不想要的嗡嗡声。但是，当冰箱打开时，背景中仍然有明显的嗡嗡声。在这一点上，我们通常会使用DeHum工具，该工具通常可以在各种非线性编辑软件中找到。虽然从该工具获得的结果总体上是不错的，但它们需要调整多个参数才能达到某种程度上令人满意的结果。
现在，不同寻常的部分来了。通过使用DaVinci Resolve的AI语音隔离，嗡嗡声几乎立即消除。事实证明，人工智能技术在这种情况下非常有效，成功地消除了不想要的噪音，并产生了干净的音频。
尽管如此，如果我们将烤箱的抽气扇添加到场景中，而人工智能可以移除不需要的噪音，对话似乎处理得太多了，再次给我们带来了空洞的声音。
结论
近几个月来，AI电影制作和摄影工具涌入市场。不幸的是，这些工具中的大多数结果并不令人印象深刻，或者根本不能令人满意。然而，Resolve中有一个突出的工具值得特别提及--语音隔离功能。它的能力是非同寻常的，因为它有效地消除了许多不需要的背景声音。我相信它很快就会成为业余电影制作人工作流程中的标准组成部分。
尽管如此，重要的是要注意到该工具确实有其局限性。假设你的拍摄对象在一个多风的环境中，或者在一场摇滚音乐会上坐在扩音器附近。在这种情况下，它无法通过将语音信号与周围的刺耳声音隔离来创造奇迹。
此外，根据不想要的噪音的严重程度，对说话人的声音进行处理可能会带来不希望看到的效果，需要配音或大量的后期制作工作来恢复质量。
