Neural Mix 技术原理——AudioShake 引擎如何实时分离人声、鼓声、器乐

Neural Mix 是什么

Neural Mix™ 是 Algoriddim 的专利技术（US 10,887,033 B1 等多项专利），能够在实时运行中把任意一首歌拆分成三条独立 Stem：

• 🎤 Vocal（人声） —— 主唱、说唱 vocal
• 🥁 Beat（鼓声） —— 底鼓、军鼓、Hi-hat 等打击元素
• 🎹 Instrumental（器乐） —— 剩下的全部：吉他、钢琴、贝斯、弦乐等

你可以在演唱时任意推拉三条 Stem 的音量——保留 instrumental 切去 vocal（等于现场做 karaoke），或者切去鼓声只留 vocal + piano（抒情版），甚至把 Deck 1 的 vocal 和 Deck 2 的 beat 叠在一起做 mashup。

技术演变

Neural Mix 不是 Algoriddim 自己从零做的。djay 5 起，Algoriddim 和 AudioShake（业界公认的 Stem 分离质量领先者）深度合作，把 AudioShake 的引擎嵌入 djay：

AudioShake 模型的优势在于：

1. 多乐器识别：不仅识别 vocal 和 drums，还能单独识别 guitar / piano / strings 等
2. 跨风格泛化：Pop / Rock / Hip-Hop / EDM / Jazz / Classical 通吃，不存在"只适配电子乐"的问题
3. 移动端优化：模型做了量化压缩，在 iPhone 13+ 的 Neural Engine 和 Android 高端芯片上能实时跑

为什么 djay 是唯一一个移动端实时可用的

Serato Pro 的 Stem 2.0（Izotope 引擎）和 rekordbox 的 Stem 也能实时分离，但都仅限桌面端——移动端没有算力资源跑高质量实时分离。djay 之所以能做到全平台，是因为：

1. AudioShake 模型的极致压缩：把原本几百 MB 的模型压到 <30MB 可实时推理
2. 原生芯片加速：Mac 用 Neural Engine、iPhone 用 Bionic、Windows 用 DirectML、Android 用 NNAPI
3. Algoriddim 的实时处理管线优化：让分离结果能在 10ms 内返回给混音器

AI 彩色波形

启用 Neural Mix 后，djay 的波形显示也会变化——每条曲目会显示三条彩色波形，分别对应 vocal / beat / instrumental，实时叠加在同一个视觉区域上：

• 🔵 蓝色波形 = Vocal
• 🟠 橙色波形 = Beat / Drums
• 🟢 绿色波形 = Instrumental

当你在 Neural Mix 面板推拉某条 stem 的音量滑块时，对应颜色的波形高度和透明度会实时变化——视觉上能直接看到你正在操作哪一部分。这是 djay 独有的视觉反馈，其他软件没有。

Crossfader Fusion 联动

Neural Mix 不只是单独一个功能，它还和 Crossfader Fusion™ 联动——Crossfader 在过渡时会自动用 Neural Mix 在两首歌之间交换 stem：

过渡示例：
Deck 1（正在播放）→ Beat 保留 + Vocal 逐渐消失
Deck 2（将要切入）→ Instrumental 先进 + Vocal 稍后跟上
效果：两首歌的 instrumental 和 vocal 在交叉混合，不是简单的音量 fade

这就是 djay 过渡最酷的地方——你不是在"从 A 歌切到 B 歌"，而是在让两首歌的不同 Stem 互相穿移，做出来的 mashup 感是传统 crossfader 做不到的。

局限性

哪些设备能流畅运行 Neural Mix