beta / producto propio
Caso — Producto Propio · Streaming / Medios

Un streamer que habla un idioma y su audiencia lo escucha en otro, con su propia voz

De transmitir en un solo idioma a emitir con voz clonada traducida, retrasando el video exactamente lo que tarda la IA para que labios y voz coincidan. Plugin nativo de OBS publicado y un ecosistema de cuatro apps.

Cliente
Producto propio — ecosistema VØXORA
Mi rol
Arquitectura, desarrollo y producto
Periodo
2026 · plugin OBS publicado en tryvoxora.live
Usuario
Streamers y creadores que transmiten con OBS
Equipo
ialabs
Stack
Plugin OBS (DLL C++) · Electron + Express · Groq Whisper · LLM · ElevenLabs · Supabase
1,6–3,0 s
Latencia de punta a punta modelada: detección de voz, transcripción, traducción y voz clonada
fuente: modelo de latencia documentado
α = 0,15
Suavizado EWMA del retardo: el video no salta cuando la red varía
fuente: algoritmo de compensación
AES-256-GCM
API local de doblaje cifrada entre la app y OBS
fuente: suite de pruebas de la API
4 apps
Escritorio, plugin OBS, extensión y portal en un monorepo
fuente: github.com/mateopiza/voxora-streaming
EXP-02 ficha de experimento · v0.1
beta / producto propio
01 · hipótesis Si el video se retrasa exactamente lo mismo que tarda el audio traducido, entonces la audiencia percibe una transmisión sincronizada aunque el pipeline de IA tenga latencia.
02 · método El plugin lee el retardo actual del pipeline y lo aplica a la fuente de video con obs_source_set_async_delay_ns(), suavizado con EWMA para absorber la variación de red.
03 · resultado Sincronización perceptual natural de labios y voz traducida sin exigir latencia cero al modelo de IA.
04 · siguiente iteración Desktop App que reemplaza OBS y elimina la necesidad de un monitor humano.
repositorio público · responsable Mateo Piza · evidencia: github.com/mateopiza/voxora-streaming
01 — El problema

La barrera del idioma en la transmisión en vivo

Un creador que transmite en un idioma pierde a toda la audiencia que no lo habla. Los subtítulos automáticos existen, pero leer no es lo mismo que escuchar: la conexión primordial del streaming es la voz.

El doblaje humano en vivo es prohibitivamente caro e inviable para emisiones cotidianas. Además, las soluciones externas obligan a cambiar de herramientas o generan un desfase labial que arruina la inmersión.

02 — El insight
"La latencia de la IA no tiene que eliminarse, tiene que ocultarse. Si el video se atrasa exactamente el mismo tiempo que toma procesar y sintetizar el audio traducido, la audiencia ve labios y voz en perfecta sincronía. Y la herramienta debía vivir donde el streamer ya trabaja: dentro de OBS, no en una app ajena."
03 — Antes / después
Antes
  1. El streamer habla en su idioma original.
  2. La audiencia internacional depende de subtítulos o abandona el stream.
  3. Doblaje humano en vivo: prohibitivamente costoso e inviable.
  4. Audiencia y monetización acotadas a una única lengua.
Después
  1. El plugin captura el audio directamente desde una fuente nativa de OBS.
  2. Transcribe, traduce y sintetiza con la voz clonada del streamer en tiempo real.
  3. El streamer solo configura idioma y overlay de visualización una sola vez.
  4. Emisión multilingüe con voz clonada, sincronización labial y overlay integrado.
04 — El sistema

Flujo de capacidades automatizadas

entrada
Captura nativa
Audio del micrófono capturado en buffers de 20 ms por un motor nativo en C++, con detección de voz (VAD) antes de enviar nada.
contexto
Perfil y modelo de voz
Modelo acústico de voz clonada del creador + idioma y dialecto destino configurado.
decisión
Pipeline multimodal
Transcripción con Groq Whisper → traducción con LLM y glosario de streaming → voz clonada con ElevenLabs.
acción
Retardo compensado
El video se retrasa lo mismo que tarda el audio: fotogramas en buffer = ⌈retardo × FPS⌉ (252 a 60 fps para 4,2 s).
control
Dock de control en OBS
El dock lee el retardo del pipeline por WebSocket local y lo reajusta en caliente, sin cortar la emisión.
DIAGRAMA DE ARQUITECTURA DE FLUJO ialabs / EXP-02
01 · Captura nativa
PCM 20 ms + VAD
→
02 · Groq Whisper
Voz a texto
→
03 · Traducción LLM
Preservación de tono
→
04 · ElevenLabs
Voz clonada
→
05 · OBS Video Delay
Retardo = latencia E2E
05 — Decisiones · capa técnica

Cada pieza, con su razón

Arquitectura basada en trade-offs deliberados y consecuencias reales de negocio.
Tecnología Plugin nativo de OBS
Función Captura y emisión dentro del flujo existente
Decisión y trade-off Cumple la promesa de Voxora Live sin obligar a cambiar de herramienta. Trade-off: acoplado al ecosistema de OBS Studio.
Consecuencia Adopción inmediata sin fricción técnica
Tecnología Retraso de video sincronizado
Función Coherencia perceptual (Lip-sync)
Decisión y trade-off Retrasar el video el mismo tiempo que tarda el audio en lugar de forzar latencia cero imposible. Trade-off: la emisión viaja con unos segundos de desfase.
Consecuencia Experiencia natural y envolvente para la audiencia
Tecnología Voz clonada neural
Función Síntesis acústica de marca
Decisión y trade-off El streamer conserva su identidad sonora reconocible en cualquier lengua extranjera.
Consecuencia La marca personal del creador viaja entre idiomas
Tecnología Extensión de navegador
Función Subtítulos en vivo sobre reproductores web
Decisión y trade-off Inyecta subtítulos y controles flotantes sobre YouTube, Twitch o Kick y comparte sesión con Supabase y la app local. Trade-off: depende del DOM de cada reproductor.
Consecuencia La audiencia también puede usar VØXORA, no solo el creador
06 — Evidencia
TELEMETRÍA DE PROYECTO beta / producto propio
Un streamer que habla un idioma y su audiencia lo escucha en otro, con su propia voz
De transmitir en un solo idioma a emitir con voz clonada traducida, retrasando el video exactamente lo que tarda la IA para que labios y voz coincidan. Plugin nativo de OBS publicado y un ecosistema de cuatro apps.
Captura nativaGroq WhisperTraducción LLMElevenLabsOBS Video Delay
Cronograma del pipeline: el video espera a la voz traducida. Abajo, el cálculo del retardo con los valores típicos documentados.
$ voxora-dub --target-lang=en --fps=60
[capture] PCM nativo 20 ms · VAD 200 ms
[stt] Groq Whisper 300 ms
[translate] LLM en streaming 500 ms
[tts] voz clonada ElevenLabs 1.200 ms
[sync] jitter 200 ms + render 20 ms → retardo E2E 2.440 ms · EWMA α = 0,15
[obs] obs_source_set_async_delay_ns(2.440 ms) → 147 fotogramas a 60 fps: OK
07 — Quién hizo qué
ialabs
Arquitectura de producto completa: plugin nativo OBS, extensión de navegador, pipeline de IA y app complementaria.
Equipo del cliente
Producto propio: no hay cliente externo.
Terceros
OBS Studio, Groq (Whisper), proveedores LLM, ElevenLabs y Supabase.
08 — Qué es distinto

Frente a subtítulos automáticos convencionales: la audiencia escucha una voz viva en lugar de distraerse leyendo texto. Frente a doblaje humano tradicional: no requiere contratar intérpretes por cada lengua emitida.

09 — Lecciones y siguiente iteración
  • En aplicaciones de IA audiovisual en tiempo real, sincronizar perceptualmente es más económico y robusto que perseguir latencia cero.
  • Límite conocido: la transmisión resultante viaja con algunos segundos de retraso respecto a la señal cruda.
  • Siguiente paso: Desktop App integral que reemplace a OBS con automatización de escenas, monitoreo sin operador humano y módulos temáticos de IA.
From Idea to Infinity.

¿Tienes un producto que debería hablar más idiomas?

En 48 horas te devolvemos un diagnóstico con el resultado que podemos prometer.

Mandar brief