Estados Unidos
B&A
You.com
Ingeniero Senior de Backend, Plataforma de Inferencia
Estados Unidos
San Francisco, California, Estados Unidos · New York, New York, Estados Unidos
PythonKubernetes
Traducción automática. Consulta el original.
Sobre Nosotros
En You.com, estamos construyendo la Infraestructura de Búsqueda de IA que potencia los sistemas de IA modernos. Nuestro objetivo es crear la capa de conocimiento confiable en la que los agentes, las aplicaciones y las empresas confían para recuperar información precisa, en tiempo real y respaldada por citas.
Nuestra plataforma combina índices verticales propietarios con sistemas de recuperación optimizados para LLM para potenciar agentes de IA, aplicaciones y flujos de trabajo empresariales. Estamos resolviendo problemas difíciles en búsqueda, modelos de lenguaje grandes e infraestructura a gran escala para hacer que los sistemas de IA sean más confiables, transparentes y útiles.
Nuestro equipo incluye ingenieros, investigadores, desarrolladores de productos y operadores a quienes les importa resolver problemas significativos y generar un impacto en el mundo real. Ya sea que esté mejorando la infraestructura central, dando forma a las experiencias del producto o ayudando a lanzar nuevas capacidades de IA al mercado, su trabajo ayudará a definir cómo la IA moderna encuentra y utiliza el conocimiento.
Sobre el Puesto
Cada llamada de modelo de nuestros productos y clientes pasa por una capa: nuestra puerta de enlace de inferencia. Permite a los usuarios seleccionar un modelo y nosotros dirigimos inteligentemente la llamada para optimizar el costo, la latencia y la alta disponibilidad. Ahora estamos construyendo el plano de control por encima de ella, para gestionar y gobernar el acceso, el rendimiento y el costo.
Usted será responsable y escalará esa puerta de enlace. El trabajo se sitúa entre la provisión de modelos y el producto: enrutamiento y respaldo entre proveedores alojados y nuestros propios modelos, decisiones de enrutamiento conscientes de la caché, medición lo suficientemente precisa como para facturar, y aplicación en la ruta de solicitud dentro de un presupuesto de milisegundos de un solo dígito.
Este es un puesto remoto abierto a candidatos con sede en cualquier lugar de los Estados Unidos. Damos preferencia a los candidatos en el Área de la Bahía de San Francisco o Nueva York, donde tenemos oficinas, pero estamos contentos de considerar candidatos remotos fuertes en otros lugares de EE. UU.
Responsabilidades
- Ser responsable de la puerta de enlace de inferencia por la que enruta cada llamada de modelo, incluida la selección de proveedor y modelo, el respaldo y los límites
- Construir una capa de inteligencia para elegir autónomamente el modelo correcto para el giro correcto en la tarea
- Tomar decisiones de enrutamiento que tengan en cuenta el comportamiento de la caché de prefijo, la agrupación y el tiempo hasta el primer token, no solo el precio y la disponibilidad
- Construir la atribución de costos y la medición a través de los proveedores, incluido el recuento de tokens en caché, lo suficientemente preciso como para facturar y aplicar
- Construir la aplicación en la ruta de solicitud que se degrada elegantemente y nunca interrumpe la llamada de inferencia de un cliente
- Enviar cambios en tiempo de inferencia primero en modo sombra, con la medición para demostrar que funcionan
Cualificaciones
- Experiencia práctica en producción con provisión de modelos en pilas como vLLM, SGLang (o plataformas similares), con una comprensión funcional de la agrupación continua, el almacenamiento en caché de KV y prefijos, y la compensación entre el tiempo hasta el primer token y el rendimiento
- Ha ajustado una pila de provisión frente al tráfico en vivo y sabe qué mueve p99 en la práctica, no solo en teoría
- Fluidez en APIs del proveedor: tokenización, semántica de caché de prompts y las diferencias en cómo se informan y se facturan el uso y los tokens en caché
- Experiencia en la construcción u operación de un proxy, puerta de enlace o plano de datos en la ruta crítica del tráfico de producción, con instintos sólidos para fallar de forma abierta
- Comodidad con las respuestas de streaming y las partes que se vuelven incómodas: estado parcial, fallos a mitad de transmisión y trabajo que solo puede ocurrir una vez que se cierra la transmisión
- Un sólido generalista de backend (Python, Kubernetes). Esperamos que aprenda lo que sea que no haya tocado todavía
- Damos más peso a la trayectoria y al crecimiento reciente que a los años de experiencia
Responsabilidades
- Experiencia en un proveedor de inferencia o nube de GPU, o contribuciones a una pila de provisión de código abierto
- Ajuste y evaluación de modelos en producción
- Medición de uso, facturación u optimización de costos a escala
Nuestras bandas salariales se estructuran en función de una combinación de niveles geográficos y niveles internos. La compensación se determina por múltiples factores evaluados durante el proceso de entrevista, y la oferta final refleja estas consideraciones.
Banda Salarial $200,000—$250,000 USD
* La elegibilidad para los beneficios varía según el tipo de empleo y la antigüedad.
You.com participa en E-Verify. Proporcionaremos a la Administración del Seguro Social (SSA) y, si es necesario, al Departamento de Seguridad Nacional (DHS) información del Formulario I-9 de cada nuevo empleado para confirmar la autorización de trabajo. (Inglés/Español: Participación en E-Verify [drive.google.com/file/d/1u7vRUMjyxbI3xX7LkBiHgvzB8qUr8hfT/view?usp=drive_link]/Derecho a Trabajar drive.google.com/file/d/19uh4fecwISKmXyK3oh2SR958R70O3CVa/view?usp=drive_link) También somos un lugar de trabajo inclusivo, equitativo y accesible. Por favor, háganos saber si necesita alguna adaptación para cualquier parte del proceso de reclutamiento y contratación.
--------------------------------------------------------------------------------
TENGA CUIDADO CON LAS ESTAFAS DE RECLUTAMIENTO
You.com solo se pondrá en contacto con usted a través de direcciones de correo electrónico oficiales de @You.com ramp.com/ y nunca le pedirá un pago o información personal sensible durante el proceso de contratación.
--------------------------------------------------------------------------------
USO DE HERRAMIENTAS DE IA DURANTE NUESTRO PROCESO DE CONTRATACIÓN
En You.com, somos reflexivos sobre cómo usamos la IA en todo nuestro negocio, incluido nuestro proceso de contratación.
Durante ciertas etapas del proceso de entrevista, podemos utilizar herramientas impulsadas por IA para ayudar con tareas administrativas como la programación, la toma de notas, la transcripción o la resumen de discusiones de entrevistas. Estas herramientas están destinadas a apoyar a nuestros entrevistadores mejorando la precisión y la eficiencia; no toman decisiones de contratación ni reemplazan el juicio humano.
Todas las decisiones de empleo son tomadas por nuestro equipo de reclutamiento y gerentes de contratación basándose en una revisión integral de cada candidato y los criterios de evaluación aplicables.
Si se puede utilizar la toma de notas o la transcripción asistida por IA durante su entrevista, se lo notificaremos con anticipación. Si prefiere no participar en una entrevista que utilice estas herramientas, puede optar por no participar informando a su reclutador antes de su entrevista programada. Trabajaremos con usted para proporcionar una experiencia de entrevista alternativa cuando sea razonablemente factible.
La información recopilada durante el proceso de contratación se maneja de acuerdo con nuestra Política de Privacidad you.com/privacy y la ley aplicable. Al continuar con el proceso de solicitud, usted reconoce que ha leído este aviso. Si se utilizan herramientas asistidas por IA durante su entrevista y no ha optado por no participar después de recibir el aviso, usted consiente su uso como se describe anteriormente, cuando lo permita la ley aplicable.
BENEFICIOS DE LA EMPRESA
- Centros en San Francisco y la ciudad de Nueva York que ofrecen reuniones presenciales regulares y sesiones de coworking
- PTO flexible con días festivos de EE. UU. observados y un cierre de fin de año en diciembre para descansar y recargar*
- Un plan de seguro médico competitivo cubre el 100% de la póliza del titular y el 75% para dependientes*
- Membresía de Function Health
- 12 semanas de licencia parental remunerada en EE. UU.*
- Programa 401, igualación del 3% - ¡invertido inmediatamente!*
- Estipendio de $500 para trabajar desde casa a utilizar hasta un año después de su fecha de inicio*
- Estipendio de tecnología de $600 para cubrir una parte de los gastos de teléfono móvil e internet de nuestro equipo híbrido/remoto*
- $1,200 por año de Asignación de Salud y Bienestar para apoyar sus metas personales*
- La oportunidad de colaborar con un equipo a la vanguardia de la investigación de IA
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil