Descripción del Puesto:

Estamos buscando un ingeniero de desarrollo de big data con sólidos conocimientos técnicos y experiencia práctica para unirse a nuestro equipo de plataforma de datos central. Estará involucrado en el diseño y construcción de la próxima generación de la plataforma de datos de la empresa, siendo responsable de orquestar y optimizar una arquitectura de procesamiento de datos de alto rendimiento y escalable, abarcando toda la cadena de procesamiento desde la recolección de datos, limpieza, almacenamiento hasta el procesamiento en tiempo real y servicios. Esta plataforma apoyará directamente la estrategia impulsada por datos de la empresa, permitiendo una rápida respuesta a los cambios del mercado y proporcionando un sólido soporte de datos para los equipos de algoritmos, análisis y productos.

Aquí, tendrá la oportunidad de trabajar con grandes volúmenes de datos, procesamiento de flujos de alta concurrencia y diversos componentes tecnológicos (como Flink, ClickHouse, Kafka, entre otros), además de participar en el proceso de implementación de sistemas clave desde 0 hasta 1. Si le apasiona la ingeniería de datos y desea desafiar los límites técnicos en un entorno internacional y de colaboración entre equipos, ¡lo invitamos a unirse a nosotros!

Responsabilidades del Trabajo:

•       Participar en el diseño, desarrollo y optimización de la plataforma de big data de la empresa, apoyando el crecimiento continuo del negocio y la toma de decisiones impulsadas por datos.

•       Responsable de la construcción, optimización de rendimiento, monitoreo y mantenimiento diario del clúster de ClickHouse, asegurando la alta disponibilidad y alto rendimiento del sistema.

•       Participar en el desarrollo, implementación y mantenimiento de tareas de procesamiento en flujo de Flink, garantizando la estabilidad de la cadena de procesamiento de datos en tiempo real.

•       Apoyar las necesidades de servicios de datos del negocio, desarrollando servicios de API de datos basados en Java Spring Boot.

•       Asistir al equipo de ciencia de datos en la construcción de canalizaciones de datos, apoyando el entrenamiento y servicio en línea de modelos algorítmicos.

•       Optimizar continuamente los procesos de procesamiento de datos y la arquitectura del sistema, mejorando la estabilidad y escalabilidad del sistema.

•       Asumir responsabilidad proactiva en los proyectos, impulsar la resolución de problemas, mostrar un espíritu de propiedad y mantener una buena capacidad de ejecución y comunicación bajo presión.

Requisitos del Puesto:

•       Título universitario o superior, preferiblemente en informática, ingeniería de software, tecnología de la información u otras disciplinas relacionadas.

•       Más de 5 años de experiencia en big data.

•       Fuerte base en bases de datos: familiaridad con bases de datos relacionales (como MySQL, PostgreSQL) y bases de datos en columnas.

•       Comprensión de los principios de bases de datos como ClickHouse y Doris, incluyendo sus mecanismos de almacenamiento subyacente y optimización de consultas.

•       Fuerte capacidad de desarrollo: dominio de Java y experiencia en el desarrollo de servicios REST API utilizando el marco Spring Boot.

•       Excelentes habilidades de comunicación y colaboración, capaz de trabajar estrechamente con los equipos de análisis de datos, producto y negocio.

•       Fuerte sentido de responsabilidad, buenas habilidades de manejo de presión y resolución de problemas, capaz de impulsar proactivamente el progreso del trabajo.

Después de seis meses, el lugar de trabajo será en Japón, lo que requerirá reubicación y trabajo presencial (la empresa proporcionará apoyo con visados y asistencia con la reubicación).

Puntos adicionales si también tiene:

1.  Experiencia práctica con componentes como Kafka, Zookeeper, HDFS, Hive, Airflow;

2.  Experiencia en proyectos relacionados con sistemas de recomendación, perfiles de usuarios, ordenación personalizada;

3.  Antecedentes en algoritmos de predicción (como predicción de series temporales, predicción de comportamiento del usuario);

4.  Familiaridad y experiencia práctica con modelos de lenguaje de gran tamaño (LLM, como ChatGPT, LLama) en escenarios de aplicación en negocios o sistemas (como aumento de datos, resúmenes automáticos, preguntas y respuestas inteligentes);

5.  Participación en proyectos de construcción de almacenes de datos en tiempo real o sistemas de indicadores;

6.  Preferencia por candidatos con experiencia en la construcción de plataformas de big data desde 0 hasta 1.

 ClickHouse 

•       Dominio del modelado de datos, ajuste de consultas y control de recursos en ClickHouse;

•       Experiencia práctica en operación de clústeres, solución de problemas y monitoreo de rendimiento;

•       Familiaridad con la integración de ClickHouse con middleware de datos / procesamiento de flujos / sistemas de programación;

Flink 

•       Familiaridad con mecanismos subyacentes de Flink, como checkpoint, backend de estado, mecanismos de ventana, etc.;

•       Capacidad para escribir de forma independiente tareas complejas de procesamiento en tiempo real de Flink y resolver problemas de rendimiento en ejecución;

•      Experiencia en implementación de clústeres de Flink y mantenimiento de su estabilidad.