Urgente: se buscan 2 Ingenieros de Web Scraping

Salario: 30K-55K (sin incluir bonificaciones por proyecto, negociación para candidatos con habilidades excepcionales)

Horario de trabajo: 10 días de trabajo y 4 de descanso (12:00-24:00, con 2 horas de descanso para comer)

Período de prueba: 1 mes

Proyectos de la empresa: experiencia en desarrollo de IM

Lugar de trabajo: primero remoto y luego en el sitio (Tailandia/Bangkok, trabajo desde casa)

1. Responsable del desarrollo y mantenimiento de la recolección de datos web en direcciones comerciales clave

2. Diseñar y optimizar programas de rastreo estables y eficientes, manejando estrategias de anti-scraping (como captchas, ofuscación de JS, bloqueo de IP, etc.)

3. Construir y mantener un sistema de rastreo distribuido, logrando la recolección de datos a gran escala y en concurrencia

4. Limpiar, deduplicar y estructurar los datos recolectados, asegurando la calidad de los datos

5. Monitorear el estado de funcionamiento del sistema, resolver anomalías de manera oportuna, y mejorar la eficiencia y estabilidad en la obtención de datos

6. Asistir al equipo de datos en la integración de datos y extracción de etiquetas

1. Título universitario o superior en informática, ingeniería de software o campo relacionado, con 2-3 años o más de experiencia práctica en desarrollo de arañas web.

2. Dominio de Python, familiaridad con los principales marcos de arañas como Scrapy, Requests, Selenium, Playwright, etc.

3. Dominio de técnicas de análisis de páginas como HTML / XPath / CSS Selector / expresiones regulares.

4. Familiaridad con mecanismos comunes de anti-scraping y sus estrategias de respuesta, como pools de proxies, pools de UA, reconocimiento de captchas, descifrado de JS, carga dinámica de páginas, etc.

5. Experiencia en el uso de almacenamiento de datos como Redis, MongoDB, MySQL, etc.

6. Familiaridad con programación multihilo/asíncrona, con buena estructura de código y hábitos de desarrollo.

7. Capacidad operativa en Linux, capaz de implementar y mantener scripts de recolección de datos de manera independiente.

8. Responsabilidad, pensamiento lógico, alta capacidad para trabajar bajo presión y buen espíritu de trabajo en equipo.

️️Condiciones preferenciales:

1. Experiencia en proyectos de arañas distribuidas con Scrapy-Redis.

2. Familiaridad con marcos de tareas asíncronas como Kafka/Celery.

3. Preferible tener experiencia en el manejo de captchas de imagen o captchas deslizantes.

4. Familiaridad con estrategias y soluciones comunes de anti-trampa.

5. Experiencia en proyectos de arañas en sitios de contenido para adultos.