急募2名 - クローラーエンジニア

給与待遇：30K～55K（プロジェクトボーナスは含まれておらず、能力に優れた方は面談にて相談可能です）

勤務時間：10休4（12:00～24:00の間、2時間の休憩（食事時間含む））

試用期間：1ヶ月

会社プロジェクト：IM開発経験

勤務地：初回はリモート勤務、その後出社（タイ／バンコクからのテレワーク）

1. 重点事業領域におけるウェブデータの抽出の開発および保守を担当いただきます。

2. 安定かつ効率的なクローラーの設計・最適化を行い、反クローリング対策（例えば、CAPTCHA、JavaScriptの難読化、IPブロック等）に対応していただきます。

3. 分散クローラーシステムの構築と保守を担当し、大規模な並行データ収集を実現していただきます。

4. 取得したデータに対し、クリーニング、重複排除、構造化処理を行い、データの品質を確保していただきます。

5. システムの稼働状態を監視し、異常発生時には迅速に対応することで、データ取得の効率および安定性の向上に寄与していただきます。

6. データチームと連携し、データ統合およびタグ抽出作業をサポートしていただきます。

1. 学士以上の学歴をお持ちで、コンピューター、ソフトウェア工学または関連分野の専攻であり、2～3年以上の実務的なクローラ開発のご経験がある方。

2. Pythonに精通し、Scrapy、Requests、Selenium、Playwrightなどの主流なクローラフレームワークに習熟している方。

3. HTML、XPath、CSSセレクタ、正規表現などのページ解析技術を習得されている方。

4. プロキシプール、UAプール、キャプチャ認識、JS復号、動的読み込みページなど、一般的なアンチクローリング技術とその対策に精通している方。

5. Redis、MongoDB、MySQLなどのデータ保存に関するご経験がある方。

6. マルチスレッドまたは非同期プログラミングに習熟され、良好なコード構造と開発習慣をお持ちの方。

7. Linuxの操作に関する一定の能力を有し、独立して収集スクリプトの展開や保守が可能な方。

8. 責任感が強く、論理的思考に優れ、ストレス耐性があり、良好なチームワークを発揮できる方。

【優遇条件】

1. Scrapy-Redisを用いた分散型クローラプロジェクトのご経験がある方。

2. KafkaやCeleryなどの非同期タスクフレームワークに習熟している方。

3. 画像キャプチャまたはスライドキャプチャの処理経験がある方。

4. 一般的なアンチチート戦略およびその対策に精通している方。

5. アダルトサイトのクローラプロジェクトのご経験がある方。