Skill Assessment Scraping Project
Skill Assessment Scraping Project merupakan sistem automasi untuk mengumpulkan data dari berbagai Assessment Authorities di Australia yang berperan dalam proses penilaian kompetensi tenaga kerja migran. Proyek ini dikembangkan sebagai bagian dari pipeline data engineering selama program magang di Interlace Studies Bali.
Latar Belakang
Setiap jalur migrasi berbasis skill di Australia mensyaratkan skill assessment dari lembaga resmi sesuai bidang pekerjaan (misalnya ACS, Engineers Australia, VETASSESS, dan lain-lain). Informasi penting seperti occupation list, assessment requirement, processing time, dan biaya tersebar di berbagai website dan tidak memiliki format data yang seragam.
Kondisi ini menyulitkan proses analisis kebutuhan migrasi, terutama ketika data harus dikombinasikan dengan dataset lain seperti ANZSCO dan job market data.
Tujuan Pengembangan
- Mengotomatisasi pengambilan data dari berbagai Skill Assessment Authorities
- Menyatukan requirement dan occupation mapping secara terstruktur
- Mengurangi ketergantungan pada pencarian manual
- Mendukung analisis jalur migrasi berbasis data
Workflow Sistem
Sistem bekerja mulai dari pengambilan halaman resmi lembaga assessment, parsing HTML, normalisasi data, hingga penyimpanan ke dalam database MySQL untuk integrasi lanjutan.
Teknologi yang Digunakan
- Python (Requests, BeautifulSoup)
- Structured Data Cleaning
- MySQL Database
- Jupyter Notebook
- Git & GitHub
Skill Assessment Scraping menjadi komponen penting dalam membangun ekosistem data migrasi yang terintegrasi.