Providers Scraping System

Providers Scraping System merupakan sistem automasi pengambilan data universitas di Australia yang dikembangkan selama program magang di Interlace Studies Bali. Sistem ini dirancang untuk mengumpulkan data institusi pendidikan secara terstruktur dan konsisten.

Latar Belakang

Pengumpulan data universitas secara manual membutuhkan waktu yang lama serta berisiko terhadap kesalahan pencatatan. Informasi seperti nama institusi, lokasi, CRICOS code, dan daftar program studi sering tersebar di berbagai halaman website.

Tujuan Pengembangan

• Mengotomatisasi pengambilan data universitas Australia
• Menyediakan dataset terstruktur untuk analisis internal
• Mengurangi human error dalam pengolahan data
• Mendukung pengambilan keputusan berbasis data

Workflow Sistem

Sistem bekerja secara berurutan mulai dari pengambilan halaman website, parsing HTML, pembersihan data, hingga penyimpanan ke database MySQL.

Teknologi yang Digunakan

• Python (Requests, BeautifulSoup)
• MySQL Database
• Jupyter Notebook
• Git & GitHub

Sistem ini menjadi fondasi awal dalam pengembangan pipeline data pendidikan internasional di Interlace Studies Bali.