Kursus/Pelatihan/Jasa Pembuatan Web Scraping | Web Scraping Berita Online Menggunakan Python untuk Analisis Tren Topik Terkini, Mengambil judul, waktu, dan isi berita dari situs seperti Detik, Kompas, atau CNN Indonesia

Berikut adalah silabus 20 sesi @1,5 jam untuk topik:

“Web Scraping Berita Online Menggunakan Python untuk Analisis Tren Topik Terkini”

---

Tahap 1: Dasar Web Scraping dan Tools (Sesi 1–5)

1. Pengenalan Web Scraping & Use Case Berita Online

   • Apa itu web scraping

   • Studi kasus scraping situs berita (Detik, Kompas, CNN Indonesia)

   • Legalitas dan etika scraping

2. Dasar HTML dan Struktur DOM

   • Elemen HTML: tag, class, id

   • Cara membaca struktur web berita

   • Tools bantu: Inspect element (browser), DevTools

3. Instalasi dan Pengantar Library Python untuk Scraping

   • Instalasi Python dan pip

   • Pengenalan requests, BeautifulSoup, lxml

   • Scraping sederhana dari situs HTML statis

4. Scraping Judul & Tanggal Berita dari Situs Detik

   • Ambil judul dan tanggal dari homepage Detik

   • Parsing data dengan BeautifulSoup

   • Menyimpan ke CSV

5. Scraping Isi Berita (Konten Artikel) dari Link Detail

   • Ambil link dari homepage

   • Masuk ke halaman detail dan ekstraksi isi

   • Penanganan konten multi-paragraf

---

️ Tahap 2: Pendalaman Scraping dan Teknik Lanjutan (Sesi 6–10)

6. Scraping Kompas dan Perbandingan Struktur HTML

   • Perbedaan struktur antar situs

   • Modularisasi fungsi scraping

7. Scraping dari CNN Indonesia dan Navigasi Pagination

   • Navigasi ke halaman berita sebelumnya

   • Loop scraping multi-halaman

8. Handling Error dan Anti-Bot Protection

   • Penanganan status code

   • User-Agent dan headers

   • Delay & random sleep

9. Penyimpanan ke Database (SQLite / CSV / JSON)

   • Format penyimpanan data scraping

   • Membuat database SQLite dan insert data hasil scraping

10. Scraping Terjadwal dengan Cron atau Task Scheduler

• Konsep scraping berkala (daily scraping)

• Menjadwalkan script dengan schedule atau cronjob

---

Tahap 3: Analisis dan Visualisasi Data (Sesi 11–15)

11. Pra-Pemrosesan Data Berita

• Membersihkan teks dari tag HTML

• Normalisasi tanggal, penghilangan karakter tak penting

12. Analisis Kata Kunci dan Word Frequency

• Tokenisasi

• Hitung frekuensi kata populer

• Visualisasi: Bar Chart

13. Pengenalan Wordcloud dan Visualisasi Tren

• Instalasi wordcloud

• Membuat wordcloud dari kumpulan berita

14. Time Series: Topik Berita Berdasarkan Waktu

• Distribusi jumlah berita berdasarkan tanggal

• Tren topik dari kata kunci (contoh: “politik”, “ekonomi”)

15. Visualisasi Interaktif dengan Plotly / Streamlit

• Pembuatan dashboard berita sederhana

• Filter berdasarkan waktu, kata kunci

---

Tahap 4: Proyek dan Finalisasi (Sesi 16–20)

16. Proyek Mini: Scraper Kompas Otomatis (judul, tanggal, isi)

• Buat script end-to-end

• Simpan ke SQLite dan CSV

17. Proyek Mini: Scraper CNN Indonesia dengan Pagination

• Penggabungan scraping multi-halaman

• Normalisasi konten

18. Analisis Komparatif Topik dari 3 Situs

• Gabung data dari Detik, Kompas, CNN

• Lihat tren dan overlap topik

19. Deploy Aplikasi Analisis Tren ke Web dengan Streamlit

• Membuat UI Streamlit

• Tampilkan hasil scraping dan analisis

20. Presentasi Proyek Final dan Review

• Presentasi hasil scraping + analisis

• Refleksi dan saran pengembangan ke tahap lanjut (NLP, Sentiment Analysis, dsb)