# Laporan Kelayakan: Lini Arab Media/Percakapan (OpenSubtitles + MSA_freq_lists)

**Tanggal:** 11 Juni 2026 · Pertanyaan: layakkah data frekuensi OpenSubtitles (folder "Open subtitle") dan daftar MSA (folder "MSA_freq_lists_parts") dipakai menambah daftar kosakata yang sudah dibuat?

**Jawaban: layak — tetapi sebagai LINI TERPISAH (Arab Standar Modern/media), bukan dicampur ke kurikulum Qur'an. Dua sumber ini saling melengkapi: subtitle = MSA lisan/dialog, MSA_freq_lists = MSA tulis/berita/web. Delta gabungan nyata, koheren, dan terjangkau.**

## Data yang diuji

| File | Isi | Kualitas |
|---|---|---|
| `7. 50.000 frequency word... 2018.txt` | 50.000 bentuk-kata tersering + frekuensi (subtitle film s/d 2018) | Cukup bersih: 44.566 tipe Arab murni; sisanya angka/Latin/tanda baca |
| `ar 2024.freq` | 5,66 juta baris frekuensi mentah (s/d 2024) | Kotor: peringkat teratas tanda baca & karakter kontrol; perlu penyaringan |
| `ar_2024_freq_excel_parts/` (+zip) | File 2024 dipecah 7 TSV agar terbuka di Excel | Turunan dari file di atas |
| `MSA_freq_lists_part_01–12.tsv` | 11,4 juta bentuk-kata + frekuensi, korpus MSA web/berita raksasa (±9 miliar token di 50k kata teratas saja) | Lapis atas berguna; ekor (part 12, frek=1) sampah tokenisasi; ada cemaran spam web (lihat Kejujuran) |

## Hasil pilot (bekal = Kurikulum Qur'an v7, 4.817 lemma)

| Korpus | Token diuji | Tercakup bekal | Catatan |
|---|---|---|---|
| OpenSubtitles 2018 (50k kata) | 140,5 juta | **±75%** | pencocokan permukaan + pelepasan klitik |
| OpenSubtitles 2024 (sampel 300k baris teratas) | 1,05 miliar | **±72%** | konsisten dengan 2018 → angka stabil |
| MSA_freq_lists (50k kata teratas) | 8,93 miliar | **±57%** | ragam tulis/berita/web — lebih jauh dari Qur'an dibanding bahasa film |

Pembanding: tamatan kurikulum yang sama mengenal ±76% token Shahih al-Bukhari (pilot v1.1). Jadi jarak Qur'an → bahasa film ternyata sebanding dengan jarak Qur'an → hadis — lebih dekat dari dugaan.

## Karakter delta (±25% sisanya) — dari 200 kata tak tercakup berfrekuensi tertinggi

1. **Infleksi yang lolos pencocokan, bukan kata baru (porsi besar).** Tasrif كَانَ (kāna, "ada/menjadi"): يكون، تكون، سيكون؛ turunan أَرَادَ (arāda, "ingin"): أريد، تريد؛ اِسْتَطَاعَ (istaṭāʿa, "mampu"): أستطيع؛ bentuk جَاءَ، عَادَ، رَأَى. Semua ini sudah dikenal lulusan kurikulum — angka ±75% adalah **batas bawah**.
2. **Kosakata MSA umum yang tidak ada di Qur'an (inti delta sesungguhnya).** Koheren dan sangat berulang: يَجِب (harus)، عِنْدَمَا (ketika)، رُبَّمَا (mungkin)، صَحِيح (benar)، شَخْص (orang)، مُنْذُ (sejak)، مُشْكِلَة (masalah)، فُرْصَة (kesempatan)، عَلَاقَة (hubungan)، رَقْم (nomor)، نَوْع (jenis)، مُهِمّ (penting)، مُسْتَحِيل (mustahil)، اِنْتَظِرْ (tunggu!)، أَرْجُوك (kumohon)، بِالتَّأْكِيد (tentu saja)، لِلْغَايَة (sangat)، بِالضَّبْط (tepat sekali).
3. **Kosakata dunia modern:** شُرْطَة (polisi)، هَاتِف (telepon)، دُولَار (dolar)، دُكْتُور/طَبِيب (dokter)، مَدْرَسَة (sekolah)، مَكْتَب (kantor)، سَيَّارَة (mobil).
4. **Nama orang/tempat film:** جاك، مايكل، جورج، توم، نيويورك (Jack, Michael, George, Tom, New York) — tidak perlu dihafal.
5. **Varian ejaan & noise tokenisasi:** شئ = شَيْء (sesuatu)، اعتقد tanpa hamzah، هى = هِيَ (dia pr.)، potongan huruf tunggal (ط، ظ، لـ).

**Kurva manfaat (subtitle):** +100 kata delta teratas → +5% cakupan token; +400 kata → +9% (→ ±83%). Setelah itu ekor panjang — selaras dengan temuan konvergensi di Peta Delta Kutub Tis'ah.

## Karakter delta MSA_freq_lists (±43% sisanya) — berbeda watak dari subtitle

1. **Kosakata berita/pemerintahan:** حُكُومَة (pemerintah)، وِزَارَة (kementerian)، رَئِيس (presiden/ketua)، جَيْش (tentara)، قَانُون (undang-undang)، لَجْنَة (komite)، اِتِّحَاد (uni/serikat)، مَشْرُوع (proyek)، دُوَلِيّ (internasional).
2. **Kosakata internet/forum** (cermin asal korpus = web): مُنْتَدَى (forum)، تَحْمِيل (unduh)، مَوَاقِع (situs-situs)، مِلَفَّات (file)، فِيدِيُو (video)، كُمْبِيُوتَر (komputer)، مُدَوَّنَة (blog).
3. **Nama negara/kota & bulan/hari:** السعودية، العراق، سوريا، الرياض، الكويت (Saudi, Irak, Suriah, Riyadh, Kuwait)؛ نوفمبر (November)؛ الخميس، الثلاثاء (Kamis, Selasa) — kategori tertutup, mudah dipelajari sekali jalan.
4. **Kurva manfaat:** +100 delta teratas → +5,5%; +400 → +11,6% (→ ±69%).
5. **Irisan dengan delta subtitle hanya 35 dari 200 teratas** (خلال "selama"، عملية "operasi/proses"، رئيس، منذ "sejak"، يجب "harus"، رقم "nomor"، دولار) — bukti dua ragam berbeda. Irisan ini adalah **kandidat prioritas tertinggi**: penting di lisan DAN tulisan.

## Kejujuran metode

- Daftar 2018/2024 adalah **bentuk-kata mentah, bukan lemma** — beda metodologi dengan lini Qur'an yang berbasis korpus teranotasi manual. Pencocokan di sini heuristik (normalisasi ejaan + pelepasan klitik + rekonstruksi kasar verba ajwaf/mudhaaf): bisa salah dua arah, angka indikatif.
- Subtitle = **terjemahan film (mayoritas dari Inggris)** → ragamnya MSA tulis yang "percakapan-rasa", BUKAN dialek lisan sebenarnya (Mesir, Syam, dst.). Lini ini membuka film bersubtitle Arab, berita, dan tulisan modern — bukan obrolan pasar.
- Tanpa harakat; homograf tak terpisahkan (مدرسة bisa madrasah/sekolah).
- Frekuensi 2018 vs 2024 sangat konsisten di lapis atas → kandidat inti tahan zaman.
- Klasifikasi delta di atas adalah tinjauan AI atas 200 kata teratas tiap sumber, belum tinjauan ahli.
- **MSA_freq_lists tercemar spam web:** istilah operasi mata lasik (الليزك، الشبكية "retina"، القرنية "kornea"، بالليزر "dengan laser") masuk 150 besar korpus 9 miliar token — jejak SEO/iklan, bukan frekuensi bahasa wajar. Frekuensi mentahnya jangan ditelan bulat-bulat; saring dengan irisan antar-sumber.
- **Asal MSA_freq_lists tidak terdokumentasi** (tidak ada README sumber). Sebelum publikasi, asal dan lisensi data perlu dilacak.

## Rekomendasi

1. **Layak dibangun: "Jembatan Media/MSA"** dengan dua sub-modul, polanya persis Jembatan Hadis (bersihkan → buang infleksi yang sudah dikenal → kurasi manual → terjemah → Anki):
   - **MSA Inti** (±100–150 entri): irisan delta subtitle ∩ MSA_freq_lists — kosakata yang penting di lisan dan tulisan. Kerjakan dulu.
   - **MSA Percakapan** (±150 entri dari subtitle 2018) dan/atau **MSA Berita/Web** (±150 entri dari MSA_freq_lists, setelah disaring spam) — sesuai tujuan pengguna: nonton film vs baca berita.
2. **Jangan dicampur ke kurikulum Qur'an v7** — register beda, metodologi beda (bentuk-kata vs lemma), tujuan beda. Lini terpisah menjaga kejujuran angka cakupan kedua-duanya.
3. **Prasyarat belajar:** minimal Kosakata Tahap 3–4, seperti jembatan lain.
4. File `ar 2024.freq` mentah dan part 02–12 daftar MSA cukup jadi validasi; tak perlu dibersihkan penuh kecuali ingin memperluas ke ekor panjang. Part 12 (frek=1) boleh diabaikan sepenuhnya.

Skrip analisis: `skrip/` (analisis_media, kandidat_media, data_media, build_media). Seperti selalu: hasil otomatis + tinjauan AI ≠ final — butuh tinjauan ahli sebelum publikasi.

## Hasil implementasi (v1.7, 11 Juni 2026)

Rekomendasi di atas sudah diwujudkan: `Jembatan-Media-PILOT.xlsx` + `Jembatan-Media-Anki.apkg` — 400 entri/kartu dalam 4 modul: MSA Inti (131), MSA Percakapan (124), MSA Berita & Web (111), Kalender & Negara (34). Cakupan terukur setelah modul: subtitle 74,8% → **82,0%**; MSA web 57,3% → **70,2%**. Kandidat mentah ikut disertakan di sheet Kandidat (transparansi).