Governance untuk Dataset Publik: Dokumentasi Lebih Penting daripada Ukuran

Sebuah tim data bangga mengumumkan:

“Kami publish dataset 50 juta baris.”

Pertanyaan pertama yang seharusnya muncul bukan:

“Wow, download-nya berapa gigabyte?”

Pertanyaannya:

“Isinya apa?”

Lalu:

“Definisinya apa?”

“Periode?”

“Source?”

“License?”

“Schema?”

“Missing value artinya apa?”

“Versi?”

“Siapa owner?”

“Kalau salah, siapa koreksi?”

Kalau sepuluh pertanyaan itu tidak bisa dijawab, 50 juta baris tidak otomatis menjadi aset publik.

Bisa justru menjadi 50 juta baris ambiguity.

Di era AI, ukuran dataset semakin mudah menjadi vanity metric.

Lebih banyak data terdengar lebih powerful.

Lebih banyak rows dianggap lebih berguna untuk model.

Padahal AI system membutuhkan context.

Tanpa metadata dan documentation, model maupun manusia bisa memberi meaning yang salah pada data.

W3C Data on the Web Best Practices sejak lama menekankan bahwa data di web sebaiknya dapat ditemukan dan dipahami oleh manusia maupun mesin. Best practice tersebut mencakup metadata, data identification, formats, vocabularies, versioning, quality, provenance, licensing, dan access.

Itu menunjukkan prinsip sederhana:

Publikasi data bukan upload file.

Publikasi data adalah product.

Dataset perlu README yang serius

README bukan formalitas.

Minimal jelaskan:

Dataset ini tentang apa?

Apa yang tidak termasuk?

Siapa producer?

Periode.

Geography.

Unit.

Row definition.

Column definition.

Missing value.

Update cadence.

Version.

License.

Contact.

Known limitation.

Method.

Source.

Kalau field “status” punya nilai 0, 1, 2, 3, dokumentasi harus menjelaskan.

Jangan harap user menebak.

AI juga tidak boleh dipaksa menebak.

Machine-readable schema membantu.

Human-readable documentation tetap wajib.

Keduanya saling melengkapi.

Ukuran tidak menjawab representativeness

Dataset punya 10 juta record.

Tetapi semua dari Jakarta.

Lalu dipakai untuk menyimpulkan Indonesia.

Problem.

Dataset punya 2 juta review.

Tetapi hanya customer yang aktif mengisi.

Selection bias.

Dataset punya satu miliar click.

Tetapi bot tidak difilter.

Data besar bisa salah besar.

Governance harus mempublikasikan sampling dan coverage.

Apa population?

Apa sample?

Apa gap?

Apa bias yang diketahui?

Apa periode kosong?

Apa data yang excluded?

Limitation bukan kelemahan.

Ia mencegah misuse.

AI system sangat mudah mengubah large dataset menjadi confident statistic.

Documentation harus mengurangi false confidence.

Versioning adalah wajib untuk dataset hidup

Dataset Januari.

Februari.

Maret.

Apakah file di-overwrite?

Jangan.

Gunakan version atau release date.

v2026-08-01.

v2026-08-08.

Changelog.

Apa yang berubah?

Record bertambah?

Schema berubah?

Error diperbaiki?

Category rename?

Method berubah?

Old version tetap tersedia atau deprecated sesuai policy.

Kalau analyst menghasilkan report dari v1 dan dataset sudah v3, kita bisa reproduce.

Tanpa version, historical result sulit diverifikasi.

W3C Data on the Web Best Practices juga membahas versioning sebagai kebutuhan penting dalam publikasi data.

Provenance harus dekat dengan dataset

Data dari mana?

Sensor?

Survey?

Government registry?

Partner?

Scraping?

Synthetic?

Manual entry?

Third-party license?

Derived?

Aggregate?

Provenance field bisa berada pada dataset-level dan record-level.

Tidak semua membutuhkan record-level.

Gunakan risk.

Untuk public statistic:

Dataset source.

Transformation.

Cleaning.

Deduplication.

Date.

Owner.

Untuk derived dataset:

Parent dataset.

Transformation code/version.

Filter.

Join.

Mapping.

Sekarang user bisa memahami lineage.

Tanpa lineage:

“Data kami berasal dari berbagai sumber.”

Kalimat itu terlalu vague.

License jangan dilupakan

Public bukan berarti bebas digunakan tanpa syarat.

Dataset harus punya license.

Can reuse?

Commercial use?

Attribution?

Modification?

Redistribution?

Training?

Derivative work?

Privacy restriction?

Jangan membuat user menebak.

W3C Best Practices menekankan pentingnya machine-readable licensing information pada data web.

Organization harus legal review sebelum publish.

Jangan memilih license karena repository lain memakai.

Data ownership bisa kompleks.

Third-party agreement.

Database rights.

Personal data.

Government data.

Confidentiality.

License adalah governance.

Bukan footer.

Privacy review sebelum open data

Dataset “anonymous” belum tentu aman.

Combination field bisa re-identify.

Precise location.

Timestamp.

Rare attribute.

Small group.

Unique behavior.

Satu record mungkin tidak punya nama, tetapi bisa sangat identifiable.

Untuk Indonesia, UU PDP membuat privacy analysis semakin penting.

Public dataset perlu:

Data classification.

De-identification.

Aggregation.

Small-cell suppression jika relevant.

Risk assessment.

Legal basis.

Retention.

Removal/correction process.

Jangan publish raw personal data demi “open science” atau “AI innovation” tanpa governance.

Entity completeness bukan justification.

Metadata lebih penting daripada jumlah file

Catalog sering punya 5.000 dataset.

Tetapi search-nya buruk.

Title vague.

Description copy-paste.

Owner unknown.

Last update 2019.

License missing.

Machine tidak tahu mana current.

W3C DCAT, Data Catalog Vocabulary, dirancang untuk membantu interoperabilitas catalog data di web. DCAT menyediakan vocabulary untuk mendeskripsikan dataset dan data service agar catalog dapat dipertukarkan.

Tidak semua organization perlu RDF stack.

Tetapi principle-nya useful:

Standardize catalog metadata.

Identifier.

Title.

Description.

Publisher.

Distribution.

Access URL.

License.

Temporal coverage.

Spatial coverage.

Theme.

Version.

Contact.

Sekarang dataset bisa ditemukan.

Quality note harus jujur

Dataset tidak perlu sempurna untuk publish.

Tetapi known issue harus terlihat.

Contoh:

“Data Mei 2026 untuk Kabupaten X tidak lengkap karena gangguan source.”

“Field gender memiliki missing rate 32 persen dan tidak cocok untuk inference population.”

“Record sebelum 2024 menggunakan classification lama.”

“Duplicate detection diperbarui di v2.”

Ini sangat valuable.

AI consumer dapat menggunakan limitation.

Manusia bisa memutuskan apakah dataset fit.

Tanpa quality note, user menganggap absence of warning = quality tinggi.

Tidak selalu.

Schema drift adalah governance problem

Column:

region.

Lalu berubah menjadi:

province.

Semantics mungkin berbeda.

Type integer berubah string.

Category A digabung B.

Kalau publisher tidak memberi changelog, pipeline downstream rusak.

Buat schema version.

Backward compatibility jika practical.

Migration note.

Deprecation date.

Test sample.

Dataset adalah API contract meski dikirim CSV.

Consumer membangun system di atasnya.

Respect dependency.

Update cadence harus realistis

Jangan tulis “real-time” kalau update sehari sekali.

Jangan tulis “monthly” kalau sering telat tiga bulan.

Freshness label harus jujur.

Published timestamp.

Data effective date.

Last successful update.

Expected next update.

Known delay.

Kalau pipeline gagal, status.

AI Search dan agentic system semakin sensitif terhadap freshness.

Dataset yang terlihat current tetapi isinya stale bisa menghasilkan wrong answer.

Timestamp harus punya meaning.

Machine-readable tidak berarti documented

CSV rapi bukan documentation.

JSON valid bukan documentation.

API schema bukan documentation.

Documentation harus menjelaskan semantics.

Apa arti “active”?

Apa arti “verified”?

Apa definisi “customer”?

Apakah revenue gross?

Apakah price tax included?

Semantics adalah bagian yang paling sering hilang.

Machine bisa parse.

Belum tentu understand.

AI bisa memberi explanation yang salah karena field ambiguous.

Documentation lebih valuable daripada tambahan satu juta record.

Dataset governance butuh owner

Publisher.

Data owner.

Technical owner.

Privacy owner.

Quality reviewer.

Contact.

Kalau ada error, user tahu ke mana.

Public dataset tanpa owner mudah menjadi zombie.

File masih downloadable.

Tidak ada yang maintain.

Data sudah stale.

Website tetap menyebut “official”.

Gunakan status:

Active.

Maintained.

Deprecated.

Archived.

Experimental.

Beta.

Superseded.

Public label membantu expectation.

Correction log juga penting

Jika dataset salah:

Issue ID.

Affected release.

Rows/fields.

Severity.

Correction.

New version.

Changelog.

User notification jika material.

Old version status.

Do not silently replace critical dataset.

User yang sudah download tidak tahu data berubah.

Publish correction note.

RSS/email/GitHub release kalau ada.

Channel sesuai audience.

Dataset yang dipakai AI harus punya usage guidance

Apa dataset cocok untuk training?

Evaluation?

Analytics?

Decision support?

Not suitable for individual decision?

Bias?

License?

Privacy?

High-stakes limitation?

Jangan asumsi semua public data cocok untuk semua AI use.

Usage note bisa mengatakan:

“Dataset ini untuk analisis agregat dan tidak boleh digunakan untuk menentukan eligibility individual.”

Ini tidak menjamin semua user patuh.

Tetapi governance position jelas.

Dataset besar sering mendapat attention.

Dataset documented mendapat trust.

Open data yang matang tidak dinilai dari GB.

Dinilai dari:

Discoverability.

Understandability.

Provenance.

Quality.

Version.

License.

Privacy.

Freshness.

Correction.

Interoperability.

Owner.

Documentation adalah interface antara publisher dan consumer.

Tanpa interface, data hanya file.

Dan di era AI, file tanpa context mudah berubah menjadi confident misunderstanding.

Jadi kalau resource terbatas, pilih satu:

Tambah 10 juta rows.

Atau perbaiki README, schema, data dictionary, version, license, provenance, limitation, dan correction process.

Sering kali pilihan kedua memberi value lebih besar.

Karena dataset publik yang lebih kecil tetapi bisa dipahami, diuji, dikutip, dan dikoreksi jauh lebih berguna daripada dataset raksasa yang memaksa setiap user menebak apa sebenarnya yang mereka download.

Dokumentasi juga perlu contoh, bukan hanya definisi.

Data dictionary menulis:

status: integer.

Tidak cukup.

Tulis:

0 = inactive.

1 = active.

2 = pending verification.

3 = archived.

Lalu jelaskan apakah archived record boleh dihitung dalam total.

Apakah pending berarti belum valid.

Contoh membantu human dan machine consumer menghindari inference yang salah.

Tambahkan sample query atau notebook ringan bila audience technical.

Bukan untuk memamerkan code.

Untuk menunjukkan intended interpretation.

Dataset publik juga perlu citation guidance.

Kalau researcher, media, atau AI system merujuk dataset, bagaimana dataset sebaiknya disebut?

Publisher.

Title.

Version.

Release date.

Persistent identifier jika ada.

License.

Satu citation format mengurangi ambiguity dan membantu attribution.

W3C Data Usage Vocabulary juga dikembangkan untuk menggambarkan penggunaan dataset dan feedback consumer. Tidak semua publisher perlu mengimplementasikannya, tetapi principle-nya menarik: hubungan dataset tidak berhenti saat file di-download. Usage dan feedback dapat menjadi bagian dari ecosystem.

Buat feedback channel.

Issue tracker.

Email.

Form.

GitHub.

User bisa melaporkan:

Schema error.

Missing region.

Wrong definition.

Broken link.

License ambiguity.

Dataset governance yang menerima feedback akan membaik.

Dataset governance juga perlu release criteria.

Sebelum publish:

Schema validated.

Metadata complete.

License approved.

Privacy reviewed.

Quality note written.

Version assigned.

Owner known.

Checksum jika appropriate.

Distribution tested.

Documentation accessible.

Sample checked.

Correction route live.

Tidak harus bureaucracy berat.

Checklist bisa automated.

Yang penting “file berhasil diexport” bukan satu-satunya definition of done.

Untuk dataset yang akan dipakai model AI, evaluation set juga bisa diterbitkan terpisah dari training-like corpus jika tujuan berbeda.

Jangan campur benchmark answer dengan raw source tanpa documentation.

Data leakage antara train, evaluation, dan test bisa membuat performance terlihat tinggi secara palsu.

Public dataset tidak hanya perlu besar.

Ia perlu boundaries yang membuat usage dapat dipertanggungjawabkan.