公開データを収集するときに出典・基準日・単位を記録する

01後から同じデータを見つけられるよう記録する

report に使う data を見つけたら、その場で1 row を記録します。data title, provider, detail URL を一緒に残しておけば、後から同じ data を再度開けます。numbers をコピーする前に、その data が何を表し、いつ時点のもので、どの unit なのかも記録してください。

この記事の source_ledger.csv は data の context を記録するための table です。numbers を自動収集したり、data が current かどうかを判断したりする機能はありません。実際の crawling, API calls, account connections は行っていません。

023種類の日付と単位を区別する

portal の modified date が data の reference date と同じだと考えないでください。monthly または annual data のように期間を扱う場合は、start and end dates と cumulative かどうかを scope_definition に追加します。reference date が表示されていない場合、today's date で代用せず、確認が必要な状態として残してください。

0314 columns それぞれの役割

source_url には search result address ではなく、data の detail page を記録します。license_url には実際に適用される terms を確認した場所を記録します。file を download した場合は、file name と version も scope_definition または follow_up に記録してください。

04template を使って1件を記録する

1. ZIP を展開し、source_ledger.csv を copy して working file を作ります。original template は保持します。
2. CSV import では UTF-8 を選び、ID, date, URL columns を text として import します。この file には column widths や colors は保存されません。
3. 3つの fictional example rows を確認した後、real data 用の row を追加します。R001 など重複しない record_id を選び、data_kind を real data に設定します。
4. source を自分で開いて title と provider を確認し、detail URL を copy します。その後、reference date, publication date, actual access date, unit, counting scope を記録します。
5. data の permitted scope of use と required attribution を確認し、license_url と license_note に記録します。韓国公共データポータルの usage policy と KOGL license type guide は、下の official references にリンクしています。
6. unknown items は blank のままにし、check status と next item to check を記録します。working file を別名の UTF-8 CSV として保存し、再度開いて確認します。

韓国公共データポータルの data detail screen には provider, modified date, permitted scope of use などの items が表示されます。reference documents にある actual detail page を使って、それらの item names を別々に読む練習ができます。その page は fictional examples の source ではありません。

05付属 example が表すもの

3つの example rows はどれも record check complete には設定されていません。blank は 0 や not applicable を意味するのではなく、確認できなかったことを意味します。real statistics 用の column は作成していないため、examples を numbers の evidence として引用することはできません。

最終結果は automatic report ではなく、source を再度見つけ、残っている check items を追跡できる source list です。

06レポートで data を使う前の checklist

• URL を自分で開き、記録した title と provider と同じ data であることを確認します。
• reference date, publication date, actual access date がそれぞれ正しい column に入っていることを確認します。
• people と cases、KRW と thousand KRW、monthly と cumulative など、異なる units や scopes を1つの value として比較していないことを確認します。
• data の terms of use と attribution requirements を確認したか見直します。
• unique IDs が重複しておらず、fictional demonstration data が実際に引用する records に混ざっていないことを確認します。
• source URL、3つの日付、unit、definition、terms of use を実際に確認した rows だけを record check complete に変更します。確認できない item が1つでもあれば、別の status のままにします。

download に含まれる CHECKLIST.txt には同じ check procedure と recommended status values が記載されています。record check complete は work status であり、data の accuracy や currency、すべての用途に対する permission を保証するものではありません。

07よくある記録ミス

08手動リストの制限

• CSV には automatic input validation や change history がありません。status value を書いても check 自体は実行されません。
• changes, withdrawals, moved links を自動検出しません。使用するときに source を再確認してください。
• 同じ unit と reference date でも、survey target や counting definition が異なる場合があります。original description を読んだ後、comparability を別途判断します。
• この記事は sources の記録方法を説明するものです。real statistics の収集や検証、terms of use に関する個別の legal judgment は行っていません。

実行・検証の記録

template structure は Windows 11 (10.0.26200) の CPython 3.12.14 で csv, json, datetime 標準ライブラリを使って確認しました。ユーザーは Python なしでも CSV を編集できます。

• 14 CSV columns, 3 fictional records, unique IDs, date formats を確認しました
• fictional data labels、未確認のため blank の URLs と access dates、missing items と statuses の対応を確認しました
• README, checklist, article 間で file names と column names が一致していることを確認しました
• official usage policy, license type guide, metadata screen links を web で確認しました

サイト全体の執筆・検証方針

参考資料

説明と例は独自に作成しました。関連する動作や概念は、以下の公式資料で確認できます。

• 韓国公共データポータル — 公共データ利用ポリシー ↗ (New tab)
• KOGL（Korea Open Government License）— ライセンスタイプと利用条件 ↗ (New tab)
• 韓国公共データポータル — detail metadata screen の例（fictional records の source ではありません） ↗ (New tab)