Registre a fonte, a data de referência e as unidades ao coletar dados públicos
Em vez de coletar apenas um título e uma URL, registre em uma única linha a data de referência, a data de publicação, a data de acesso, as unidades e os termos de uso. Inclui um modelo CSV e uma checklist que não exigem código.
Conteúdo verificado 2026.09.19Inclui arquivos de exemplo
Ver o sumário
A tradução foi feita com IA. Confira o código, as unidades e os valores junto com o original. A revisão por falantes nativos de cada idioma ainda não foi concluída. English
Para quem éIniciantes que encontram e organizam dados públicos por conta própria para relatórios, pesquisa de mercado ou trabalhos acadêmicos
Preparação
Prepare um editor de planilhas capaz de abrir arquivos CSV e um navegador web. Python não é necessário.
Extraia o ZIP baixado e verifique source_ledger.csv, README.txt e CHECKLIST.txt.
Os 3 records incluídos são dados fictícios de demonstração e não contêm estatísticas reais.
01Registre os dados para conseguir encontrá-los novamente
Quando encontrar data para usar em um report, registre uma row naquele momento. Manter juntos data title, provider e detail URL permite abrir os mesmos data novamente depois. Antes de copiar numbers, escreva também o que os data descrevem, a que data se referem e em que unit estão.
source_ledger.csv neste artigo é uma table para registrar o context dos data. Ele não tem função para coletar numbers automaticamente nem julgar se os data estão current. Nenhum crawling, API call ou account connection real foi realizado.
02Diferencie três datas e as unidades
Item
Significado
Exemplo ou regra de preenchimento
reference_date
A data de referência descrita pelos data
2026-03-31 (fictional example)
published_date
O dia em que os data foram publicados
2026-04-10 (fictional example)
checked_date
O dia em que você realmente abriu e verificou a source
Blank até você abrir
unit
A unidade em que os values são contados ou medidos
Como escrito na source, como items, people, cases, KRW ou thousand KRW
Não presuma que a modified date de um portal é igual à reference date dos data. Se os data cobrirem um period, como dados monthly ou annual, adicione as start and end dates e se são cumulative em scope_definition. Se nenhuma reference date for mostrada, não substitua por today's date; deixe como necessitando confirmação.
03A função de cada uma das 14 colunas
Grupo de colunas
CSV columns
O que registrar
Record type
record_id, data_kind
Unique ID e se os data são fictional ou real
Source
source_title, publisher, source_url
Original title, provider e detail URL
Dates
reference_date, published_date, checked_date
Reference date, publication date, actual access date
Interpretation
unit, scope_definition
Unit, target, region e counting definition
Terms of use
license_url, license_note
Onde estão os terms of use dos data e o que foi verificado
Progress
verification_status, follow_up
Check status e o próximo item a verificar
Em source_url, coloque a detail page dos data em vez de uma search result address. Em license_url, registre onde você confirmou os terms que realmente se aplicam. Se baixou um file, escreva também o file name e version em scope_definition ou follow_up.
04Registre um item usando o modelo
Extraia o ZIP e copie source_ledger.csv para criar um working file. Mantenha o original template.
Na importação do CSV, escolha UTF-8 e importe as columns de ID, date e URL como text. Este file não salva column widths nem colors.
Depois de verificar as 3 fictional example rows, adicione uma row para real data. Escolha um record_id que não se sobreponha, como R001, e defina data_kind como real data.
Abra a source você mesmo para confirmar title e provider e copie a detail URL. Depois escreva reference date, publication date, actual access date, unit e counting scope.
Verifique o permitted scope of use e a required attribution dos data e registre-os em license_url e license_note. A usage policy do Korean Public Data Portal e o KOGL license type guide estão vinculados nas official references abaixo.
Deixe unknown items em blank e escreva o check status e o que verificar em seguida. Salve o working file como um CSV UTF-8 com outro nome e depois reabra para verificar.
A data detail screen do Korean Public Data Portal mostra items como provider, modified date e permitted scope of use. Você pode usar a actual detail page nos reference documents para praticar a leitura desses item names separadamente. Essa page não é a source dos fictional examples.
05O que os exemplos incluídos representam
ID
Dados fictícios
Principais itens em branco
Status de verificação
EX001
Facilities in fictional region A
Source URL, access date, terms-of-use URL
Source not checked
EX002
Received requests in fictional region B
Common unchecked items + reference date
Reference date needs checking
EX003
Usage in fictional region C
Common unchecked items + unit
Unit needs checking
Nenhuma das 3 example rows está marcada como record check complete. Um blank não significa 0 nem not applicable; significa que não pôde ser verificado. Nenhuma column para real statistics foi criada, portanto os examples não podem ser citados como evidence de numbers.
O result final não é um automatic report, mas uma source list que permite encontrar a source novamente e acompanhar os check items restantes.
06Checklist antes de usar dados em um relatório
Abra você mesmo a URL e verifique se são os mesmos data do title e provider registrados.
Verifique se reference date, publication date e actual access date estão cada uma na column correta.
Verifique se você não comparou units ou scopes diferentes como um único value, como people e cases, KRW e thousand KRW, ou monthly e cumulative.
Revise se você verificou os terms of use e attribution requirements dos data.
Verifique se os unique IDs não se sobrepõem e se fictional demonstration data não foram misturados ao que você realmente cita.
Altere para record check complete apenas as rows em que você realmente revisou source URL, as três dates, unit, definition e terms of use. Se qualquer item não puder ser verificado, mantenha outro status.
CHECKLIST.txt no download contém o mesmo check procedure e recommended status values. record check complete é um work status; não garante a accuracy ou currency dos data nem permission para todos os purposes of use.
07Erros comuns de registro
Problema
Como corrigir
A source tem apenas o portal name
Mantenha juntos original title, provider e detail URL.
A reference date foi sobrescrita pela access date
Restaure a reference date para o ponto no tempo dos data e coloque a actual access date em checked_date.
Apenas uma modified date aparece, mas foi registrada como publication date
Não adivinhe published_date; escreva em follow_up que apenas a modified date foi verificada.
Thousand KRW foi copiado como KRW
Mantenha a original unit e, se conversion for necessária, mantenha calculation evidence separada.
Blanks foram preenchidos com 0
Represente values que você não conseguiu verificar com blank e um needs-checking status.
Dates e Korean text no CSV mudaram
Na importação, escolha UTF-8 e text columns, depois salve e reabra.
08Limites de uma lista manual
Um CSV não tem automatic input validation nem change history. Escrever um status value não executa a verificação.
Ele não detecta automaticamente changes, withdrawals ou moved links. Verifique novamente a source quando utilizá-la.
Mesmo com a mesma unit e reference date, survey target ou counting definition podem ser diferentes. Avalie comparability separadamente após ler a original description.
Este artigo explica uma forma de registrar sources. Ele não coletou nem verificou real statistics nem fez individual legal judgments sobre terms of use.
Registro de execução e verificação
A estrutura do modelo foi verificada com as bibliotecas padrão csv, json e datetime no CPython 3.12.14 em Windows 11 (10.0.26200). Os usuários podem editar o CSV sem Python.
Foram verificadas 14 CSV columns, 3 fictional records, unique IDs e date formats
Foram verificados os fictional data labels, URLs e access dates em branco por não estarem verificados e se os statuses correspondem aos missing items
Foi verificado que file names e column names correspondem entre README, checklist e article
Foram verificados na web a official usage policy, license type guide e metadata screen links
Limites da verificação
Nenhum crawling, account connection, API call ou data download real foi realizado.
Não foram verificadas real statistics, a validade de longo prazo dos links nem como o aplicativo Excel exibe o CSV.
O código de exemplo, os nomes de arquivos e as chaves de entrada são mantidos como no original. Consulte também os comandos e os procedimentos de conferência do texto traduzido.
Material de prática original · Guarde os arquivos originais separadamente antes de executar.
Fontes de referência
As explicações e os exemplos são de elaboração própria. Os comportamentos e conceitos relacionados podem ser consultados nas fontes oficiais abaixo.
Separe IDs duplicados de respostas em branco em 10 respostas sintéticas. Informe o denominador das respostas válidas e salve em um novo arquivo as contagens e porcentagens por opção, além dos motivos de exclusão.
Mantenha uma pequena lista de referências de pesquisa em CSV, normalize o texto DOI para comparação e gere um arquivo de revisão para valores DOI duplicados e ausentes. O workflow preserva o CSV original e não afirma que um DOI é válido apenas porque está presente.
Documente o significado de cada coluna do conjunto de dados antes da análise, incluindo unidade, tipo de dado e valores permitidos. Um pequeno conjunto de dados sintético mostra como o mesmo dicionário também pode servir para uma validação automática simples.