Arquivos de Categorias: Sem categoria

Como Analisar a Frota de Veículos em Circulação no Brasil

O Denatran publica mensalmente a estatística da frota de veículos circulate no Brasil, com várias visões, sendo que a mais detalhada é a que contém o Estado, Município, Marca/Modelo, Ano de Fabricação e Quantidade de Veículos.

Essa estatística de Janeiro de 2021 é um arquivo ZIP de 117 MB que descompactado gera um arquivo texto de 952 MB e incríveis 17.898.253 linhas. Tentei abrir o arquivo no Excel mas das quase 18 milhões de linhas, ele consegue abrir “apenas” 1.048.576 linhas.

Apelei então para o SQLite pra ler o arquivo CSV em uma tabela em memória e exportar apenas as linhas de uma marca e modelo específicos para um arquivo Excel – tudo isso levou menos de 5 minutos.

Passo a passo:

1 – Abrir o Terminal e entrar no SQLite3:

Last login: Fri Mar 5 13:25:27 on ttys000
The default interactive shell is now zsh.
Henriques-Mini:~ henriquecintra$ sqlite3
SQLite version 3.32.3 2020-06-18 14:16:19
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.

2 – Mudar o modo de leitura para CSV (Comma Separated Values), mas com ponto e vírgula (;) como separador:

sqlite> .mode csv
sqlite> .separator ";"

3 – Importar o arquivo texto para uma nova tabela em memória – eu chamei a tabela de “frota”:

sqlite> .import I_Frota_por_UF_Municipio_Marca_e_Modelo_Ano_Janeiro_2021.TXT frota

4 – Verificar se a estrutura da tabela foi criada corretamente:

sqlite> .schema frota
CREATE TABLE frota(
"UF" TEXT,
"Município" TEXT,
"Marca Modelo" TEXT,
"Ano Fabricação Veículo CRV" TEXT,
"Qtd. Veículos" TEXT
);

5 – Mudar o “output” do SQLite para colunas com cabeçalho e verificar se as primeiras 10 linhas de dados estão corretas na tabela:

sqlite> .header on
sqlite> .mode column
sqlite> select * from frota limit 10;
UF Município Marca Modelo Ano Fabricação Veículo CRV Qtd. Veículos
---------- ---------- ------------ -------------------------- -------------
ACRE ACRELANDIA AGRALE/1800 1989 1.0
ACRE ACRELANDIA AGRALE/1800 1990 1.0
ACRE ACRELANDIA AGRALE/1800D 1989 1.0
ACRE ACRELANDIA AGRALE/1800D 1990 1.0
ACRE ACRELANDIA AGRALE/1800D 1993 1.0
ACRE ACRELANDIA AGRALE/6000 2005 1.0
ACRE ACRELANDIA AGRALE/6000 2008 1.0
ACRE ACRELANDIA AGRALE/6000 2010 1.0
ACRE ACRELANDIA AGRALE/7000D 1994 2.0
ACRE ACRELANDIA AGRALE/7000D 1995 1.0

6 – Contar o número total de linhas na tabela:

sqlite> select count(*) from frota;
17898252

7 – Mudar o “output” do SQLite para Excel:

sqlite> .excel

8 – Abrir (no Excel) o resultado da consulta das linhas cuja Marca seja “Peugeot” e o modelo comece com “208 GT”:

sqlite> select * from frota where "Marca Modelo" like "PEUGEOT/208 GT%";

Algumas curiosidades sobre a frota de veículos emplacados (não considera veículos que deram baixa no Denatran):

  • Existem apenas 631 Peugeot 208 GT dentre os 94.790 Peugeot 208 rodando no Brasil, do total de 1.095.225 Peugeots no país;
  • Tem mais veículos rodando fabricados em 2005 (2.850.701) que veículos fabricados em 2020 (2.731.092);
  • O ano com maior número de veículos fabricados que continuam emplacados é 2011, com 6.051.961;
  • O Brasil tem um total de 110.575.550 veículos emplacados, sendo 10.040.546 importados.

Comunidade

De todas as formas de crescimento pessoal, a vida em comunidade é a mais valiosa.

Posso passar dias trancado em um quarto sem contato com o mundo externo lendo livros ou assistindo a documentários ou meditando e certamente aumentarei meu conhecimento, mas seria tão mais produtivo discutir o aprendizado com outras pessoas pra conhecer outros pontos de vistas!

No sábado fui em uma palestra sobre a qual não sabia o tema a convite de um amigo de infância e os insights sobre comunicação, ética, moral, interpretação e memória foram formidáveis! O audio da palestra foi gravado e pretendo compartilhar quando for disponibilizado.

Minha conclusão final: ouça a experiência e conhecimento de outras pessoas e contribua com suas próprias para que ambos cresçam em aprendizado. Nenhuma ideia é boa o suficiente se não puder ser compartilhada e melhorada por outras pessoas.

Futuro: Educação de Qualidade

Não existe solução mágica para o Brasil, nem solução única para os problemas que perduram há séculos, mas a educação de qualidade é sem dúvidas uma das ações mais importantes pra colocar o nosso país no rumo certo.

Fiquei muito feliz com a notícia de que o Diego Faria Lima, professor e diretor de uma escola no interior de São Paulo está entre os 10 melhores professores do mundo por transformar a vida não só dos alunos da Escola Municipal Darcy Ribeiro quanto da comunidade Jardim Santo Antônio em São José do Rio Preto.

Tenho plena convicção que o Diego e outros profissionais que trabalham em prol da melhoria da qualidade da educação estão contribuindo, no presente, para o futuro que sonhamos. Tenho muito orgulho de vocês!

Em 2017 foi o Wemerson da Silva Nogueira que ficou entre os 10 melhores professores do mundo. Será que teremos mais uma aplicação em 2019?

Saldo de pára-quedas

Que vontade de saltar novamente, mas sozinho!

Velocidade máxima

Qual a velocidade máxima que um ser humano consegue atingir? Algo em torno de 36km/h, não mais que isso. De onde eu tirei isso? O recorde mundial de 100 metros livre é de 9,77 segundos.

Submarino na Internet

É incrível o número de pessoas que procuram a URL de sites em mecanismos de procura… e com erro! Olha alguns exemplos para o Submarino:

Google Neven Vision

Li no blog do Google, eles Google fezeram mais uma aquisição de peso: a empresa Neven Vision, para integrá-la no Picasa e nas buscas de imagens pela web.

Entrei no site da empresa para ver o que eles fazem: identificação biométrica (identifica quem é quem, pelos rostos das pessoas nas fotos), tanto para servidores quanto para celulares.

Assustador ou emocionante?

Documentação de projetos de sistema

Documentos do Word são estáticos, wikis são dinâmicos, um é fácil de usar e muito usado, outro é difícil de configurar e instalar.

Documentações de sistemas que seguem algum processo são baseadas em diversos documentos: plano de empreendimento, atas de reunião, padrão de banco de dados, arquitetura, design, infra-estrutura, segurança, registros de riscos, modelos e especificações de casos de uso, cenários e relatórios de validação de arquitetura, implementação, testes, planos de ambientes, protótipos de interfaces, requisições de mudança, etc.

A utilização de documentos Word para criar essa documentação tem dois problemas estruturais:

  1. não existe uma forma trivial de criar e utilizar templates de documentos Word e muito menos reaproveitar documentos criados a partir de um template. Quando um novo projeto vai ter o conteúdo muito semelhante a outro projeto já realizado, é mais simples duplicar o documento final do projeto já realizado e fazer as alterações do que criar um novo documento a partir do template vazio e copiar trechos de texto de um documento para outro, perdendo-se assim qualquer melhoria que tenha sido realizada no template
  2. ao final do processo temos uma documentação segmentada em inúmeros arquivos, hierarquizados em pastas, interligados apenas por referência textual de um documento a outro

Para organizar esses incontáveis arquivos Word armazenados em pastas, toda documentação deveria ser feita em wiki, abusando de hyperlinks, mas para isso precisaríamos de uma plataforma wiki extremamente simples, com controle de versão transparente e excelente usabilidade.

A possibilidade de utilizar formulários para a entrada de informações no wiki a partir de templates dos documentos, além de poder “herdar” outros documentos já produzidos torna a abordagem wiki para documentação extremamente atraente.

Ganharíamos com isso velocidade na criação de novos projetos, melhor navegação entre as interdependências dos diversos documentos e o que é melhor, documentação padronizada e facilmente acessível.

del.icio.us, favoritos & intranet

O del.icio.us é fantástico, mas tem dois "contras”. Um é inerente a qualquer serviço pela Internet: pode ficar fora do ar. O outro é que não funciona bem para endereços locais ou dentro de uma Intranet, além de comprometer a segurança por deixar público informações sobre estrutura interna de endereços.

A melhor solução para esses contras seria sincronizar os links do del.icio.us com um pendrive e incluir no pendrive os favoritos locais e da Intranet. Se alguém souber como fazer isso, deixe um comentário.

Lista Blogosfera

O Fábio Seixas propôs (e colocou em prática) a criação de uma lista de discussão para a comunidade blogueira no Brasil . Nasceu assim a lista blogosfera.

Estamos discutindo inúmeros assuntos interessantes nela:

  • Apresentação dos blogueiros da lista
  • Monetarização de blogs (AdSense, programas de afiliados, etc.)
  • O que é blog de qualidade (pertinência, assiduidade, visitas, comentários, etc.)
  • Profissionalização de blogs (trabalhar com blog, associação, etc.)
  • Blogs generalistas vs Blogs especialista (blogar sobre trabalho, diário do cotidiano, reblog, blogs técnicos, etc.)
  • Troca de links (sites brasileiros como Slashdot ou BoingBoing, plugins para WordPress, etc.)
  • Sugestão de criação de podcast e logotipo/selo para a lista

Coloquei no meu bloglines todos os blogs do pessoal da lista blogosfera que têm feed.

Político Honesto

Esse ano vou votar em um político honesto para presidente, governador e deputado!

PCC falando na Globo

Caramba, está no agora, no meio do Plantão Globo um cara do PCC vestido com touca ninja, lendo uma carta pedindo o fim do RDD (Regime Disciplinar Diferenciado). Eles só conseguiram isso pois sequestraram um auxiliár técnico da TV Globo e o repórter Guilherme de Azevedo Portanova e só vão soltar o repórter se o vídeo for exibido na íntegra.

Vou procurar a íntegra do texto e o vídeo no YouTube.

Isso é tática de guerrilha, estamos perdidos!

Insanidade total

O que motiva dublês a fazerem cenas como essas?

Bandidos & Polícias

Essa notícia no Globo.com sobre roubos de aparelhos de CD em carros é de entristecer o mais otimista e revoltar o mais equilibrado.

Bloglines

Finalmente aderi ao Bloglines e deixei meu Blogroll público.

%d blogueiros gostam disto: