Mineração de Nuvens

Standard

A mineração de dados é o mais importante conjunto de tecnologias que estão sendo desenvolvidas em nossos dias. É diretamente responsável por quase todas as surpresas que temos todos os dias na Internet. Hoje, por acaso, uma empresa de vendas online me enviou uma promoção de um item que pesquisei ontem em várias outras lojas. Pura coincidência, ou um dos melhores exemplos de troca de informações e mineração de dados que vi este ano. E vemos isso todos os dias.

Drowning by numbers
photo credit: Jorge Franganillo

O R é uma linguagem de programação para estatística e mineração de dados que, nos últimos dois anos tomou de assalto as mentes, e corações de milhões de pesquisadores, cientistas de dados, mineradores, gerentes e estudantes. Baseado em uma ferramenta proprietária, foi desenvolvido e é distribuído em software livre. Permitindo a criação de rotinas, algoritmos e testes de validade ou classificação extremamente rápidos. Eu disse linguagem de programação? Fui modesto, trata-se de um verdadeiro ambiente de desenvolvimento.  Acrescente outra ferramenta livre, o RStúdio, teremos, além do ambiente de desenvolvimento, uma ide amigável e boa qualidade. Ainda assim há um problema.

Algoritmos de mineração de dados requerem grande capacidade de processamento e espaços gigantescos de memória. Para você ter uma idéia no meu modesto dual core, com 4 gigas, minerar exceções em apenas 2000 linhas gastou 2 giga bytes de memória e 45 segundos. Tempo e recursos inaceitáveis para ambientes de produção e mesmo para pesquisas um pouco mais complexas.

Qual não foi minha surpresa ao descobrir que posso minerar dados de graça nas núvens usando um ambiente com capacidades centenas de vezes maior que o meu? A Coudnumbers oferece 2GBytes de armazenamento para seus dados e scripts, 2GBytes de tráfico e 5 horas de processamento por mês, totalmente grátis. Aquela mineraçãozinha de 2000 linhas levou só 8s e acredito que a maior parte deles tenha sido gasta enviando e recebendo dados. Minha internet também não é lá estas coisas. Não conhece o R, não se preocupe, eles aceitam também Python e C/C++ entre outras.

Bons dados o tragam.

A mineração de dados é o mais importante conjunto de tecnologias que estão sendo desenvolvidas em nossos dias. É diretamente responsável por quase todas as surpresas que temos todos os dias na Internet. Hoje, por acaso, uma empresa de vendas online me enviou uma promoção de um item que pesquisei ontem em várias outras lojas. Pura coincidência, ou um dos melhores exemplos de troca de informações e mineração de dados que vi este ano. E vemos isso todos os dias.

Facebook abre a estrutura de hardware

Standard

OpenCompute-Logo-Main Em mais uma grande iniciativa em favor do desenvolvimento de novas tecnologias, a equipe de desenvolvimento do Facebook criou o projeto Open Compute Project e abriu a tecnologia desenvolvida para a criação de servidores de alto desempenho.

Estão lá as especificações e projetos que incluem desde o chassis até a fonte, passando pelo motherboard em si. Como eles mesmo dizem no vídeo de lançamento. Prontos para que você mesmo possa criar máquinas mais eficiente, criticar o projeto deles e ajudar a criar um mundo mais eficiente.

Esta é a segunda ação digna de nota do Facebook em direção a abertura de divulgação de tecnologias únicas da empresa. A primeira, o projeto HipHop já mudou a forma como distribuímos aplicativos em php. Resta-nos torcer pelo sucesso do OpenServer.

Cúpula de Código Aberto Patrocinada pela NASA

Standard

524737main_oss_logo_halfNos dias 29 e 30 de Março de 2011, acontecerá na NASA a primeira cúpula de código aberto patrocinado pela agência espacial americana.

O objetivo é fomentar discussões com expoentes do código aberto e engenheiros e técnicos da Nasa que ajudem a agência a adotar mais soluções de código aberto em seus projetos.

 

Entre os participantes já confirmados estão:

 

Portrait of Pascal Finette Pascal Finette, Mozilla                    Portrait of Bob Sutor  Dr. Robert Sutor, IBM

Portrait of Brian Stevens Brian Stevens, RedHat                    Portrait of Chris Wanstrath Chris Wanstrath, GitHub

 

Há alguns anos a Nasa está engajada no uso de código aberto. Alguns softwares desenvolvidos por eles podem ser encontrados aqui. O mais interessante que conheço, usado pela Nasa e pelo exército americano é o BRL-CAD.  Entre usar e incentivar e promover uma cúpula há uma grande diferença.

Dell libera o OpenManage para o Ubuntu

Standard

Em um comunicado oficial em seu site de tecnologia a Dell informa que está liberando o OpenManage server administrator para Ubuntu.

Chris Powell Ubuntu Tattoo
Creative Commons License photo credit: Myles Braithwaite

O OpenManager Server Administrator (0MSA) é um aplicativo com interface web para a gestão de servidores, madura e segura que agora pode ser instalada nativamente via apt nos seus servidores Ubuntu.

Se você não conhece, deveria testar, pelo menos.

Além de mim, tem mais alguém por aqui que usa servidores Ubuntu? Ou que goste de paraquedismo?

Anúncio oficial.

Documentação.

Removendo audio de um vídeo

Standard

Todos os dias me surpreendo mais com as opções da linha de comando. Não me entenda mal. Ainda acho que fazer qualquer coisa na linha de comando é coisa pré histórica e deveria ser assunto de museu. Contudo, todos os dias acabo caindo na maldita tela preta.

Working
Creative Commons License photo credit: totalAldo

Hoje, precisei gravar a trilha de áudio de um vídeo em mp3 para ouvir no celular. Nada mais simples, qualquer débil mental consegue fazer isso. Existem por ai uma centena de aplicativos para isso. O único problema é que não conheço nenhum deles, nunca fiz isso antes e não tinha tempo para pesquisar. Esse foi o momento que lembrei do ffmpeg então…

Como minha máquina não o tinha tive que instalá-lo.

sudo apt-get install ffmpeg

Depois fui forçado a ler o man para entender o programa que nunca tinha usado antes e, cinco minutos depois digitei

ffmpeg -i arquivovideo.mp4 -vn -ar 44100 -ac 2 -ab 192 -f mp3 arquivoaudio.mp3

Só de ódio eu movi para o celular na linha de comando.  E lhe dou mais 4 comandos interessantes.

Para converter avi para flv
ffmpeg -i video.avi -ab 56 -ar 44100 -b 200 -r 15 -s 320×240 -f flv video.flv

Para converter avi em mpg
ffmpeg -i video.avi video.mpg

Para converter wav em mp3
ffmpeg -i son_origine.avi -vn -ar 44100 -ac 2 -ab 192 -f mp3 son_final.mp3

Para converter um vídeo em um conjunto de imagens estáticas
ffmpeg -i video.mpg image%d.jpg

E olha que como estava com pressa não li nem a metade do manual….:) Deus! Eu odeio a linha de comando.