Quem coleta big data e por quê?

No outono de 2019, estourou um escândalo com o serviço Apple Card: ao se cadastrar, emitia limites de crédito diferentes para homens e mulheres. Até Steve Wozniak estava sem sorte:

Um ano antes, foi revelado que a plataforma Netflix mostra aos usuários diferentes pôsteres e teasers, dependendo do gênero, idade e nacionalidade. Por isso, o serviço foi acusado de racismo.

Por fim, Mark Zuckerberg é regularmente repreendido por supostamente coletar, vender e manipular os dados de seus usuários pelo Facebook. Ao longo dos anos, ele foi acusado e até julgado por manipulação durante as eleições americanas, auxiliando os serviços especiais russos, incitando ódio e opiniões radicais, publicidade imprópria, vazando dados de usuários, obstruindo investigações contra pedófilos.

postagem no Facebook por zuck

Ao mesmo tempo, o serviço online Pornhub publica anualmente relatórios sobre que tipo de pornografia procuram pessoas de diferentes nacionalidades, sexo e idade. E por algum motivo isso não incomoda ninguém. Embora todas essas histórias sejam semelhantes: em cada uma delas estamos lidando com big data, que no século XNUMX é chamado de “novo petróleo”.

Big data – também são big data (eng. Big Data) ou metadados – é uma matriz de dados que chega regularmente e em grandes volumes. Eles são coletados, processados ​​e analisados, resultando em modelos e padrões claros.

Mas o big data na web não é apenas estatística para pesquisa científica. Eles podem ser usados ​​para rastrear como usuários de diferentes grupos e nacionalidades se comportam, no que prestam atenção e como interagem com o conteúdo. Às vezes, para isso, os dados são coletados não de uma fonte, mas de várias, comparando e identificando certos padrões.

Sobre a importância do big data na rede, eles começaram a falar quando realmente havia muito. No início de 2020, havia 4,5 bilhões de internautas no mundo, dos quais 3,8 bilhões estavam registrados em redes sociais.

Segundo pesquisas, mais da metade de nossos países acredita que seus dados na rede são usados ​​por terceiros. Ao mesmo tempo, muitos postam informações pessoais, fotos e até um número de telefone em redes sociais e aplicativos.

Precisa ser explicado aqui: a primeira pessoa é o próprio usuário, que coloca seus dados em qualquer recurso ou aplicativo. Ao mesmo tempo, ele concorda (coloca uma marca no contrato) com o processamento desses dados segunda parte – ou seja, os proprietários do recurso. Um terceiro é aquele a quem os proprietários do recurso podem transferir ou vender dados do usuário. Freqüentemente, isso está escrito no contrato do usuário, mas nem sempre.

O terceiro são agências governamentais, hackers ou empresas que compram dados para fins comerciais. Os primeiros podem obter dados por decisão de um tribunal ou autoridade superior. Os hackers, é claro, não usam nenhuma permissão – eles simplesmente hackeiam os bancos de dados armazenados nos servidores. As empresas (por lei) só podem acessar os dados se você permitir – marcando a caixa sob o contrato. Caso contrário, é ilegal.

O big data no campo comercial é usado há décadas, mas não era tão intenso quanto agora. São, por exemplo, registos de câmaras de vigilância, dados de navegadores GPS ou pagamentos online. Agora, com o desenvolvimento das redes sociais, serviços e aplicativos online, tudo isso pode ser conectado e obter a imagem mais completa: onde moram os clientes em potencial, o que gostam de assistir, para onde vão de férias e que marca de carro têm.

A partir dos exemplos acima, fica claro que, com a ajuda de big data, as empresas, antes de tudo, desejam segmentar anúncios. Ou seja, oferecer produtos, serviços ou opções individuais apenas para o público certo e até customizar o produto para um usuário específico. Além disso, a publicidade no Facebook e em outras grandes plataformas está se tornando cada vez mais cara, e mostrá-la a todos em uma fila não é nada lucrativa.

Mas há outra tarefa importante que vem sendo travada nos últimos anos: aproximar-se do público mais solvente. Isso não é tão fácil de fazer, embora a tarefa seja significativamente facilitada pelos serviços de pagamento e cheques eletrônicos por meio de um único OFD (operador de dados fiscais). Para chegar o mais próximo possível, as empresas até tentam rastrear e “nutrir” potenciais clientes desde a infância.: através de jogos online, brinquedos interativos e serviços educativos.

As maiores oportunidades para coleta de dados são de corporações globais que possuem vários serviços ao mesmo tempo. O Facebook já tem mais de 2,5 bilhões de usuários ativos. Ao mesmo tempo, a empresa também possui outros serviços: Instagram – mais de 1 bilhão, WhatsApp – mais de 2 bilhões e outros.

Mas o Google tem ainda mais influência: o Gmail é usado por 1,5 bilhão de pessoas no mundo, outros 2,5 bilhões pelo sistema operacional móvel Android, mais de 2 bilhões pelo YouTube. E isso sem contar a pesquisa do Google e os aplicativos do Google Maps, a Google Play Store e o navegador Chrome. Resta apertar seu banco online – e o Google poderá saber literalmente tudo sobre você. Aliás, o Yandex já está um passo à frente nesse quesito, mas abrange apenas o público de língua russa.

???? Em primeiro lugar, as empresas se interessam pelo que postamos e curtimos nas redes sociais. Por exemplo, se o banco perceber que você é casado e gosta ativamente de garotas no Instagram ou no Tinder, é mais provável que você aprove um empréstimo ao consumidor. E a hipoteca da família acabou.

Também é importante em quais anúncios você clica, com que frequência e com que resultado.

(Ie O próximo passo são as mensagens privadas: elas contêm muito mais informações. As mensagens vazaram no VKontakte, Facebook, WhatsApp e outros mensageiros instantâneos. Segundo eles, aliás, é fácil rastrear a geolocalização na hora de enviar a mensagem. Certamente você notou: quando você discute sobre comprar algo ou apenas pedir uma pizza com alguém, uma publicidade relevante aparece imediatamente no feed.

🚕 Big data é usado ativamente e “vazado” por serviços de entrega e táxi. Eles sabem onde você mora e trabalha, o que você ama, qual é sua renda aproximada. O Uber, por exemplo, mostra o preço mais alto se você estiver dirigindo do bar para casa e obviamente exagerar. E quando você tem um monte de outros agregadores no seu celular, ao contrário, eles vão oferecer outros mais baratos.

(Ie Existem serviços que usam fotos e vídeos para coletar o máximo de informações possível. Por exemplo, bibliotecas de visão computacional – o Google tem uma. Eles examinam você e seus arredores para ver seu tamanho ou altura, quais marcas você veste, que carro dirige, se tem filhos ou animais de estimação.

(Ie Aqueles que fornecem gateways de SMS aos bancos para suas correspondências podem rastrear suas compras no cartão – sabendo os últimos 4 dígitos e um número de telefone – e depois vender esses dados para outra pessoa. Daí todo esse spam com descontos e pizza de presente.

🤷️️ Por fim, nós mesmos vazamos nossos dados para os serviços e aplicativos esquerdos. Lembre-se daquele hype em torno do Getcontact, quando todos ficavam felizes em preencher seu número de telefone para descobrir como ele foi escrito por outras pessoas. E agora encontre o acordo deles e leia o que eles dizem sobre a transferência de seus dados (spoiler: os proprietários podem transferi-los a terceiros a seu critério):

Corporações conseguem coletar e até vender dados de usuários com sucesso por anos, até chegar a um processo judicial – como aconteceu com o mesmo Facebook. E então o papel decisivo foi desempenhado pela violação do GDPR pela empresa - uma lei da UE que restringe o uso de dados com muito mais rigor do que a americana. Outro exemplo recente é o escândalo do antivírus Avast: um dos serviços subsidiários da empresa coletou e vendeu dados de 100 a 400 milhões de usuários.

Mas tudo isso tem alguma vantagem para nós?

Sim, há um lado bom também.

Big data ajuda a capturar criminosos e prevenir ataques terroristas, encontrar crianças desaparecidas e protegê-las do perigo.

Com a ajuda deles, nós recebemos ofertas legais de bancos e descontos pessoais. Graças a eles nós não pagamos por muitos serviços e redes sociais que ganham apenas com publicidade. Caso contrário, o Instagram sozinho nos custaria vários milhares de dólares por mês.

Por fim, às vezes é apenas conveniente: quando os serviços já sabem onde você está e o que deseja, e você não precisa procurar as informações de que precisa.

Outra área promissora para a aplicação de Big Data é a educação.

Em uma das universidades americanas da Virgínia, foi realizado um estudo para coletar dados sobre alunos do chamado grupo de risco. São aqueles que estudam mal, faltam às aulas e estão prestes a desistir. O fato é que nos estados todos os anos cerca de 400 pessoas são deduzidas. Isso é ruim tanto para as universidades, que têm suas notas rebaixadas e seus financiamentos cortados, quanto para os próprios alunos: muitos fazem empréstimos para educação, que, descontados, ainda terão que ser pagos. Sem falar no tempo perdido e nas perspectivas de carreira. Com a ajuda de big data, é possível identificar os atrasos no tempo e oferecer a eles um tutor, aulas adicionais e outras assistências direcionadas.

Isso, aliás, também serve para escolas: aí o sistema vai avisar professores e pais – eles falam, a criança está com problemas, vamos ajudar juntos. O Big Data também ajudará você a entender quais livros didáticos funcionam melhor e quais professores explicam o material com mais facilidade.

Outro exemplo positivo é o perfil de carreira.: é quando os adolescentes são ajudados a decidir sobre sua futura profissão. Aqui, o big data permite coletar informações que não podem ser obtidas com os testes tradicionais: como o usuário se comporta, no que ele presta atenção, como ele interage com o conteúdo.

Nos mesmos EUA, existe um programa de orientação de carreira – SC ACCELERATE. Ele, entre outras coisas, usa a tecnologia CareerChoice GPS: eles analisam dados sobre a natureza dos alunos, suas inclinações para assuntos, pontos fortes e fracos. Os dados são usados ​​para ajudar os adolescentes a escolher as faculdades certas para eles.

Inscreva-se e siga-nos no Yandex.Zen — tecnologia, inovação, economia, educação e compartilhamento em um canal.