Вопрос про логи

[prog90]

Слышал, что у правительств некоторых стран, есть интенция логировать информацию всех жителей страны. Чтобы потом например если что в один раз найти все что нужно про кого-нибудь.
А реально ли это? Например, сидит кто-то 10 лет у одного провайдера, и тот записывает подряд не только сайты посещенные, но вообще всю информацию текстовую (запросы поисковика, общение вконтакте, в аське и где бы то ни было), медиа (фотографии передаваемые в соц сети, скачиваемые фото друзей, вебкамера и т.д.). Интересно сколько бы нужно было места на одного человека в год, например?
Наверное, немного. Меньше 1 Гб. А если людей 100 млн., то 100 млн. * 1Гб = 100 млн Гб. Это примерно диск который IBM разрабатывала в 2011 году или уже разработала:
Диск на 120 петабайт

Реально ли такое?

 

[WMix]

а если немножечко проверять инфу на то что уже существует? ты точно в год генеришь в инете 1GB?
уже в течении 5 лет у меня гуг маил, и я не перешел 1 GB а там и фотки и пдф документы...
You are currently using 1547 MB (14%) of your 10317 MB
а не перешел ))

 

[prog90]

Подожди, а там в контакте или в аське, или в скайпе общение идет гораздо интенсивнее, мне кажется.
Т.е. кто в контакте переписывается может много написать. Но вот сколько это Мб трудно сказать.
А если еще вебкамеру записывать. Или скриншоты делать?
И еще как отделить поток общения и запросов от потока просто - скачиваемых файлов, фильмов, загрузки сайтов. Наверное, тут однозначного правила нет, и можно перепутать - передачу камеры с передачей видеофильма онлайн. И текст общения перепутать с загрузкой страницы. Потому что обращение идет к одному сайту. У одного назвыается message.php, а у другого как-нибудь по-другому. А страница с музыкой называется execmall.php, например, так что заранее не отделить.
А если еще google https сейчас шифрует?
Наверное провайдер может разобрать только, если установит незаметно от пользователя ПО на компьютер. Для перехвата до поступления данных по протоколам.

 

[WMix]

отбросим вопрос как они делают, там професора и институты работают.... зададимся вопросом, сколько места нужно чтоб уложить всю карту мира от гугл вместе с streetview и моделями...
c добавим переписку по mail и то что накопал жук ходя по страничкам... понимаем, это очень много...
Диск на 120 петабайт... что за бред можно и по 1 терабайту на множество машин расскидать, причем даже не своих, а покупать место... шифровать, зжимать и держать каталоги с хешами итд.

вопрос что можно собирать, правильно ты заметил все что ходит по нету в незашифрованном виде...
как отличать кино от вебкамеры, уже давно существует способы опознования лиц, текста на картинке, есть возможность найти картинку внутри другой картинки,
так как видео это набор картинок, можешь взять любую и поискать на уже существующую... да нужен анализ, да не все возможно, но ой блин как много....

 

[prog90]

как отличать кино от вебкамеры, уже давно существует способы опознования лиц, текста на картинке, есть возможность найти картинку внутри другой картинки,

Да, но вряд ли хватит мощности на то, чтобы анализировать онлайн все видео идущее через интернет. Такое возможно но уже на конкретного человека. А при массовом логировании вряд ли смогут анализировать. И еще - вебкамеры могут снимать не лицо, а потолок или ( =)) ) что-то другое. А в видеофильмах или клипах могут быть лица или лицо

 

[флоппик]

Да, но вряд ли хватит мощности на то, чтобы анализировать онлайн все видео идущее через интернет

Хочу напомнить, что на днях ютуб на днях включил распознавание речи для автоматических субтитров на русском языке. Но суть конечно в том, что вы — Неуловимые Джо.

 

[WMix]

prog90
ерунда все это, каждый кадр имеет хеш, найти этот хеш, уже сокращение пойска 1:16³² дальше анализ... неполучилось прыгни на 30 кадров возьми след картинку и повтори алгоритм...
по первым кадрам можно сказать источник этого видео

 

[prog90]

Флоппик,
В смысле?) Т.е. людей все равно не проанализировать.

 

[prog90]

prog90
ерунда все это, каждый кадр имеет хеш, найти этот хеш, уже сокращение пойска 1:16³² дальше анализ... неполучилось прыгни на 30 кадров возьми след картинку и повтори алгоритм...
уж видеофильмы давно просчитаны.. и по первым кадрам можно сказать источник этого видео

Ну и что, а найти хеш где? Взял видеофильм, кадр - хеш. А потом где я этот хеш должен искать? С чем сравнивать? Или хеш фотографии лица такой же как кадра с вебкамера - так вряд ли может быть. Их сравнить очень тяжело. И в любом случае нужно следить за конкретным человеком, а в массовом потоке людей - невозможно, наверное, автоматизировать где была его фото, а где фото знакомого. Из тех, которые он загружал куда-то

 

[WMix]

есть такая штука в мускуле sondlike она возвращает цифру не написания а звучания слова, может это обьяснит тебе как искать картинку в картинке... хеш может быть более умной штукой нежеле md5... у большинства файлов в шапке в шапке все написано как и у фотографий, не все нужно анализировать live...

 

[prog90]

не знаю. но расппознать одно и тоже лицо на вебкамере и на фото - это нереально. Нет сейчас таких сервисов. Есть поиск одинаковых фотографий. Но не похожих!!!
Представь твое фото с разным освещением, под разным углом. Даже человеку сложно иногда определить. А машине и подавно. И то если только в рамках одного аппарата. Распознать может лицо полученное с вебкамеры данной модели или качества. Но с других приборов врядли.
И никакой хеш не поможет.
Насчет музыки там я догадываюсь как это делается. Просто берется слово, произносится машиной, и раскладывается в ряд Фурье. А по этому разложению сравнивается с другими звуками. Если оно похоже, то похожи и слова. И хеш берется скорее всего от какого-нибудь разложения, по какому-нибудь правилу.
Но с изображением такое врядли возможно. Фотография не имеет протяженности во времени. Это не функция. И разложить ее в ряд Фурье нельзя.
Сравнить цветовые характеристики, освещенность наверное можно. И такие сервисы вроде бы уже есть. В Гугл есть поиск похожих фотографии или рисунков по цвету. Но похожих по цвету. А не по контурам и тем более по лицу.

 

[WMix]

термин CV комьпьютерное виденье OpenCv... и в пойск

 

[WMix]

не знаю. но расппознать одно и тоже лицо на вебкамере и на фото - это нереально. Нет сейчас таких сервисов. Есть поиск одинаковых фотографий. Но не похожих!!!.

глупец мы в универе на уроке писали подобные штучки

 

[prog90]

глупец мы в универе на уроке писали подобные штучки

Да ты сам глупец -
во-первых обработка фото занимает много времени (не хватит мощности у к одного компьютера в единицу времени обработывать миллионы таких заданий!!!)
во-вторых еще раз тебе говорю - одного человека на фотографиях или камерах сделанных на разных моделях - распознать даже глазами трудно. ТЫ НА УРОКЕ ТАКИХ ЗАДАЧ ДЕЛАТЬ НЕ МОГ НЕ ВРИ!
Если ты не врешь то выложи здесь код программы той, которую ты написал и я ее тут же проверю - как она две фото одной бабы сравнит.
И потом написать можно то что в гугле есть, но качества поиска по цвету может быть разное. Например, Гугл искал и ищет очень плохо!!!! Практически ни одного рисунка.

 

[WMix]

не вижу смысла тебе чтото доказывать... вот те парочку ссылок...
http://opencv.willowgarage.com/wiki/FaceDetection
https://github.com/kylemcdonald/AppropriatingNewTechnologies/wiki/Week-2
если скачаешь CV там в примерах должен быть пример пойска пачки сигарет мальборо по фотке в фас, а на кадре она лежит под сильным углом на столе!

вот нашел даже только не сигареты а коробка печеньев
http://docs.opencv.org/doc/tutorials/features2d/feature_flann_matcher/feature_flann_matcher.html#feature-flann-matcher

а гугл рисует в данный момент модели домов из фотографий с космоса... рисует в большинстве автоматически, исторические дорабатываются людьми...

погляди в гугл мап, найди там GL модели, и не будь таким примитивным

 

[prog90]

не вижу смысла тебе чтото доказывать... вот те парочку ссылок...
http://opencv.willowgarage.com/wiki/FaceDetection
https://github.com/kylemcdonald/AppropriatingNewTechnologies/wiki/Week-2
если скачаешь CV там в примерах должен быть пример пойска пачки сигарет мальборо по фотке в фас, а на кадре она лежит под сильным углом на столе!

вот нашел даже только не сигареты а коробка печеньев
http://docs.opencv.org/doc/tutorials/features2d/feature_flann_matcher/feature_flann_matcher.html#feature-flann-matcher

а гугл рисует в данный момент модели домов из фотографий с космоса... рисует в большинстве автоматически, исторические дорабатываются людьми...

погляди в гугл мап, найди там GL модели, и не будь таким примитивным

ДА МНЕ НЕ НАДО ЭТО!!! Я ЗНАЮ ЧТО ЗАДАЧА РАСПОЗНАВАНИЯ И СРАВНЕНИЕ ДО СИХ ПОР НЕ РЕШЕНА!!
ЧЕГО ТЫ ГОНИШЬ????
Я ТЕБЕ ПРОСТОЙ ПРИВЕЛ ПРИМЕР - ПОИСК ПО ЦВЕТУ - НАЙТИ ГОЛУБЫЕ МАКЕТЫ В ГУГЛ И ЭТОТ ПОИСК ДАЕТ ЧАСТО НЕ ТОТ РЕЗУЛЬТАТ. ДАЖЕ ТАКОЙ ПРОСТОЙ.


ТО, ЧТО ТЫ ГОВОРИШЬ ЭТО ЛИШЬ ЕДИНИЧНЫЕ ПРИМЕРЫ ОЧЕНЬ ПОДОГНАННЫЕ ПОД РЕЗУЛЬТАТ. В ОБЩЕМ СЛУЧАЕ ЭТО НЕРЕАЛЬНО!!!!!

 

[prog90]

ОНИ СКОРЕЕ ВЕРОЯТНОСТНЫЕ. ТОЧНОГО РЕЗУЛЬТАТА НЕ ДАЮТ

 

[WMix]

не кричи,... псих!

Я ТЕБЕ ПРОСТОЙ ПРИВЕЛ ПРИМЕР - ПОИСК ПО ЦВЕТУ - НАЙТИ ГОЛУБЫЕ МАКЕТЫ В ГУГЛ И ЭТОТ ПОИСК ДАЕТ ЧАСТО НЕ ТОТ РЕЗУЛЬТАТ. ДАЖЕ ТАКОЙ ПРОСТОЙ.

причем тут это!
на всякий случай, когда работает CV то если я правильно помню, из всей RGB палеты выбирается зеленый, он является также яркостью изображения... цвета совершенно не нужны, нужно понимать переходы яркости под различным углом, между заранее известными точками... эти точки лежат на переходах белого в черный, можно позволить CV самому определить эти точки...


скомпели код, и проверь на своих бабах!

заметь что это примитивный код в менее 100 строк, это одно из hello OpenCV

чтоб далее продолжать разговор, нужно либо чтоб ты извенился, либо чтоб ты хотяб попробывал доказать свою правоту

Я ЗНАЮ ЧТО ЗАДАЧА РАСПОЗНАВАНИЯ И СРАВНЕНИЕ ДО СИХ ПОР НЕ РЕШЕНА!!

ссылкой, как это сделал я!

 

[prog90]

http://www.km.ru/tekhnologii/2012/05/05/vysokie-tekhnologii-v-rossii/v-rossii-sozdana-unikalnaya-sistema-raspoznavani

Вот ссылка.

Тама более ясно расписали недостатки 2D распознавания о котором ты говоришь - все то же самое, что я говорил, но там это выписано списков (освещение - тени, артефакты, углы наклона и т.д.)

 

[prog90]

Но в статье описано 3D распознавание. Врядли это можно применить к потоку внутри интернета. Потому что там используется несколько видеокамер. Т.е. специальная аппаратура.
И самое главное - скорость работы наверное не подойдет для массового распознавания одновременно сотен тысяч или несколько миллионов лиц