z_alexey: (Default)
[personal profile] z_alexey

Во вчерашней статье "Как найти кто украл мои фотографии?" я обещал рассказать о программе, которая автоматически выполняет групповой поиск сайтов, которые забрали Ваши фотографии к себе. Программу пришлось писать самому, т.к. ничего подобного я не нашел. И так как программировать на чем-то кроме как 1С, я не умею - пришлось использовать ее возможности.

Этап №1. Загрузка ссылок на фотографий в базу
Ссылки на фотографии, которые нужно проверять можно добавить в базу вручную. Но т.к. на Яндекс.Фотках у меня более 1000 фотографий, то сделал автоматическую загрузку ссылок на них. Загружаются альбомы, ссылки на фотографии и их названия:





Этап №2. Автоматический поиск ссылок на фотографии
В принципе, можно просматривать и в ручном режиме. Выбираем, интересующий нас Альбом (или все фотографии) и проходимся по списку фотографий. При желании кнопками "Google" и "Яндекс" сразу можно посмотреть результаты поиска текущей фотографии в разных поисковиках:






С помощью кнопки "Выполнить групповой поиск..." программа начнет в автоматическом режиме последовательно искать фотографии из списка, в указанных поисковиках. Все найденные ссылки, программа будет сохранять в карточку фотографии. Выглядит это так:



Чтобы в дальнейшем было проще анализировать результаты поиска - ссылке присваивается "Категория ссылки". В настройках программы можно задать список доменов и какую категорию им присвоить по-умолчанию. Так для домена "z-alexey.livejournal.com" я поставил в настройка "Мой ресурс", а для форума На-связи и других ЖЖ юзеров поставил "Дружественный ресурс". Если домен не найден в списке, то ему присваивается "Непроверенный ресурс" и в дальнейшем остается только перейти по ссылке и посмотреть кто забрал фотку.


Этап №3. Анализируем найденные ссылки
Ну и заключительный этап. Формируем отчет, который разбивает ссылки на категории: "Нарушитель", "Непроверенный ресурс" и т.д. и просматриваем какие фотографии на каких ресурсах используются. И при необходимости меняем значение "Непроверенный ресурс" на нужную категорию. Примеры отчета:



Конечно, отчет можно сформировать и в другом виде. Например можно посмотреть какие фотографии чаще всего используют.


Подводные камни

  • Во время тестирования всей этой системы выяснилось, что Яндекс может находить одну и ту же фотографию если подсунуть размер 1024 пикселей и не находит если указать на оригинал (2400 пикселей). Поэтому при групповом поиске программа прогоняет все фотографии по нескольким размерам. Кстати, именно по этой причине лучше пока искать фотографии, которые лежат на Яндекс.Фотках.
  • Один раз Гугл тормознул мою проверку, в связи с частыми запросами. Но через 5 минут все опять возобновилось :)
  • Иногда случаются сбои и в выборку попадают похожие изображения, но не ваши :)


Проверю Ваши фотографии - бесплатно
Для объективного тестирования, я могу проверить Ваши фотографии.  Условия следующие:

  • Фотографии должны лежать на Яндекс.Фотках - пришлите свой ник
  • Укажите какие альбомы желаете проверить (общее количество - не более 100 фотографий), альбом и фото должен быть без пароля
  • Только для тех, у кого я нахожусь в друзьях (добавить меня в друзья)
  • Пишите информацию на почту: , отчет о найденных ресурсах придет на вашу почту.




Date: 2012-08-22 05:55 am (UTC)
From: [identity profile] crazyfane.livejournal.com
круто! :)

Date: 2012-08-22 06:36 am (UTC)
From: [identity profile] z-alexey.livejournal.com
ну дык )

Date: 2012-08-22 06:20 am (UTC)
alexey_donskoy: (Alek)
From: [personal profile] alexey_donskoy
Можно сделать то же самое, только в виде нормальной свободно распространяемой программы. Присылай код. Если будет не лениво, посмотрю.

Date: 2012-08-22 06:30 am (UTC)
From: [identity profile] z-alexey.livejournal.com
Ну дык я не умею на чем-то другом. Код слать смысла не вижу. Нужно сделать цикл по фото. яндексу или гуглу отдается ссылка на фото он выдает стандартный результат и дальше эту страничку парсить на наличие ссылок. Ссылки сохраняются в базу. Вот и все.

Date: 2012-08-22 06:44 am (UTC)
alexey_donskoy: (Alek)
From: [personal profile] alexey_donskoy
Собственно, интересны форматы поисковых запросов Гуглу и Яндексу... Неочевидный момент потому что...

Date: 2012-08-22 06:47 am (UTC)
From: [identity profile] z-alexey.livejournal.com
Отправил в личку

Date: 2012-08-22 06:32 am (UTC)
From: [identity profile] shipilevsky.livejournal.com
Ууууу, как все серьезно-то!

Date: 2012-08-22 06:35 am (UTC)
From: [identity profile] z-alexey.livejournal.com
Когда на очередной фото надоело нажимать кнопки - полез автоматизировать процесс
Лень - двигатель прогресса :)

Date: 2012-08-22 06:39 am (UTC)
From: [identity profile] shipilevsky.livejournal.com
Тогда надо еще доделать автоматический повтор проверки по расписанию с формированием журнала подозрительных событий.) И оповещение об этих событиях владельцу по смс.))

Date: 2012-08-22 06:45 am (UTC)
From: [identity profile] z-alexey.livejournal.com
Проверку запускать можно несколько раз. Новые ссылки автоматом будут в отчете отмечены "Непроверенная" пока юзер ее не проверит. СМС-оповещения на данном этапе излишество - вот если монетезировать данный проект, то да )

Date: 2012-08-22 06:55 am (UTC)
From: [identity profile] demyanof.livejournal.com
о!, нуко :)

Date: 2012-08-22 07:54 am (UTC)
From: [identity profile] z-alexey.livejournal.com
Поставил в обработку. Из уже найденного, интересно юристы запрашивали разрешение у тебя? :)
юцзащита.рф

Date: 2012-08-22 07:54 am (UTC)
From: [identity profile] demyanof.livejournal.com
неа :)

Date: 2012-08-22 08:04 am (UTC)
From: [identity profile] demyanof.livejournal.com
Позвонил, пообещали перезвонить

Date: 2012-08-22 08:53 am (UTC)
From: [identity profile] z-alexey.livejournal.com
Отправил отчет. Расскажи потом нашлось что-то интересное или нет :)

Date: 2012-08-22 09:04 am (UTC)
From: [identity profile] demyanof.livejournal.com
вроде нет ни чё такого больше серьёзного

Date: 2012-08-22 10:35 am (UTC)
From: [identity profile] aofedorov.livejournal.com
Алексей, ты молодец. Поискал в сети сервисы, по отзывам неплохой - tineye.com - англоязычный сервис, предоставляющий возможность поиска похожих изображений. С помощью данного сервиса можно найти варианты одного и того же изображения или идентичного ему на разных сайтах

Date: 2012-08-22 10:52 am (UTC)
From: [identity profile] z-alexey.livejournal.com
> по отзывам неплохой - tineye.com - англоязычный сервис
Да, я упоминал его уже вчера (http://z-alexey.livejournal.com/177847.html) - не нашел ни одной моей фотографии :( поэтому я и стал изобретать велосипед.

1снег из Чебоксар

Date: 2012-08-24 01:43 pm (UTC)
From: [identity profile] livejournal.livejournal.com
Пользователь [livejournal.com profile] 1c8 сослался на вашу запись в «1снег из Чебоксар (http://1c8.livejournal.com/147349.html)» в контексте: [...] интересный журнал с кучей фоток. Пряморукий. Написал на 8.2 какую-то хитрую хреновину [...]

Date: 2012-08-29 07:52 am (UTC)
From: [identity profile] adinesneg.livejournal.com
тинай вам в руки
http://www.tineye.com/

Date: 2012-08-29 08:29 am (UTC)
From: [identity profile] z-alexey.livejournal.com
В предыдущей статье я уже рассказывал про этот сервис. Цитирую: "Кроме сервиса TinEye ничего не нашел, но с ним беда - он похоже вообще игнорирует РуНет... т.к. ни одного факта использования моих фото он не обнаружил."

Date: 2012-08-29 09:05 pm (UTC)
From: [identity profile] adinesneg.livejournal.com
а, тогда, пардон
From: [identity profile] livejournal.livejournal.com
Пользователь [livejournal.com profile] alexey_donskoy сослался на вашу запись в «Пополнение в рядах журналистов :) (http://alexey-donskoy.livejournal.com/48605.html)» в контексте: [...] и (вообще автоматизировал поиск украденных фото [...]

Date: 2012-09-22 07:25 am (UTC)
From: [identity profile] osdbemdk.livejournal.com
http://jobbusiness.ru/?c=r&q=%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D1%8F+%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0+%D0%B3%D1%80%D1%83%D0%B7%D1%87%D0%B8%D0%BA+%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B0
http://jobbusiness.ru/?c=r&q=%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D0%B8+%D0%B0%D0%BB%D1%8C%D1%8F%D0%BD%D1%81+%D1%80%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9+%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B8%D0%BB%D1%8C+%D0%B2+%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B5
http://jobbusiness.ru/?c=r&q=%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D1%8F+%D0%BF%D1%80%D0%BE%D0%B2%D0%B8%D0%B7%D0%BE%D1%80%D0%B0+%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6
http://selljob.ru/?c=r&q=%D1%80%D0%B5%D0%B7%D1%8E%D0%BC%D0%B5+%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%BE%D0%B2+%D0%BA%D1%80%D0%B0%D1%81%D0%BD%D0%BE%D0%B4%D0%B0%D1%80
http://selljob.ru/?c=r&q=%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D0%B8+%D1%85%D0%B8%D1%80%D1%83%D1%80%D0%B3+%D1%84%D0%BB%D0%B5%D0%B1%D0%BE%D0%BB%D0%BE%D0%B3

November 2012

S M T W T F S
     1 2 3
4 56 7 8 910
111213141516 17
18192021222324
252627 282930 

Style Credit

Expand Cut Tags

No cut tags
Page generated Jun. 17th, 2025 02:31 pm
Powered by Dreamwidth Studios