Публичный саппорт: удаляет ли «В контакте» контент юзеров со своих серверов физически?

Не ясно что мешает им сделать «табличку» удалённых фоток и перед выдачей проверять, нет ли случаем этой фотки в удалённых. А физически удалять скопом, например, раз в месяц. Да, это дополнительное железо, но проблема то есть и весьма неприятная.

А можно их на самом деле просто блочить, чтобы не были доступны по http, но физически оставались на диске, так и фрагментации не будет и фотки не будут доступны по прямым ссылкам ))

А сотрудники ВК думают: «Как же вы уже за..ли со своей приватностью.» Я когда читаю подобные темы, возникает ощущение что человек, их пишущий, страдает нехваткой внимания к своей персоне. И что бы хоть как-то восполнить этот пробел (нехватку внимания), выносит мозг всем окружающим.

«Да, это дополнительное железо, но проблема то есть и весьма неприятная.» Это весьма проблематичная задача, т.к. наверняка контент размещается по разным серверам и чистить по каждому пользователю отдельно — большая нагрузка на сервера.

да это и ежу понятно, что всё распределённо! но memcached никто не отменял и кучу других решений тоже, для любого «в теме» они очевидны и каждый выдаст пяток своих любимых рецептов. Тут на самом деле вопрос только в том, почему нет желания решать эту проблему, а не в том, что её технически сложно или невозможно решить. Вариантов, как видится, несколько: 1. не считают проблемой, поэтому не обоснованы затраты. 2. считают проблемой, но посчитанные затраты такие большие, что лучше отложить до лучших времён.

Сами столкнулись с этим недавно. Считаем проблемой, но выполнение её будет занимать слишком много сил, причём того не стоящих. Думаю, в ВК такое же отношение

Вообще, Вконтакте должен каким-то образом этот вопрос решать. Понято, что удалять такие объемы прыгая по серверам значительно ускоряет смерть винтов и замедляет работу, но это не дело. А то потом когда-нить начнется, Яндекс проиндексировал, картинки в индекс попали, по запросу ФИО ссылки на них вываливаются…

История обсуждалась раз сто. Физически удалять фотки сложно, но сделать их недоступными вроде как можно, выдавая нулевое значение в базе. В ПК с винтчестера тоже ничего не удаляется. Не удаляет и Фейсбук, так что явный посыл автора «ВКонтакте плохой –> Фейсбук хороший» не работает, потому что сначала надо проверять матчасть.

Не нравится, что Ваши данные хранятся у третьих лиц? — Не размещайте.

Кто-нибудь с точки зрения законодательства может прокомментировать ? Если кто-нибудь когда-нибудь подаст на вконтакте в суд за это, какие перспективы у дела ?

Пора уже понять, что вконтакте не заинтересованы в удалении информации со своих серверов. Такова их внутренняя политика. Всё, что к ним попало — остаётся у них навсегда. Зачем? Ну, например, чтобы знать максимум информации о людях. Будут разные отмазки: дефрагментация, техническая сложность, забота о пользователях… но информацию не удалят. Недавно вот ввели сохранение текста сообщения по мере ввода под предлогом заботы о юзерах. А на самом деле — это своеобразный кейлоггер. Всё, что ввёл юзер на сайте вконтакте — всё сохраняется. Пусть он даже потом стирает бэкспейсом — не поможет.

> Данные фотографии доступны исключительно по прямым ссылкам и, соответственно, никто и никогда не сможет их открыть Ну да, ну да, ох уж эти сказочники http://www.google.com/search?q=site:vkontakte.ru&hl=en&safe=off&prmd=imvns&source=lnms&tbm=isch&ei=xeXuTq-LGYObOvPt2JoI&sa=X&oi=mode_link&ct=mode&cd=2&ved=0CAgQ_AUoAQ&biw=1920&bih=1006

Альтеры, рассуждающие о том, как вконтактик на показ каждой картинки полезет в базу уточнять, не удалена ли она — крайне веселят. Деточки, на таких масштабах это «дополнительного железа» на миллионы денег. Вы правда думаете, что это кому-то кроме вас нужно?

Вот так интереснее https://www.google.com/search?hl=en&q=site:vkontakte.ru+&gs_sm=e&gs_upl=1328l8063l0l8531l23l21l0l0l0l0l453l4936l0.7.11.2.1l21l0&bav=on.2,or.r_gc.r_pw.,cf.osb&biw=817&bih=749&wrapid=tlif132428036314010&um=1&ie=UTF-8&tbm=isch&source=og&sa=N&tab=wi&ei=NOruTo_zOZLP4QTi5aH_CA

Ничего себе там размеры!!11

Лояльность пользователей стоит дороже миллионов денег, даже если этим миллионы в долларах, тем более при общем доходе портала. Поэтому с точки зрения здравого смысла было бы логично хотя бы создать у пользователей ощущение , что всё удалилось. Большинству этой иллюзии будет достаточно. А уж где и для чего потом будут использованы псевдоудалённые данные это дело самого ВКонтакте.

Открытые приватностью фотки попадают в кэши поисковиков и там остаются после удаления из ВК. Заприваченные фотки туда не попадут. Если кроме вас кто-то увидел заприваченную фотку, то он может её сохранить или сохранить прямую ссылку на неё – не важно. Если фотография видна только владельцу, то и прямая ссылка может быть известна только ему. Непонятна попаболь. В конце концов: «Что попало в интернет, в нём остаётся навек…». Надо смотреть на ситуацию по отрасли. Если все удаляют, а ВК нет – то наезд актуален. А если ни Гугл, ни Яндекс, ни Фейсбук этого не делают, то почему Контакт должен ради трёх с половиной параноиков что-то менять?

А детское порно они так же удаляют? По прямым ссылкам остается доступно?

> Альтеры, рассуждающие о том, как вконтактик на показ каждой картинки полезет в базу уточнять, не удалена ли она — крайне веселят. Простите мне мое невежество, а что, когда вконтактик решает, какую картинку показать на странице, он ни в какую базу не лазит?

Имхо проблема не в удалении, а в доступности. Ясно что современный юзер оставляет за собой километровые следы информации и раскопать их не составляет особой сложности. Вопрос в том, чтобы фотографии нельзя было просмотреть из сети другому человеку. Блокировка, произвольная замена имени — по сути неважно. Нужно чтобы ни сам юзер, ни те кто им интересуются не смогли просмотреть «удаленные» фотки.

> Простите мне мое невежество, а что, когда вконтактик решает, какую картинку показать на странице, он ни в какую базу не лазит? Когда собирает страницу — разумеется лазит. А вот когда отдает непосредственно файл — сильно вряд ли, потому что это чудовищный оверхед, который не нужен в 99.(9)% случаев.

> Простите мне мое невежество, а что, когда вконтактик решает, какую картинку показать на странице, он ни в какую базу не лазит? Да, у них не видно никаких проверок на доступ к контенту по прямым ссылкам. Например фото из закрытых альбомов по прямым ссылкам видны всем. Хотя даже на простейших форумах типа phpbb медиаконтент отдает скрипт, который проверяет права на доступ.

а файлы он не из базы берёт? :-/

Нет конечно, в базе файлы хранить это моветон.

А в чём принципиальная разница по трудоёмкости для железа между записью и удалением? Удаляют, очевидно, много меньше чем заливают (хотя бы потому что это подмножество залитого)

Очевидно, что технической проблемы нет. По крайней мере, ВКонтакте решает проблемы, которые несопостовимо сложнее удаления старого контента. Можно было бы рассмотреть возможность спам атаки — заливать бесконечное кол-ва гавна на сервера вконтакте 24 часа в сутки 7 дней в неделю, тогда им придётся удалять гавно как минимум и отмазки про дефрагментацию уже не прокатят.

А раньше дядя Том из Оракла рекомендовал всё хранить в БД. как время-то летит…. :-(

Я был лучшего мнения о читателях роема. Сравнивать vkontakte и phpbb (с посещаемостью в 3 человека), писать про картинки из базы….. Ну и конечно же поддерживать сумасшедших, которым очень очень надо удалить с серверов залитые фотки с корпоратива….. Ясень пень это никому не надо, и если вы думаете что ваша картинка, которая раньше жила по одной ссылке не может продолжить жить своей жизнью по другой уникальной ссылке, или вообще жить тупо на сервере, но не отдаваться в WEB, и Вы это никогда!!! не проверите. Дальше вероятно люди будут просить доступ ко всем серверам вконтакта, чтобы проверить, действительно ли ни на одном из них не осталось столь ценной информации….

Фишка ещё в том, что любая соц. сеть должна по некоторым правилам сохранять данные в течение полугода. Но это приводит к тому, что если каждые полгода запускать чистильщик по всем серверам, то умираемость жёстких дисков увеличится в разы. Т.е. это будет приносить явный урон, а т.к. большинству пользователей сети по барабану, удалился их контент совсем или нет, то ВК и другие сети не будут дёргаться для этого. Лояльность от этого не упадёт абсолютно.

> Сравнивать vkontakte и phpbb (с посещаемостью в 3 человека) Пфф, для доступа к сообщениям, страницам, новостям, группам, страницам с фото и видео, проверить авторизацию и права значит можно и ничего не тормозит, а вот для картинок по прямой ссылке это вдруг уже нереально трудно? Сказки, это все можно сделать, но просто изначально это не спланировали. А сейчас им для этого уже придется много переписывать. > Ну и конечно же поддерживать сумасшедших, которым очень очень надо удалить с серверов залитые фотки с корпоратива Вы однобоко смотрите, удалять надо не только свои фотки с корпоратива. Уже не раз были случаи например, когда бывшие любовники в отместку выкладывали интимные фотографии своих бывших партнеров. Страницу могут заблокировать админы, а фото в поисковиках останется. Или фото, залитые без разрешения правообладателей или детское порно – да полно юзеркейсов, когда нужно закрыть доступ полностью. > Но это приводит к тому, что если каждые полгода запускать чистильщик по всем серверам, то умираемость жёстких дисков увеличится в разы. миф, если удалять, то освободиться больше жестких дисков, чем умрет, то есть все равно экономия

Если бы для доступа к статике (фотографиям) дергался Apache и PHP (технологии, необходимые для вывода остального контента с авторизацией), то система не прожила бы и минуты даже при 1% текущей нагрузки. Теоретически проблема решаема, разумеется. Но мы принципиально не делаем шаги, которые нам самим как пользователям не представляются необходимыми. Скажем, за многие годы пользования разными социальными сетями у меня не возникало жгучей потребности проверять какие-то там прямые ссылки. Возникнет — сделаем. Более важно, что этот комментарий позволит мне насладиться этой новой картинкой с собакой.

> Но это приводит к тому, что если каждые полгода запускать чистильщик по всем серверам, то умираемость жёстких дисков увеличится в разы. Логика спасет человечество! Зачем удалять данные раз в 6 месяцев, если ежедневно можно расставаться с теми данными, которые удалили ровно 6 месяцев назад?

jet, вы никогда не работали с нагрузками, близкими к контактовским. Как сказал durov — Nginx + php-cgi — всё сдохнет. Apache + php — всё сдохнет. Я уж не говорю про эту ацкую базу с миллионами записей, которая должна на все запросы будет ответить что-то адекватное. И, как я уже сказал. Сменить имя картинке — не проблема — перестанет она отдаваться по прежнему адресу, однако с сервера она не исчезнет, и проверить вы это не сможете.

Т.е. вы как крайне логичный человек предлагаете проверять все сервера не 1 раз в полгода, а 182 раза в полгода?

> Т.е. вы как крайне логичный человек предлагаете проверять все сервера не 1 раз в полгода, а 182 раза в полгода? Ну если уж так кошмарно для хардов удалять данные раз в полгода — то да, это будет хороший способ растянуть нагрузку по времени. Хотя удаление данных по индивидуальным запросам, а не тупо по крону, значительно удешевит процедуру. Но нет, не хотят и так, иначе бы новости не появилось.

> Возникнет — сделаем Ну вот, технологически это решаемо, можно например для статики модуль к nginx на C написать, который бы проверял куки и права, а списки с правами на доступ к фото кэшировать в memcached, чтобы базу не дергать часто, не rocket science :) А вообще на моем проекте статика тоже с прямыми ссылками, но нам часто присылают запросы «почему я удалила страницу, а мои фото в гугле/яндексе остались», приходиться руками для таких чистить.

> Как сказал durov — Nginx + php-cgi — всё сдохнет. Apache + php — всё сдохнет. если захотеть, то сделать можно, Павел подтвердил только что, что проблема не в этом > Сменить имя картинке — не проблема — перестанет она отдаваться по прежнему адресу, однако с сервера она не исчезнет, и проверить вы это не сможете. если ссылку никто не знает проблемы нет, проблема когда фото доступно из поисковика и с этим юзер ничего не может сделать

> Хотя удаление данных по индивидуальным запросам, а не тупо по крону, значительно удешевит процедуру. Разумеется (хотя это будет не самая простая операция при любом раскладе). Только это повысит фрагментацию данных на дисках, что приведет к деградации производительности. Отсюда вопрос — ну и нафига это надо?

В этой ситуации обе стороны проявляют себя не лучшим образом. С одной стороны, нынешний Интернет устроен так, что если ты в него что-то выложил,— скорее всего, это уже никогда не удастся «развыложить» обратно. Можно спорить о том, хорошо это или плохо, но таково реальное положение вещей, и никак по-другому в обозримой перспективе не будет. Я считаю, что если человек выкладывает что-то в Интернет, не учитывая этого факта,— он поступает архиглупо. Даже если, допустим, «ВКонтакте» всё-таки физически удалит ваши эротические фотографии,— они всё равно сохранятся в многочисленных кэшах, индексах и ещё чёрт знает где по всему Интернету. И будут всплывать в совершенно неожиданных ситуациях. Возможно, вам это не нравится, но ничего поделать с этим пока нельзя. С другой стороны, оправдания «Контакта» насчёт дефрагментации звучат инфантильно. Если техническое устройство вашего сервиса не позволяет по-нормальному удалять данные,— значит, это неадекватное техническое устройство, и стоит его поменять. Возьмите другой движок и (или) другую архитектуру баз данных, перепишите всякие обслуживающие скрипты, реорганизуйте контроль целостности данных. На дворе — второе десятилетие 21-го века, а не эпоха «Эниака». Ничто не мешает сделать систему с полноценным удалением информации.

А когда Эрик Шмидт сказал, что не надо выкладывать фотки с корпоратива во Вконтактик, все на него сразу набросились, что он прайвиси не уважает, технологий не знает и т.п. А Эрик просто понимал, что никогда не угадаешь, когда на альбомчик во Вконтакте права доступа сбросятся случайно, и что фотки, удаляй их, не удаляй, уже доступны по прямым ссылкам и их теперь не вырубить топором.

Дак это, а фото из приватных альбомов тоже доступны по прямым ссылкам всем? т.е. приватность заключается только в том, что ссылку не узнать? и если попарсить логи проксей, то можно и приватные фото просматривать, например?

@durov, а как решается вопрос, если удаление фотографий обязательно по причинам юридического характера? Копирайт, детское порно да и любое предписание суда, например. Для этих целей вопрос окончательного удаления решен?

Ну проблематика то ясна была с самого начала. Отдельный CDN, про большой ВК даже и не слышал, это то всё понятно. Но ведь можно было бы сказать «после удаления фотография будет доступна по прямым ссылкам ещё неделю». Т.е. пускай не в реальном времени, но через какой-то обозримый период удалилась бы. А вот неожиданно стало интересно: а какое процентное соотношение между удалёнными и не удалёнными фотографиями? Может быть физическое удаление и правда будет оправдано экономически? И чтобы два раза не вставать: объясните мне, каким образом физическое удаление фотографии влияет на срок жизни жесткого диска?

> уже доступны по прямым ссылкам и их теперь не вырубить топором Если сайт удаляет по запросу ресайзы фото со своих серверов со статикой, то проблем нету. Когда фото уже недоступно, то его потом уже легко удалить из кэша Гугла, из Яндекса сложнее – там придется отправить запрос на удаление и подождать обновление индекса. Кстати по нашим законам нельзя публиковать фото без согласия человека на нем. То есть это реальная основа для судебного иска, если фото не удалят. > Дак это, а фото из приватных альбомов тоже доступны по прямым ссылкам всем? т.е. приватность заключается только в том, что ссылку не узнать? и если попарсить логи проксей, то можно и приватные фото просматривать, например? да

> И чтобы два раза не вставать: объясните мне, каким образом физическое удаление фотографии влияет на срок жизни жесткого диска? Изменение метаданных. Но есть у меня подозрение, что деструктивность этой операции сильно преувеличена.

> Но есть у меня подозрение, что деструктивность этой операции сильно преувеличена. Нисколько. Не то, чтобы как-то исключительно, но на фига лишняя нагрузка. А вообще, вспоминая гораздо ранние высказывания команды ВК: зачем идти на поводу 0,5% аудитории сайта, если другие будут поддерживать текущую политику сайта?

откуда такая уверенность про малый процент людей, которых это волнует? это же всё гадание на кофейной гуще и много зависит от того как эту гущу приготовить! Возьмём, например, процент не от общего числа пользователей, а тех, кто хотя бы раз в неделю добавляет по одно фотографии. И я думаю что процент очень сильно подскочит. А учитывая правило 20/80, проблема перестаёт быть надуманной :)

Все говорят про какой-то overhead и еще тучу всяких неинтересностей. Почему обязательно юзать apache и общую БД? Вообще любая файловая система — офигенная БД, к которой по-любому обращается сервер при чтении файла. Что мешает разработчикам именно с ней работать? В принципе, сразу увидел самое простое решение — в изменении доступа к файлу. Заберите у нгинкса (ну или кто там раздает статику) права на чтение — и вуаля. Нагрузка нулевая при этом. А вообще в файловой системе еще много чего умного можно делать, что очень просто решает поставленную задачу. И это не говоря уже о более сложных решениях. Но они никаких миллионов не стоят, как тут кто-то декламировал. Они стоят несколько часов раздумий сильного технаря и нескольких дней реализации (видимо, именно с последним у вконтката огромные проблемы — не хватает даже близко ресурсов на мощные апдейты типа как у гугл+).

Павел, в чём проблема сделать mv 123412351234t2.jpg ololo_4_very_secure_user.jpg? Не надо удалять, просто замувить в другое имя.

Кстати о прямых ссылках. Сейчас проверил свой гуглоплюс. Фотки которые выкладываются с андроида через Instant Upload, (если включена эта функция, то это фактически все фото и видео сделанные на телефон) тоже доступны по прямой ссылке. Попробовал удалить, посмотрим чем закончится. Пока доступны. Так что будьте внимательны.

> Почему обязательно юзать apache и общую БД? ну про это говорили в контексте проверки прав на доступ к фото, а не про удаление там без БД и memcached не обойтись для простого удаления конечно есть куча опций без существенного оверхеда и даже без фрагментации

> Все говорят про какой-то overhead и еще тучу всяких неинтересностей. Лениво искать, да и не факт, что кто-то описывал CDN ВК, так что предположу проблематику. Удалять сложно, т.к.: 1. Часть данных лежит в памяти (кэш, скорее всего многоуровневый), часть на диске. А инвалидация кэша тоже хреновая вещь, которую нужно закладывать изначально, а если нет, то потом частенько превращается в ад. 2. Таких реплик (см. пункт №1) очень много по несколько на датацентр, не исключаю, что ещё и географически распределённых. Т.е. нужно писать механизм синхронного удаления. 3. А наверняка есть ещё и бэкапы, которые тоже нужно как-то чистить. А они могут быть реализованы совсем другим (третьим способом). 4. Не забываем ещё разсинхронизацию различных реплик и необходимостью иметь инструмент для восстановления. 5. >Они стоят несколько часов раздумий сильного технаря и нескольких дней реализации Ага, а каждая кухарка может управлять страной. Проблема действительно сложная и требует много человека-часов для реализации, но она тем не менее есть.

> Если бы для доступа к статике (фотографиям) дергался Apache и PHP (технологии, необходимые для > вывода остального контента с авторизацией), то система не прожила бы и минуты даже при 1% > текущей нагрузки. Похоже на гнилой отмаз. Неужели фотографий в разделе UGС больше на два порядка, чем текстовых полей? (в штуках, разумеется, не в байтах). Не верю. Не подумали сразу, а сейчас лень — это повод, конечно; он будет присутсвовать, пока в дверь не постучится какой-нибудь песец вроде этого: http://online.wsj.com/article/SB10001424052970203441704577068400622644374.html

Тема стара как мир! [URL=http://roem.ru/links/11599/]Роем ссылается[/URL] на [URL=http://habrahabr.ru/blogs/yandex/65543/]Хабр[/URL] где идет речь про Яндекс Фотки. Да, тут есть только один момент — юридический — защита персональных данных. И в теории если найдутся тысячи маниакальных желающих навсегда удалить фотографии — то возникнут проблемы.

Эксперимент прошел успешно. Google Plus все удалил.

Хаха! Молодец Дуров, отмазался! :) А значит, для проверки доступа к сообщениям и прочим данным ресурсов хватает? Ну рассмешил

«Какие-то прямые ссылки» вредны, т.к. доступ к фоткам остается даже если владелец страницы этого не желает, как например владелец этой фотки http://cs210.vkontakte.ru/u00001/69826197/z_d22ad66a.jpg

обратите внимание на присутствие в урле следующих цифр u00001, они указывают, что у пользователя загрузивший фотографию, идентификатор id1, т.е. это пользователь vkontakte.ru/id1

обратите внимание на присутствие в урле следующих цифр u00001, они указывают, что у пользователя загрузивший фотографию, идентификатор id1, т.е. это пользователь vkontakte.ru/id1 И че? Вы тут хотите Дурова перетроллить? Парни, вы не того калибра. Потренеруйтесь на мамашах с Моего Мира.

Перед удалением файла необходимо убедиться, что на него больше нигде нет ссылок. А они вроде бы используются в вики-страницах, плюс фотографии можно сохранять к себе (не только чужие: можно загрузить фотоальбом о летнем отдыхе в группу, а потом скопировать свои же фотографии к себе, чтобы сэкономить время и трафик). По-моему, это весьма нетривиальная задача, точно определить число ссылок на файл.

Система элементарно абузится для того чтобы механизмы удаления были реализованы. 1) Под несколькими акками через анонимные прокси вливается ДП 2) Пишется письмо-жалоба в ФСБ, КГБ, МВД и МЧС в котором даются прямые ссылки, на фоне того как Павел Дуров всячески выеживается перед силовиками, они в эту провокацию зубами вцепятся (если сами ее не реализуют). 3) … 4) Профит.

Хоспади, да ни перед кем он не выделывается! Не было никаких запросов на удаление! Был лишь жирный троллинг и PR. Да наши спецслужбы готовы все что угодно Контакту простить, лишь бы именно в нем, а не в Фейсбуке, создавались оппозиционные группы и аккаунты главарей оппозиции.

ну, наконец-то здравый человек появился

Братцы, давайте посмотрим на это с другой стороны? Вконтакте — идеальный хостинг картинок! Делаете левый аккаунт, льёте в промышленных масштабах картинки (они почти в оригинальном размере!), выкладываете везде, где вам это нужно. Например, скрины на раздачах рутрекера ;)

>Вконтакте — идеальный хостинг картинок! с учетом того что вконтакт много где забанен — хостинг совсем неудачный. у меня он даже в адблоке забанен (как и прочие фейсбуки с кнопками-лайками и прочим ховном), поэтому я их в любом случае не вижу.

сообщения ведь тоже не удаляются, инфа 100%