Технический анализ ерунды, случившейся с DV-2012

В общем, попробую дать технический анализ той, мягко говоря, неоднозначной ситуации, которая сложилась с этим розыгрышем лотереи. Просьба любителей теорий заговора в этой теме не писать и догадок про инопланетян и специальной подставы противников лотереи не приводить.

Итак, как оно работает с точки зрения специалиста по базам данных.

  1. Собирается база данных. В нее аппликанты вносят свои персональные данные, адрес электронной почты, прикладывают фотографию - свою, супруга и детей. Сбор базы выглядит следующим образом: сперва на веб-серверах оформляется кейс на аппликанта, присваивается confirmation number, потом передается в “большую” базу.

  2. Когда база данных собралась (после закрытия заявок), происходит первичная проверка на дубликатность, отсеивание шутников и прочее. Писали, в том числе и на этом форуме, что КСС специально закупал софт для распознавания лиц. Именно с целью отсеивания дубликатов.

  3. Среди оставшихся заявок проводится отбор выигравших, формируется вторая база данных уже из победителей. В ней, помимо данных из первой базы, вносится также Case Number.

  4. Вторая база становится доступной для широкой публики. Публика вносит такие данные, как фамилию (или ставит галочку от отсутствии фамилии - если аналогичная галочка была поставлена при заполнении анкеты), confirmation number и год рождения. Если все три поля совпадают и есть в базе - все хорошо, база выводит поздравительную мессагу и номер кейса. Если нет, даже если conf # правильный, а в фамилии ошибка - выдаст not selected.

Где и на каком этапе мог произойти сбой - на любом, с первого по третий.

На первом этапе могли произойти следующие ошибки:

а) данные с веб-серверов некорректно передались в “большую” базу номер один, то бишь перепутались фамилии, фотографии, гражданства и т.д., как говорится, “смешались в кучу кони, люди” (т.е. conf # присвоен, а по факту в базу улетело черт знает что);

б) данные с веб-серверов вообще не передавались в “большую” базу по причине, у примеру, отсутствия места на диске (т.е. conf # присвоен, а по факту в базу заявка не внеслась);

в) данные были испорчены в результате хакерской атаки на КСС, между первым и вторым этапами.

На втором этапе скрипт по отлову дублей и шутников мог похерить базу. Вариант маловероятный, на самом деле. Ибо, скорее всего, база с победителями была не второй, а третьей по счету, а второй базой была именно база идентичная первой, но с удаленными дублями.

На третьем этапе Главный Скрипт мог взять выборку не за весь период подачи заявок, а только за первые два дня. Маловероятно, потому как встречаются выигрыши за поздние числа.

Итак, что же, вероятно, произошло на самом деле. Лажа случилась на первом этапе, скорее всего, по варианту (а) с примесью варианта (в). Вначале все пошло как надо, потом что-то случилось с движком базы (уж не MS SQL ли?) и данные стали писаться абы как. Заметили это «абы как» уже после окончания приема заявок. Базы, скорее всего, пытались спасти штатными средствами MS SQL, спасли 5 и 6 октября и чуть-чуть всего остального. Из этого удалили дубли и уже из оставшегося (а осталось, думаю, 200-300 тысяч) разыграли лотерею. Не знаю, был ли в курсе Госдеп или нет, но, возможно, что и нет. Замяли для ясности и разыграли по тихому, думали, что прокатит. Не прокатило.

Как мог вмешаться вариант (в): гулял спам с реальными персональными данными и приходящий на правильные адреса электронной почты с предложением выкупить выигрыш. Значит, утечка информации была. Сделали это сторонние хакеры или им помог кто-то в КСС или среди контракторов - неведомо. Нехай этим ФБР занимается, зачем отнимать у них хлеб :slight_smile:

Теперь ответы на два извечных вопроса:

Кто виноват: IT-служба КСС и привлеченные ими контракторы, разработчики софта скриптов, разработчики базы данных. Если движок MS-овский, то MS. Если летели харды, то еще и производители хардов. Удастся кого-либо наказать или нет, зависит от контрактов разработчиков. MS или производителей хардов наказать не удастся, читайте лицензии к софту. Обычно разработчик софта не несет ответственности за сохранность данных пользователя. Не думаю, что даже для Госдепа было сделано исключение. Либо за о-о-очень большие бабки.

Так что, вероятнее всего, найдут стрелочника, которого сделают крайним и уволят.

Что делать: требовать неповторения подобной ситуации в будущем, предавать эту историю гласности. Добиться переигрывания из всех заявок нереально, так как заявок, скорее всего, просто нет. «Умерла так умерла».

Что сделано: мной информация передана в московские корпункты Wall Street Journal и New York Times. Разумеется, на условиях анонимности, ибо посольские могут отомстить и аннулировать визу. С них станется.

Последствия: противники лотереи, коих немало во властных структурах США, получили в руки даже не козырных тузов, а джокеров. Разговоры о том, что благая цель превратилась в профанацию (а в этот раз именно так все и случилось), сейчас пойдут с утроенной силой.

Вряд ли будут отменять результаты, во всяком случае, это несправедливо к тем, кто выиграл. Во всяком случае, на это хочется надеяться.

Ну и напоследок, немного оффтопа вперемешку с политикой. История грязная и в узких кругах наверняка была известна еще до Нового Года. Я о США был лучшего мнения. Впрочем, приход к власти в стране какого-то непонятного нобелевского лауреата без оригинала свидетельства о рождении, более того, возможно, обладателя индонезийского и кенийского гражданств, тоже говорит о многом. Плюс к тому адвоката, а ведь любой адвокат - это такой зверек, который умеет а) молотить языком и производить нужное впечатление б) умеет из черного делать белое и наоборот и в своем умении идет на любой подлог и низость. Понятно, что работа такая, но… Харизмы у адвоката хоть попой жуй, похлеще, чем у покойного Кеннеди, а вот с делами у Кеннеди было как-то поинтересней.

Рыба, как известно, гниет с головы. Те из моих друзей и знакомых, которые поддерживали адвоката во времена президентской гонки, сейчас высказываются не иначе как “ну и чудака же мы избрали на свою голову”.

50 лайков

Спасибо за разъяснение))))чувствуется теперь какое-то просветление в голове:)

1 лайк

Совершенно никакого просветления ваш пост не привел, те же домыслы и догадки, которые уже сто раз за эти дни озвучивались.
А конец вашего поста ну очень напомнил басню про лису, не сумевшую раздобыть виноград и объявившаую его незрелым.

И голову даю на отсечение, что несмотря на ваше “разочарование” в октябре вы первым побежите посылать заявку на ДВ-2013 :beee:

6 лайков

И голову даю на отсечение, что несмотря на ваше “разочарование” в октябре вы первым побежите посылать заявку на ДВ-2013

неудивлюсь если она вообще не состоится

Извиняюсь откуда информация ? какая утечка данных, что за падения баз данных ?

Я что то пропустил ? :slight_smile:

мной информация передана в московские корпункты Wall Street Journal и New York Times. Разумеется, на условиях анонимности
Razumno. Vriad li eti izdanie poluchat kommentarii pravitel’stva USA uje seichas, kogda dokazatel’stv togo, chto antifraud mery rabotaiut, escio net. Skoree, eto budet cherez god-poltora. Mne iasno, chto gosdep zadumal etu meru zaranee, kak sposob bor’by s fraudom. Mera udalas’, no dokazatel’stva etogo poka otsutstvuiut. Kogda budut dokazatel’stva - poiaviatsia stat’i v presse. Glavnaia cel’ sostoiala v vytesnenii s rynka posrednicheskih uslug teh, kto vvodit liudei v lotereiu bez ih vedoma i jelania i potom trebbuet s nih krupnuiu summu v obmen na informaciu o vyigryshe. Eta mera, bezuslovno, sil’no oslojnit polojenie takih moshennikov, uvelichiv ih finansovye riski do nevozmojnosti. Oni za 1-2 goda polnost’iu budut vytesneny s rynka, esli ne pridumaiut dlia sebia novoi ekologicheskoi nishi

3 лайка

Разумно то разумно… Но уже среди победителей есть человек подававший 7 октября и это не входит в версию о полной потере базы с 7 октября.

А о частичной потере базы входит?)

Простыня на две страницы, а суть та же - кроме домыслов - ничего.

Скорее всего:

адрес страницы проверки результата - https://www.dvlottery.state.gov/ESC/%28S%28odqskg55osgi5m45cbiuec55%29%29/Secure/StatusCheck.[b]aspx[/b]

плюс

This web site only supports Internet Explorer 6.0 and Internet Explorer 7.0

Кстати с точки Баз данных совсем не эффэктивно дублировать данные два или три раза. Достаточно в основной таблице данных где хранится основная информация аппликанта иметь дополнительное поле СТАТУС, которое в начале допустим пустое, после проверки фрода подазрительные аппликаты получают значение статуса, допустим букву ‘F’, потом могут применяться разные механизмы отбора случайных записей, простейший например начать с записи X и далее каждая N-ая запись победитель, поле статус для каждого N-ого меняется на ‘S’, от слова selected к примеру. И все тут, потом простейшими запросами можно выводить всех со статусом победитель или только фрод и т.д.
Кстати с точки зрения баз данныч 10 или 20 миллионов записей это раз плюнуть для любой мало мальски правильно настроенной системы. Все манипуляции от ночала до конца можно за пару часиков завершить.
Опять же все это только догадки, но система действительно до безобразия проста, как вообще там можно было ошибиться. Насчет сбоя базы то учитывая нынешний уровень систем управления данными это врядли возможно. Скорее всего программисти с кривыми руками.
И если был сбой при подаче заявок, то что стоило КСС объявить сбор не действительным, обнулить все и попросить заного ввести данные, думаю никто не обиделся бы.

2 лайка

Кстати, насчёт правельности метода выбора сначала дней, а затем уже и победетелей.

Равенство шансов всех участников при таком методе возможно лишь при условии,что мы берём одинаковые временные отрезки(24 часа) и кол-во участников,которые подали заявляния в эти дни одинаково(т.е. что в первый,что в последний,что в середине - одинаковое кол-во заявителей). Последнее условие выполнится не могло ни при каких обстоятельствах. Следовательно шансы были равны не у всех.

1 лайк

Этот метод не мог иметь место, потому что в правилах лотореи, есть заметка в которой КСС СОВЕТУЕТ НЕ ПОДОВАТЬ ЗАЯВКИ В ПОСЛЕДНЮЮ НЕДЕЛЮ, по причини возможной нагрузки на сервера. Если рандом зависит от даты подачи то он НЕ ИМЕЮТ ПРАВА довать такие советы. А если рандом попал бы на последнюю неделю! Так что, этот вариант исключается.

Есть на форуме толковый математик? По теорверу разложите нам плиз, были ли шансы равные у всех заявок, если имел место быть двухступенчатый алгоритм (сначала выбор дней, потом распределение по этим дням выигрышей)?

Есть на форуме толковый математик? По теорверу разложите нам плиз, были ли шансы равные у всех заявок, если имел место быть двухступенчатый алгоритм (сначала выбор дней, потом распределение по этим дням выигрышей)?
Ia po obrazovaniu kak raz matematik. Krome togo, ia rabotal v online cazino nad statisticheskim dokazatel’stvom togo, chto vse algoritmy, ispol’zuemye v kazino, rabotaiut verno - chto veroiatnosti vyigrysha v igrah v kazino okazyvaiutsia rovno takimi kak polojeno po teorii. Zaodno ia vse eti algoritmy sam i pisal. Poluchaetsia ohvat s dvuh storon. Algoritm pishetsia odnovremenno s testiruiuscei programmoi, a zatem analiziruetsia rezul’tat i ispravliaiutsia oshibki v oboih kuskah, poka statisticheskie rezul’taty (testy na sluchainost’) ne sovpadut s knijkoi. Razumeetsia, ia ne budu tut tratit’ massu vremeni na napisanie algoritma i dokazatel’stvo ego korrektnosti (t.e. chto shansy deistvitel’no ravny). No mne sovsrehsnno ochevidno, chto eto delo lish’ tehniki i vremeni (nedelia-dve polnogo rabochego dnia na odnogo cheloveka, skajem, menia)

Esli 1-y den’ loterei bil vibran nesluchayno, znachit lotereja uzhe nechestna, i vse posleduuschie otbori nichego ne menjaut, ne nuzhno bit’ matematikom chto eto ponimat’, eto znaet luboy student na pervom kurse kotoriy ne progulival klass po teorveru.
Mne ochevidno chto fraud bil sovershen rabotnikami KCC, s celju… tut mnogo chego mozhno pridumat’.
Teorija o tom chto eto protiv posrednikov ne imeet logicheskogo objasnenija, eto wishful thinking, popitka opravdat’ faulty system. Posredniki kak i vse ludi podaut ravnomerno po vsem dnjam, oni v etom godu poterjali ne bolshe chem prostie ludi. Finansovix riskov u posrednikov net potomu chto eto nichego ne stoit in the first place, lotereja besplatna. Kolichestvo posrednikov teper’ tolko uvelichitsja potomu chto kogda oni budut pisat’ na reklame “mi znaem kak uvelichit’ verojatnost’ viigrasha” eto uzhe ne budet polnostju nepravdoy, narod budet uveren chto DV2012 bil fraud i iskat’ pomoschnikov kak obxitrit’ sistemu.

8 лайков

Я понял. Допустим, шансы равны у всех заявок в этом случае. Ну и как считаете, будет выбрана квота с учетом того, что большое количество выигравших пар пойдут на процессинг по одному кейсу?

+1

Все мы немного расстроены, но переходить к такого рода высказываниям по отношению к Президенту США я считаю не допустимым. Хотите чтоб уважали Вас - уважайте других. IMHO. :beee:

1 лайк

Я понял. Допустим, шансы равны у всех заявок в этом случае. Ну и как считаете, будет выбрана квота с учетом того, что большое количество выигравших пар пойдут на процессинг по одному кейсу?
Semeinyh par? Nu i chto? Eto ot sily 10% lishnih, a tam dvukratnyi zapas vyigryshei po sravneniu s kvotoi. Krome togo, dannye o vyigryshah poiaviatsia na dniah (8 maia). I budet vidno skol’ko vyigralo ot Evropy. Vozmojno, oni dobavili 10% dlia kompensacii