Абстрактный:
Dark Net Markets (DNM) - это онлайн-рынки, которые обычно размещаются в виде скрытых сервисов Tor, предоставляющих услуги условного депонирования между покупателями и продавцами, совершающими транзакции с биткойнами или другими криптовалютами, обычно для наркотиков или других незаконных / регулируемых товаров; Самым известным DNM был Silk Road 1, который впервые внедрил бизнес-модель в 2011 году.
С 2013 по 2015 год я еженедельно или ежедневно копировал / зеркалировал все существующие англоязычные DNM в рамках моего исследования их использования, срока службы / характеристик и юридической рискованности; эти записки касались страниц поставщиков, отзывов, изображений и т. д. Вдобавок я сделал или получил копии стольких наборов данных и документов, связанных с DNM, насколько мог.
Эта уникальная всеобъемлющая коллекция теперь публично выпущена в виде коллекции размером 50 ГБ (~ 1,6 ТБ без сжатия), охватывающей 89 DNM и более 37 форумов, представляющих <4438 зеркал, и доступна для любого исследования.
Эта страница документирует загрузку, содержание, интерпретацию и технические методы, скрывающиеся за царапинами.
Существует ~ 89 рынков,> 37 форумов и ~ 5 других сайтов, представляющих <4 438 зеркал> 43 596 420 файлов в ~ 49,4 ГБ из 163 сжатых файлов, распакованных в> 1548 ГБ; самый большой архив распаковывается до <250 ГБ. (Его можно записать до 3 дисков BD по 25 ГБ или 2 дисков BD по 50 ГБ; в первом случае, возможно, стоит создать дополнительный FEC.)
Эти архивы представляют собой сжатые архивы xz (оптимизированные с помощью трюка с ключом сортировки); обычно каждая вложенная папка представляет собой сканирование с одной датой (ГГГГ-ММ-ДД) с использованием wget с макетом каталога / файла по умолчанию. Большая часть содержимого - это HTML, CSS и изображения (обычно фотографии списков товаров); изображения занимают много места и исключаются из многих сканирований, но я считаю, что изображения полезны, чтобы позволить просматривать рынки такими, какими они были, и могут быть очень ценными сами по себе в качестве исследовательского материала, поэтому я попытался собрать изображения, где это возможно. (Детская порнография не является проблема, так как все и DNM наименований форумов запретить этот контент.) Архивы получены из других людей следуют своим особым соглашениям. Пользователи Mac и Windows могут распаковать файлы с помощью встроенного архиватора ОС, 7zip, Stuffit или WinRAR; проверка ошибок PAR2 может быть выполнена с помощью par2,
Если вы не хотите распаковывать весь конкретный архив, так как они могут быть большими, вы можете попробовать извлечь определенные файлы, используя параметры, специфичные для архиватора; например, команда SR2F, нацеленная на конкретную ветку старого форума:
tar --verbose --extract --xz --file='silkroad2-forums.tar.xz' --no-anchored --wildcards '*topic=49187*'
Dark Net Markets (DNM) - это онлайн-рынки, которые обычно размещаются в виде скрытых сервисов Tor, предоставляющих услуги условного депонирования между покупателями и продавцами, совершающими транзакции с биткойнами или другими криптовалютами, обычно для наркотиков или других незаконных / регулируемых товаров; Самым известным DNM был Silk Road 1, который впервые внедрил бизнес-модель в 2011 году.
С 2013 по 2015 год я еженедельно или ежедневно копировал / зеркалировал все существующие англоязычные DNM в рамках моего исследования их использования, срока службы / характеристик и юридической рискованности; эти записки касались страниц поставщиков, отзывов, изображений и т. д. Вдобавок я сделал или получил копии стольких наборов данных и документов, связанных с DNM, насколько мог.
Эта уникальная всеобъемлющая коллекция теперь публично выпущена в виде коллекции размером 50 ГБ (~ 1,6 ТБ без сжатия), охватывающей 89 DNM и более 37 форумов, представляющих <4438 зеркал, и доступна для любого исследования.
Эта страница документирует загрузку, содержание, интерпретацию и технические методы, скрывающиеся за царапинами.
Существует ~ 89 рынков,> 37 форумов и ~ 5 других сайтов, представляющих <4 438 зеркал> 43 596 420 файлов в ~ 49,4 ГБ из 163 сжатых файлов, распакованных в> 1548 ГБ; самый большой архив распаковывается до <250 ГБ. (Его можно записать до 3 дисков BD по 25 ГБ или 2 дисков BD по 50 ГБ; в первом случае, возможно, стоит создать дополнительный FEC.)
Эти архивы представляют собой сжатые архивы xz (оптимизированные с помощью трюка с ключом сортировки); обычно каждая вложенная папка представляет собой сканирование с одной датой (ГГГГ-ММ-ДД) с использованием wget с макетом каталога / файла по умолчанию. Большая часть содержимого - это HTML, CSS и изображения (обычно фотографии списков товаров); изображения занимают много места и исключаются из многих сканирований, но я считаю, что изображения полезны, чтобы позволить просматривать рынки такими, какими они были, и могут быть очень ценными сами по себе в качестве исследовательского материала, поэтому я попытался собрать изображения, где это возможно. (Детская порнография не является проблема, так как все и DNM наименований форумов запретить этот контент.) Архивы получены из других людей следуют своим особым соглашениям. Пользователи Mac и Windows могут распаковать файлы с помощью встроенного архиватора ОС, 7zip, Stuffit или WinRAR; проверка ошибок PAR2 может быть выполнена с помощью par2,
Если вы не хотите распаковывать весь конкретный архив, так как они могут быть большими, вы можете попробовать извлечь определенные файлы, используя параметры, специфичные для архиватора; например, команда SR2F, нацеленная на конкретную ветку старого форума:
tar --verbose --extract --xz --file='silkroad2-forums.tar.xz' --no-anchored --wildcards '*topic=49187*'