Форум » Другие материалы » Metal-Archives » Ответить
Metal-Archives
Damned: Уважаемые братья по разуму, любители металла. У меня есть к вам следующее предложение. Имеется скачанный сайт www.metal-archives.com (кто не знает, это, пожалуй, самый большой тематический ресурс по металлу). (да кто ж его не знает ) Есть дискографии команд, фото, обложки альбомов. Все это можно в оффлайне смотреть без подключения к интернету. Но вот обложки и фото групп, к сожалению, не все. Взываю к тем, у кого есть возможность скачать нужные мне обложки и фото. Объем примерно 500-600 Мб. (верхняя оценка) Я даю вам список, что качать, вы качаете и присылаете мне по почте. В ответ я высылаю вам диск со всем содержанием с этого сайта (дискографии и остальная часть обложек, фото). Если желающих вдруг будет несколько, оставляю выбор за собой. (на вопрос "а где ты взял остальное тогда, если не можешь 500 М скачать" отвечу сразу: остальное качали также другие люди, у меня нет безлимитки)
Ответов - 33, стр:
1 2 All
Damned: Как альтернативу готов также предложить 1 DVD музыки на выбор из моего каталога. http://metal-abyss.narod.ru/damned_aud_list.zip
DIF': а смысл выкачиывния этого замечательного сайта? безусловно, сервер часто падает проблемы с базой, Sql и т.д. ведь он апдейтица ежедневно, мало того, что добавляется куча новых групп, также добавляются альбомы, исправляются ошибки и меняются замечания информация просто быстро устраревает.
Wild User: DIF' пишет: а смысл выкачиывния этого замечательного сайта? безусловно, сервер часто падает проблемы с базой, Sql и т.д. Это первая причина. + если провайдер глючит, в и-нет можно вообще не выйти. 2. Экономия трафика. Почему - вроде и так понятно. 3. Возможность, при наличии определённого софта, организовать поиск или некую автоматизацию необходимых операций. DIF' пишет: ведь он апдейтица ежедневно, мало того, что добавляется куча новых групп, также добавляются альбомы, исправляются ошибки и меняются замечания информация просто быстро устраревает. Решается периодическим обновлением скачанного контента. Т.е. докачиваются / перекачиваются только недостающие или изменившиеся файлы. Раз в полгода, думаю, хватило бы обновлять.
Damned: >> а смысл выкачиывния этого замечательного сайта? >> безусловно, сервер часто падает проблемы с базой, Sql и т.д. >> ведь он апдейтица ежедневно, мало того, что добавляется куча новых групп, DIF, не у многих есть безлимитный интернет, это хорошая экономия трафика. Я, например, по ней всегда проверяю альбомы (там бывают огрехи, но это другой разговор). При составлении виша также можно смотреть сюда. Добавляются группы - пожалуйста, взял и докачал. Вот с обновлением "исправленной" информации сложнее, получается, что нужно все с нуля качать. Но лично мне хватает "устаревшей информации" :) Процент ее для меня не сильно велик, так что с этим можно смириться под давлением всех других преимуществ. Wild User, насчет программки автоматизации, то в принципе нет проблем, чтоб она с интернета брала, основной аргумент тут - экономия трафика. Плюс независимость от доступности сайта и интернета - у них частенько падает сервер, бывало, что больше недели не был доступен. И потом, представьте, что сайт вдруг вообще по-крупному навернется (с потерей инфы, хотя наверное бэкапы они держат в надежном месте) или закроется (сейчас он живет на добровольные пожертвования). Или ваш IP почему-то там забанят неожиданно :)
DIF': какую прогу юзать чтобы выкачивать архивы? и чтобы обновления она тоже понимала и качала, типа Teleport Pro ? Damned пишет: Вот с обновлением "исправленной" информации сложнее, получается, что нужно все с нуля качать поподробнее, почему с нуля? IIS так понимаю нужно использовать при просмотре в оффлайн, верно?
Damned: >> какую прогу юзать чтобы выкачивать архивы? >>и чтобы обновления она тоже понимала и качала, типа Teleport Pro ? Может ты тогда подскажешь, как замечать, что такая-то "страница" обновлена, если там php-скрипты + MySQL ? Тогда я тебе может и программу подскажу. Я вообще генерю список линков самописной прогой и качаю самой обычной качалкой. Teleport Pro такой проект но потянет, на 65535 ссылок скажет до свидания. >> поподробнее, почему с нуля? Чтобы узнать, что какая-то страница изменилась, надо ее скачать. Что равносильно тому, чтоб скачать все с нуля. (ведь даты страницы я так понимаю там нет, ибо все на базе MySQL). >> IIS так понимаю нужно использовать при просмотре в оффлайн, верно? Зачем еще IIS? Достаточно браузера, ведь скачиваются обычные HTML-страницы. Может ты думаешь, что я их базу прямо скачал, но это не так, ее скачать для меня не представляется возможным. Качаю то, что возвращает скрипт - HTML-страницу.
DIF': Damned пишет: Может ты тогда подскажешь, как замечать, что такая-то "страница" обновлена, если там php-скрипты + MySQL ? Тогда я тебе может и программу подскажу. Я вообще генерю список линков самописной прогой и качаю самой обычной качалкой. Teleport Pro такой проект но потянет, на 65535 ссылок скажет до свидания. пока не знаю, но наверно есть такие вещи, Damned пишет: Зачем еще IIS? Достаточно браузера, ведь скачиваются обычные HTML-страницы. Может ты думаешь, что я их базу прямо скачал, но это не так, ее скачать для меня не представляется возможным. Качаю то, что возвращает скрипт - HTML-страницу. нет не думаю, просто предпологаю, что это большой геморой возвращать HTML страницу скриптом, и потом качать её возможно, конечно не прав, но если уж качать, то качать именно базу, скрипты и т.д. если это конечно реально единственный момент, не знаю, как тогда качать только обновления. в данный момент качать особо смысла не вижу, так как поиск идет сейчас через google
Damned: DIF' пишет: просто предпологаю, что это большой геморой возвращать HTML страницу скриптом Геморрой, но не мой. Страницу возвращает их сервер в ответ на мой запрос. Я только отсылаю туда нужные запросы (т.е. вызываю тот или иной скрипт с нужным параметром). DIF' пишет: возможно, конечно не прав, но если уж качать, то качать именно базу, скрипты и т.д. если это конечно реально Только если как-то взломать и получить доступ туда. Иначе никак - ведь скрипты все server-side. В этом случае действительно проблематично качать только обновления, придется всю базу перетягивать. Лично я не вижу проблемы в том, что это HTML-страницы, мне и так удобно. DIF' пишет: в данный момент качать особо смысла не вижу, так как поиск идет сейчас через google Вот эту фразу не понял :) "Свой" поиск у них был намного лучше.
DIF': Damned пишет: Вот эту фразу не понял :) "Свой" поиск у них был намного лучше. естественно свой намного лучше, к тому что если каким-либо обозом качать целоком, то потом искать не получиться, возможно можно сделать так же как у них было давно, но это тоже гемор по поводу скриптов, какие именно там скрипты? вообщем попробую, отпишу ещё.
Serker: Серёга , а ты у Костяна фотки забирал ? Он ведь много скачал .
Damned: Serker пишет: Серёга , а ты у Костяна фотки забирал ? Он ведь много скачал. От Костяна не было вестей. Последний раз говорил с ним где-то месяц назад, а то и больше. Судя по тому, что он собирался скачивать через Offline Browser, а где-то весной на сайте изменили ссылки на картинки, я подумал, что у него ничего не получилось. DIF' пишет: по поводу скриптов, какие именно там скрипты? Конкретно текст модулей не знаю, извини :) PHP-скрипты какие-то, посылающие запрос в SQL-базу и возвращающие HTML-страничку.
DIF': качается вроде телепортом, но есть несколько моментов после закрытия телепорта он начинает обнолять ссылки в файлах, как понимаю для локального просмотра и на этом виснет, пока точно не знаю как это решается, возможно качать по 200 файлов и потом останавливать закачку сам телепорт добавляет к файлу index.php расщирение htm, получается index.php.htm также в игнор включил маски такие: *userprofil*; *review*.*; *userrankings*.*; *usercol*.* соответсвенно профили юзеров, рецензии, ранги юзеров, и возможно коллекции юзеров в итоге вышло подозрительно малое колличество файлов всего - 40.000, странно
Serker: Да не , он скачал . Тогда как раз у него брат уезжал из города и он воспользовался его безлимитной выделенкой . Так что если что обращайся . Сегодня я кстати его увижу
Damned: DIF' пишет: возможно качать по 200 файлов и потом останавливать закачку Удачи! Таких итераций надо будет сделать более 700. DIF' пишет: сам телепорт добавляет к файлу index.php расщирение htm, получается index.php.htm также в игнор включил маски такие: *userprofil*; *review*.*; *userrankings*.*; *usercol*.* Телепорт говно для такого сайта, говорю же. Небольшие сайты можно скачать. DIF' пишет: в итоге вышло подозрительно малое колличество файлов всего - 40.000, странно Это наверное только до 1-го уровня ссылок ты отмотал, там групп примерно столько. Релизов еще больше 100 000.
Die Hard: Решил модифицировать офф-лайн версию m-a.com, взяв за основу адаптированный Damned'ом вариант от 02/2007. Хочу группы в отдельную папку разнести (по 1000 в каждой), релизы - в отдельную (по 10000), навигацию - в отдельную. Ну и главная цель, в chm-формат перегнать. Сижу вот прогу ваяю. Уже 2-й день. Планирую за сегодняшнюю ночь закончить.
Damned: Die Hard пишет: адаптированный Damned'ом вариант от 02/2007 Быстро оно потекло в массы :) Die Hard пишет: Хочу группы в отдельную папку разнести (по 1000 в каждой), релизы - в отдельную (по 10000), навигацию - в отдельную Ты извращаешься, я от такого отошел из-за больших проблем с перекрестными ссылками со страницы на страницу. Die Hard пишет: Ну и главная цель, в chm-формат перегнать Хорошая цель, но для чего? Этакая цель-в-себе, если выражаться по Канту.
UnFo: Товарищи, а вы поделитесь с народом сим полезным трудом?
Die Hard: Ага. Самовыражаюсь :) Просто громоздко выглядит сейчас база. Все в одном каталоге. И это при ~80k файлов (только html). А как быть с последующими обновлениями? Рано или поздно, но их кол-во превысит 100-200k файлов. Не знаю кого как, но меня такое напрягает :) Из задуманного мной, пока удалось только рыбку сьесть :) Не могу в chm формат перебить (в отличие от ситуации "все в одном" - тут очевидный плюс твоей схемы). Надо будет разобраться с адресацией. А так, все уже работает. + инфа хранится в виде базы 1С (Damned, ты вроде тоже с ее помощью свои манипуляции проводишь?). Создание ссылок на дальнейшую докачку теперь вообще секундное дело. Насчет chm-формата. Как "зачем в него перегонять"? Или образ под 300 метров ворочать (только html), либо файл 28Mb, есть разница? Хоть с флешки работай. С моей работой, когда есть куча свободного времени, куча компов где приходится сидеть, очень даже неплохой вариант. Просканировал папку на винте тем же AMC, на работе прописал в базе тэги, а вечером синхронизировал.
Die Hard: UnFo Почему бы и не поделиться. Устраиваешь обмен, и на свободное место просишь дописать базу. Ну или на отдельную болванку взамен чистой. Ты когда меняешься с кем нибудь, интересуйся, у многих база уже имеется.
Damned: Die Hard пишет: Просто громоздко выглядит сейчас база. Все в одном каталоге. И это при ~80k файлов (только html). А как быть с последующими обновлениями? Рано или поздно, но их кол-во превысит 100-200k файлов. Не знаю кого как, но меня такое напрягает :) Какая разница сколько файлов? Да хоть миллион. Меня это вообще не напрягает, файловая система NTFS выдержит. Как быть с обновлениями? Да очень просто, скачал и закинул в папку до кучи. А как быть в твоем варианте, когда все по 10000 разбито (ссылки надо править)? ВОТ ЭТО настоящий напряг, а не 200 000 файлов. Die Hard пишет: Создание ссылок на дальнейшую докачку теперь вообще секундное дело. Это и так не было долгим :) Наверное, ты не обладаешь каким-то тайным знанием, которым обладаю я. Die Hard пишет: Или образ под 300 метров ворочать (только html), либо файл 28Mb, есть разница? Хоть с флешки работай. Дело в том, что CHM сжимает файлы, поэтому занимает в 10 раз меньше. Если образ пожать, будет то же. На самом деле я бы посмотрел на CHM, в который ты бы закомпилил все картинки (у тебя их нет, как я понимаю). У меня флешка 2 гига, так что 300М записать нет проблем. Купи себе хотя бы гиг, не жмись :) UnFo пишет: Товарищи, а вы поделитесь с народом сим полезным трудом? Рекомендуемый алгоритм распространения - хорошим друзьям. Кому попало раздавать не стоит (всяким халявщикам и накольщикам, коммерсантам всяким), уважайте труд и пожелание создателей :)
Die Hard: Damned Ты что такой недобрый :) >ВОТ ЭТО настоящий напряг, а не 200 000 файлов. Когда прога лопатит, вообще не напряг. А она вовсю уже лопатит :) В любом случае, ты не руками правишь ссылки на обновленные страницы (те же main page страны/жанры). >На самом деле я бы посмотрел на CHM, в который ты бы закомпилил все картинки (у тебя их нет, как я понимаю). Они мне не нужны. Если надо будет глянуть, смонтирую полный образ (который под 4 гига). >У меня флешка 2 гига, так что 300М записать нет проблем. Купи себе хотя бы гиг, не жмись :) А я разве жмусь? Ничуть нет. Я жоплюсь :) Лучше скажи, какой прогой лучше качать ссылки с метал-архива. Качаю флэшгетом, через каждые 40-50 ссылок, от м-а нет отклика. Приходится минут 2-3 брать паузу, затем по новой. ------ Проблема с конвертацией в chm-формат была не в структуре ссылок, а в прогах, которыми я пользовался. Ни одна, из опробованных мною ~10 не смогла справится. Всем подавай плоскую структура сайта. Нашел одну, которая корректно работает (и относительно долго), но, сучка, ссылается на нехватку памяти. Попробую дома, на большем ОЗУ прогнать.
Damned: Die Hard пишет: Когда прога лопатит, вообще не напряг. А она вовсю уже лопатит :) Я имел в виду сложные правила преобразования ссылок, мало прозрачности. И все-таки, зачем разбивать? Вы же смотрите в браузере, какая вам разница, как лежит по папкам. Die Hard пишет: Лучше скажи, какой прогой лучше качать ссылки с метал-архива. Качаю флэшгетом, через каждые 40-50 ссылок, от м-а нет отклика. Есть такой нюанс. Не любит он быстрой езды :) Я ставлю во флешгет ограничение 500 байт/с, тогда получается автоматически задержка между закачками.
DIF': так что получается, что телепортом скачать не получиться, можно тогда чем качать именно программами не гемороясь с Chm файлами, Offline Browser потянет такие вещи? и ещё картинки можно качать вот отсюда: http://static.metal-archives.com/ а вот статистика: http://static.metal-archives.com/stats/
Die Hard: Damned Мои настройки: Макс. кол-во заданий - 1 Кол-во повторов - 0/1 Ограничение трафика - 500 Один хрен не прокатывает :(
Damned: Die Hard пишет: Ограничение трафика - 500 Не 500, а 0.5. DIF' пишет: Offline Browser потянет такие вещи? Вопрос, требующий изучения. DIF' пишет: и ещё картинки можно качать вот отсюда: http://static.metal-archives.com/ Я бы сказал, что все ссылки именно туда и ведут. Так ты скачаешь или нет? :)
DIF': Damned пишет: Я бы сказал, что все ссылки именно туда и ведут. Так ты скачаешь или нет? :) вопрос, на который дать ответа пока не могу, попробую.
Die Hard: >Не 500, а 0.5. Именно 500 (ограничение трафика (б/с)). FlashGet ниже 400 вообще не дает ставить. Все, нашел нужные (для себя) настройки. Уже свыше 500 файлов закачались без паузы. Правда медленно, но... Все равно DSL весь день работает.
Damned: Первоначальное предложение приостановлено. Появился вариант.
blazing: я бы с удовольствием принял бы этот доработанный, дополненный материал на обмен. Сейчас в отпуске, но если что пишите
Die Hard: Вот еще один аргумент в защиту офф-лайн версии. Sorry, our hosts are having DNS problems - if you see this message, it means that they are pointing the domain name to the wrong IP (brilliant, I know). Again. Completely beyond our control, I'm afraid. Thank you for your patience.
Damned: >> Вот еще один аргумент в защиту офф-лайн версии. Уже вроде он исчез :)))) На этот раз что-то быстро.
Die Hard: Самое забавное, что эту надпись видел лишь один я в нашем городе. Все, кого я просил зайти на сайт, в один голос утверждали, что сайт работает. Единственное, у некоторых были проблемы с CSS.
retro: Хочу!!! Как приобрести?
полная версия страницы