Уффф, теперь моя Хромоферма отправляет не raw xml анимулистов на сервер, а запаковывает его в deflate.

Fri, 03 Apr 2015 17:05:16 GMT Отправляем на anscore 39 новых страниц, 5.04 МБ. Запаковано в 0.66 МБ

Fri, 03 Apr 2015 17:05:27 GMT Отправляем на anscore 52 новых страниц, 5.17 МБ. Запаковано в 0.7 МБ

Fri, 03 Apr 2015 17:05:35 GMT Отправляем на anscore 23 новых страниц, 2.15 МБ. Запаковано в 0.28 МБ

Fri, 03 Apr 2015 17:10:05 GMT Отправляем на anscore 10 новых страниц, 0.34 МБ. Запаковано в 0.04 МБ

Fri, 03 Apr 2015 17:10:11 GMT Отправляем на anscore 10 новых страниц, 1.25 МБ. Запаковано в 0.16 МБ

А на сервере, в свою очередь, раньше скоп из ста страниц делал сто раз лок мьютекса, чтение с винта, ансериализацию, запись нового key-value, сериализацию и запись на диск.

Теперь всё это оптимизировано и один раз читается, ансериализируется, сто раз меняется key-value, один раз сериализуется и пишется на диск. Теперь там увеличение скорости ещё в 10-100 раз.

@radjah, дату посмотри, я это только что сделал

Обновлено за 24 часа 4907, обновлено за час 163, обновлено за десять минут 11

Вот это средняя скорость, 4900 в день. Теперь будет ~10000-20000

prepare: 3.0726110935211; Clear download: 40.147890329361; import: 80.87338924408; normalize: 3.1596760749817

Теперь профайлинг обновления списков выглядит так. Я не знаю почему clear download отнимает так много времени (по идее там должно быть 0 sec), а вот import это чтение xml-файла, его разбор и запись в базу данных. Одна строка на каждые 20 человек

@NokitaKaze, так, я неправильно сделал замеры. Сейчас делаю ещё раз

@NokitaKaze, новые замеры мне нравятся ещё меньше

prepare: 3.4728450775146; Clear download: 87.59440112114; import: 29.375196695328; normalize: 6.5037744045258

Достиг скорости 1000 страниц в час. То есть за день скачивается 24 000 страниц.

Ускорять ещё больше пока смысла не вижу

• Теги:
• animefag,
• программирование,
• javascript,
• php,