animefag

@0xd34df00d навёл меня на мысль — а что если вместо C# использовать nodejs на сервере для обработки хтоническго кол-ва цифр, проходящих через рекомендательную систему?

Надо посмотреть что там с Нодой на текущий момент.

Нода же надеюсь умеет в mysql. Скорость там такая, что все кончают. Кхм. Надо задуматься об этом

• Теги:
• nodejs,
• animefag,
• c#,

Немного занимался сайтом, решил посмотреть где идут самые крупные тормоза при запросе страницы. Оказалось, что на 10-20 сек может повеситься sql-запрос

insert into `anime__visits` ...

который добавляет в таблицу данные о дёрганиях страниц. А в таблице 2 млн строк... И пересборка индекса после каждого insert'а...

Сделал таблицу anime__visits_delayed с engine=memory, и в неё какаю через

insert delayed into `anime__visits_delayed` ...

А раз в пятнадцать минут переношу всё в основную таблицу, а эту — стираю.

Ну и anime__visits партициировал по годам. Теперь там пересборка не 2 млн строк, а только входов за этот год.

Теперь скорость загрузки глагне ~80 мс

• Теги:
• animefag,
• mysql,

Поменял Apache на php-fpm, зашёл на анимуфаговую страницу со своими рекомендашками, хоп, всё загрузилось за 600 мс, я аж охренел от скорости... и тут-то Никита и понял, что у него просто отвалился jQuery, а иже с ним и вся генерация графиков.

Нет, с этим надо что-то делать. В субботу вырублю генерацию графиков автоматом. Только при переходе на страницу статистики будет

• Теги:
• animefag,
• php,

Вот вам три новых списка

Радость ньюфага https://animefag.ru/list...pisok.html Списки лучшего аниме от тех людей, кто просмотрел 11-20 франшиз (тайлов/манги)

Радость новичка https://animefag.ru/list...pisok.html Списки лучшего аниме от тех людей, кто просмотрел 21-40 франшиз

Радость олдфага https://animefag.ru/list...pisok.html Списки лучшего аниму от олдфагов, которые типа илитка и посмотрели 400 франшиз (что может быть равным over 600 tv)

Радость олдфага это пипец. Это какая-то радость илитки, а не олдфага

• Теги:
• animefag,

Перевожу анимуфаг на новую ЦМС.

Старый

Concurrency Level: 100 Time taken for tests: 6.359 seconds Complete requests: 1000 Failed requests: 0 Total transferred: 47237000 bytes HTML transferred: 46733000 bytes Requests per second: 157.27 [#/sec] (mean) Time per request: 635.862 [ms] (mean) Time per request: 6.359 [ms] (mean, across all concurrent requests) Transfer rate: 7254.70 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 3 28 53.4 9 208 Processing: 62 595 246.2 487 1530 Waiting: 62 594 245.3 486 1530 Total: 231 623 251.5 517 1535

Новый

Concurrency Level: 100 Time taken for tests: 10.744 seconds Complete requests: 1000 Failed requests: 0 Total transferred: 47928303 bytes HTML transferred: 46409000 bytes Requests per second: 93.07 [#/sec] (mean) Time per request: 1074.414 [ms] (mean) Time per request: 10.744 [ms] (mean, across all concurrent requests) Transfer rate: 4356.33 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.5 0 3 Processing: 24 1034 642.8 789 2788 Waiting: 24 1033 642.7 788 2787 Total: 26 1034 642.6 789 2788

Epic fail

• Теги:
• animefag,
• php,

Только сегодня ночью подпилил код, чтобы страницы качались на 10%-20% быстрее. А сейчас они впилили защиту от слишком частых запросов и скорость упала раза в три.

Один шажок вперёд, три шага назад. Охренеть

• Теги:
• mal,
• animefag,

Я вот решил заняться сайтом и пилю новую статистику

https://animefag.ru/mal/radjah.html

https://animefag.ru/mal/...akaze.html

Для начала "сделать у Малграфа". Потом ещё своего добавлю

• Теги:
• animefag,

Уффф, теперь моя Хромоферма отправляет не raw xml анимулистов на сервер, а запаковывает его в deflate.

Fri, 03 Apr 2015 17:05:16 GMT Отправляем на anscore 39 новых страниц, 5.04 МБ. Запаковано в 0.66 МБ

Fri, 03 Apr 2015 17:05:27 GMT Отправляем на anscore 52 новых страниц, 5.17 МБ. Запаковано в 0.7 МБ

Fri, 03 Apr 2015 17:05:35 GMT Отправляем на anscore 23 новых страниц, 2.15 МБ. Запаковано в 0.28 МБ

Fri, 03 Apr 2015 17:10:05 GMT Отправляем на anscore 10 новых страниц, 0.34 МБ. Запаковано в 0.04 МБ

Fri, 03 Apr 2015 17:10:11 GMT Отправляем на anscore 10 новых страниц, 1.25 МБ. Запаковано в 0.16 МБ

А на сервере, в свою очередь, раньше скоп из ста страниц делал сто раз лок мьютекса, чтение с винта, ансериализацию, запись нового key-value, сериализацию и запись на диск.

Теперь всё это оптимизировано и один раз читается, ансериализируется, сто раз меняется key-value, один раз сериализуется и пишется на диск. Теперь там увеличение скорости ещё в 10-100 раз.

• Теги:
• animefag,
• программирование,
• javascript,
• php,

Чтобы сконвертировать таблицу на 11 ГБ с оценками пришлось сделать

innodb_buffer_pool_size = 13G

Если таблица не помещается в памяти — это ппц. Вчера 10 часов конвертировалось, застряло на 8 ГБ и по чайной ложке в час шло, а у меня как раз и было настроено 8 ГБ. Сейчас до сих пор линейная скорость. С 11:29 конвертируется, жду окончания в 20:42

• Теги:
• animefag,
• mysql,