программирование

Уффф, теперь моя Хромоферма отправляет не raw xml анимулистов на сервер, а запаковывает его в deflate.

Fri, 03 Apr 2015 17:05:16 GMT Отправляем на anscore 39 новых страниц, 5.04 МБ. Запаковано в 0.66 МБ

Fri, 03 Apr 2015 17:05:27 GMT Отправляем на anscore 52 новых страниц, 5.17 МБ. Запаковано в 0.7 МБ

Fri, 03 Apr 2015 17:05:35 GMT Отправляем на anscore 23 новых страниц, 2.15 МБ. Запаковано в 0.28 МБ

Fri, 03 Apr 2015 17:10:05 GMT Отправляем на anscore 10 новых страниц, 0.34 МБ. Запаковано в 0.04 МБ

Fri, 03 Apr 2015 17:10:11 GMT Отправляем на anscore 10 новых страниц, 1.25 МБ. Запаковано в 0.16 МБ

А на сервере, в свою очередь, раньше скоп из ста страниц делал сто раз лок мьютекса, чтение с винта, ансериализацию, запись нового key-value, сериализацию и запись на диск.

Теперь всё это оптимизировано и один раз читается, ансериализируется, сто раз меняется key-value, один раз сериализуется и пишется на диск. Теперь там увеличение скорости ещё в 10-100 раз.

• Теги:
• animefag,
• программирование,
• javascript,
• php,

Забылся и случайно пульнул в корпоративный репозиторий коммиты, в которых у комментариев "гау гау" на конце

• Теги:
• yurikuma,
• программирование,
• работа,

Люди, которые делали d3js, явно ненормальные на всю голову. Нормальные люди никогда бы не придумали как настолько охренненно обрабатывать и визуализировать данные. Вчера занимался тем, что разрезал случайно слипшиеся франшизы. На руках список тайтлов и список relation между ними.

Эта хрень сама может сожрать список raw relation, построить граф и визуализировать. Няка!

http://anscore.animefag.ru/chro...уалах

• Теги:
• программирование,
• javascript,

Да, новая геноферма будет делаться дольше, чем я думал.

На написание одного только прекомпьюта уйдёт вся эта неделя. Пока увяз в Гауссовой нормализации (выставление оценок, исходя из частотности этих оценок, а не тупо от среднего арифметического).

На графике распределения полу-нормализованных оценок. Фиолетовый и зелёный — распределения здорового человека. Бордовый — распределения @linda-chan.

У каждого по 4 графика. Это средний/максимальный балл тайтлу (точнее франшизу) \* неустаревшие/все оценки. Графики у одного человека между собой похожи. У кого все оценки неустарели (не проставлял дату), у того только два графика.

• Теги:
• animefag,
• mal,
• программирование,
• статистика,

Я уже 2 месяца прокрастинирую и не могу приняться за новую геноферму. Всё откладываю и откладываю.

У меня просто челюсть сводит от объёма работы. Я столько идей клёвых придумал для обсчёта, что теперь страшно от количества реализации

А на работе я этим заняться не могу, потому что ноут не потянет.

• Теги:
• animefag,
• программирование,

Так, шутки шутками, а я вот прикидываю размер одной переменной для будущей генофермы.

(8 \ 3 \ 2) \ (92000^2 / 2) \ (4+4) = 1.47 Тб

(8 сырых оценок на 3 типа нормализации на 2 алгоритма корреляции) (кол-во пар пользователей) 8 байт на одну структуру

64 ГБ ОЗУ НЕ ХВАТИТ ВСЕМ И КАЖДОМУ! И это только на корреляции пользователей без самих особей

• Теги:
• программирование,
• генетические_алгоритмы,
• c++,
• animefag,

Для разнообразия попробовал не Google Code и не свой личный репозиторий, а BitBucket. В качестве системы версий — git, потому что на главном компе нет Hg.

Таки занялся новой генофермой. Раньше у меня было 12 аллелей, теперь их будет штук 40. СВЯТАЯ ТЕОРЕМА ШИНГЛОВ, СПАСИ МЕНЯ.

Надо будет курить код, который я писал год. Теперь не буду хранить все популяции в памяти, только текущую. А то когда у тебя из 10 ГБ ОЗУ на самом деле используется только 0.1% это вообще не круто.

64 ГИГАБАЙТА ОЗУ ДОЛЖНО ХВАТИТЬ

• Теги:
• animefag,
• bitbucket,
• программирование,

• Теги:
• программирование,
• япония,
• api,
• идиоты,