Так, шутки шутками, а я вот прикидываю размер одной переменной для будущей генофермы.
(8 \ 3 \ 2) \ (92000^2 / 2) \ (4+4) = 1.47 Тб
(8 сырых оценок на 3 типа нормализации на 2 алгоритма корреляции) (кол-во пар пользователей) 8 байт на одну структуру
64 ГБ ОЗУ НЕ ХВАТИТ ВСЕМ И КАЖДОМУ! И это только на корреляции пользователей без самих особей
Прочитать всё (0 комментариев) Под катом есть текст Дата: 28 ноября 2014, 1:00С помощью добавления индексов и переписывания самых критичных кусков кода (некоторые исполняются по 16 млн раз за одну целевую функцию) мне удалось добиться прироста скорости в некоторых местах в 200-600 раз, а в среднем по программе *в шесть раз*. Теперь одна особь высчитывается максимум за 15 секунд, а вкупе с распараллеливанием по ядрам я получил по 2.5 секунды на особь. По сравнению с изначальными 90 секундами разница в 36 раз.
Я считаю это огромным достижением и сейчас моя великолепная геноферма считает то, для чего предназначалась — функцию подсчёта рекомендаций.
Отдельное спасибо хочу сказать @breif .
Прочитать всё (0 комментариев) Дата: 01 ноября 2013, 8:04Ну офигеть. Генетический алгоритм, как я не крутил целевую функцию, выдаёт мне один и тот же ответ: "не фильтруй ничего, корми пользователей всем"
Прочитать всё (0 комментариев) Дата: 05 октября 2013, 11:08