никто на тебя не нападает
У меня нет вопросов, ни к одному участнику дискуссии, кроме тебя. Потому что ты в своем репертуаре как всегда - не ответил на вопрос, а только поразводил понты:
в начале 2010х в sotmarket было порядка 40 млн товарных позиций в одной базе mysql без шардинга с нормализованной EAV структурой данных, и фасетный, то есть, обычный фильтр по нескольким характеристикам работал на обычных запросах с десятком join, с оптимизацией по индексам, и даже без кеширования
И слился когда я сделал конкретное уточнение на пагинации. Пагинация это основная проблема, а фасеты и сортировка только все усугубляют. Если бы сказал, что на мускуле/постгре это нерешаемо, я бы тоже не сагрился - т.к. я в курсе этого. А так - классическое д`Артаньянство.
Ко всем остальным у меня не было никаких претензий, т.к. предлагаемые ответы из разряда тебе "это не надо", а не решение проблемы - ЭТО НОРМА для клуба
И если бы я был обидчивой снежинкой, то я бы давно уже не сидел на клубе.
И вопрос я задал только потому что я знаю, что используя популярные ДБ эту задачу решить
НЕ ВОЗМОЖНО. И только потому что одна из моих специализаций платная оптимизация запросов (т.е. я знаю наверное
все способы оптимизации запросов для того же мускуля, когда например поможет обновление ДБ, когда можно переписать запрос, а когда нужно и логику переписывать). Перепробовать все возможные базы данных ни у кого нет возможности (их же реально дофига под разные задачи). Вот именно поэтому и спросил и может кто юзал какую экзотику для аналитики или подобного.
Плюс можно попробовать подобную магию, у меня нет под рукой большой базы чтобы проверить работает ли с инодб
К сожалению, эта тоже давно известная оптимизация (селект только идшников и селфждоин этой же таблицы) и на таких выборках скип занимает дофига даже когда идет скип в селекте только идшников из кластерного индека (самый быстрый для мускуля вариант)
ты пропустил мое предложение с эластиком
Когда я давно пробовал (лет 7 назад), пагинация у эластика была такой же тормознутой как и везде, но вот хз как оно сейчас. Но раз говоришь что должно норм работать - попробую
Еще из интересного нагуглил это вертика по идее умеет более менее быстро работать с такими запросами (но хз что в их понимании быстро, но по идее такое количество строк для колоночных БД это ничто):
www.vertica.com
ivopereira.net
