https://github.com/RodrigoViolante/my.cnf/blob/master/my.cnf_64GB - вот как пример по запросу "my cnf 64gb ram"
чел 38 гиг отвел под innodb_buffer_pool_size
чел 38 гиг отвел под innodb_buffer_pool_size
-
Юбилейный DevConfX пройдет 21-22 июня в Москве. Как всегда — Вы решаете, кто попадет в программу секции Backend — голосуйте за интересные доклады
Mysql Оптимизировать запрос, в таблице 6млн записей
- Автор темы lolka02
- Дата начала
Какое время запроса без сортировки?
И чтобы помочь надо понимать бизнес задачи, т.е. что должно в итоге получится. Если пытаться оптимизировать неправильный запрос который делает бесполезную работу, то в итоге все равно будет запрос, который все так же делает бесполезную и бессмысленную работу .
И поддерживаю насчет того что нужен или дба или сисадмин. Без понимания того что делаешь можно бесповоротно убить базу.
lolka02
Новичок
у нас вот как
innodb_buffer_pool_size = 7G
+ на сервере помимо этого сайта есть и другие сайты
lolka02
Новичок
суть в том что сделать выборку похожих товаров по тегам с сортировкой по дате добавления по убыванию. Тут как бы без сортировки не обойтись
Тогда единственный вариант переписывать этот сайт, уверен что одним запросом там дело не обойдется
lolka02
Новичок
@Yoskaldyr, ну пока нас интересует только этот запрос, в основном в логах самый долговыполняющий этот пока, а переписывать времени нет)
Ну так дубли же не просто так. Значит, наджойнилось. Значит, где-то надо либо уточнять условия джойнов, либо правильно делать группировку. Подозреваю, что результаты запроса в итоге вообще некорректны: mysql до версии 5.7.5 по умолчанию в таком случае берет в рамках группы первую попавшуюся строку, а остальные откидывает. Начиная с 5.7.5 будет ошибка.
Советую сделать вот так:
SET SESSION sql_mode = 'ANSI,ONLY_FULL_GROUP_BY';
и переписать запрос так, чтобы не было ошибки 1055. Заодно, может, и проблемы с производительностью решатся.
Если продуктов после фильтрации по тэгам остается немного, можно попробовать что-то вроде
но, опять же, с таким древним mysql...
PHP:
select product.*, company.*, ...
from product,
...,
(
select distinct product_id from product_to_tag
where product_to_tag.tag_id in (...)
) filter
where filter.product_id = product.id
...
Redjik
Джедай-мастер
не думаю что в любой базе такое получится сделать с хорошим временем
группировка и сортировка - 100% temp table создадут
в принципе не критично, можно и в памяти довольно шустро гонять, но цпу вырастет, если запросов много
ну и как @fixxxer сказал
я бы подумал в сторону стратегии посчитать похожие продукты заранее с пересчетом по крону (в таблицу связку)
на PG подобную фигню разрулили через materialized view и refresh concurrently каждые 5 минут
¯\_(ツ)_/¯
группировка и сортировка - 100% temp table создадут
в принципе не критично, можно и в памяти довольно шустро гонять, но цпу вырастет, если запросов много
ну и как @fixxxer сказал
если много, то надо другой вариант искать
я бы подумал в сторону стратегии посчитать похожие продукты заранее с пересчетом по крону (в таблицу связку)
на PG подобную фигню разрулили через materialized view и refresh concurrently каждые 5 минут
¯\_(ツ)_/¯
Redjik
Джедай-мастер
попробовать вытаскивать похожие товары для каждого товара . от 1 до 5-ти (наверное будет, не знаю какой у вас средний чек )
ошибся по каждому тегу ;(
в сумме время более простых запросов может оказаться лучше одного сложного.
измени вот эту часть
AND (product.id != 5016460) AND (c.id = 99 or c.parent_id = 99)
c.id = 99 or c.parent_id = 99
ввести в базу еще одно
поле region ? если правильно понимаю , что нам даст более быстрое условие
c.region = 99
product.id != 5016460 - выкинуть из запроса
можно пробежать по результату и сделать unset
ошибся по каждому тегу ;(
в сумме время более простых запросов может оказаться лучше одного сложного.
измени вот эту часть
AND (product.id != 5016460) AND (c.id = 99 or c.parent_id = 99)
c.id = 99 or c.parent_id = 99
ввести в базу еще одно
поле region ? если правильно понимаю , что нам даст более быстрое условие
c.region = 99
product.id != 5016460 - выкинуть из запроса
можно пробежать по результату и сделать unset
Последнее редактирование:
lolka02
Новичок
@Yoskaldyr, насчет переписывания сайта, все равно же такие моменты (связи)надо будет сделать через нормализацию или есть другой вариант?
@lolka02,
ORDER BY `product`.`timestamp_update` limit 30
бесполезная часть.
как понимаю company_id - тут у тебя аля tui ali avito, т.е. очередной маркет товаров для компаний.
и выводить желательно
а) по одному подходящему товару от компаний .
б) проплаченных вперед
в) обновляющих цены регулярно
г) досыпать до кол-ва с ротацией
ORDER BY `product`.`timestamp_update` limit 30
бесполезная часть.
как понимаю company_id - тут у тебя аля tui ali avito, т.е. очередной маркет товаров для компаний.
и выводить желательно
а) по одному подходящему товару от компаний .
б) проплаченных вперед
в) обновляющих цены регулярно
г) досыпать до кол-ва с ротацией