шум

Не надо сравнивать яблоки с апельсинами

Dmitry Vasiliev 12:57, 2009 5 28

Последнее время многие пытаются делать какие-либо сравнения, но, к сожалению, большинство из них обычно выглядят следующим образом:

Решил сравнить яблоки и апельсины. Яблоки оказались тяжелее. Вывод: апельсины круче.

Проблема в том, что после этого куча "школьников" начинает вторить: "Да! Апельсины круче!", не понимая, что во-первых сравнение никакое и во-вторых - для каждой задачи нужен соответствующий ей инструмент.

Вот совсем свежий пример - Миша Кашкин написал как-бы сравнение HTTP-серверов. По этой заметке возникает сразу куча вопросов:

  • Какой контент отдают описанные сервера? Тут есть и Nginx и Django (собственно это и вообще не HTTP-сервер) и MochiWeb (записанный как Erlang). Каждый может работать и со статическим и с динамическим контентом, который, в свою очередь, может храниться и создаваться совершенно по-разному.
  • Настройки. Любимая тема в любом подобном "сравнении" - что-то сравнить, но не сказать про настройки, хотя связанные с этим "ошибки" могут изменить результаты и на порядок.
  • В заметке написано, что Nginx и Django "умерли" в первом тесте, но вот только не очень понятно, что это значит. На ум приходят варианты когда процесс не отвечает, или Segmentation Fault, или завершение процесса из-за нехватки ресурсов (см. настройки), а возможно и вообще что-то другое.

В конце заметки есть два замечательных вывода от ab. Оказывается, что Nginx/0.6.32 отдал 10000 раз документ длинной 151 байт за 2.289 сек., а MochiWeb/1.0 (записанный ранее как Erlang) отдал 10000 раз документ длинной 88 байт за 6.935 сек. О чем это должно говорить? Правильно - абсолютно ни о чем.

В итоге, конечно "апельсины" оказались круче - "лучше использовать сервера на erlang'e". Ой, а что же мне теперь выбрать? Может MochiWeb, а может Yaws, или HTTP-сервер который напишет на Erlang Вася Пупкин?

Мораль здесь следующая - читать сравнения конечно можно, но думать надо своей головой.

Comments All comments

Comment by Andrey Popp on 13:39, 2009 5 28

Andrey Popp's Gravatar

Да, и без графиков не очень то наглядно получилось :)

Comment by Nikita Kabardin on 16:24, 2009 5 28

Nikita Kabardin's Gravatar

Вали в Крым!

Add comment

Name:
Email: (Never will be published.)
Web site:
Comment: (Paragraphs divided by empty lines, line breaks and links will be automatically formatted.)