Oleg (obartunov) wrote,
Oleg
obartunov

Categories:

Компрессия сырых данных (или их потеря)

Сенсоры LHC регистрируют столкновения, которые записываются на хранители. Поток такой, что требуется записывать 1 петабайт каждую секунду, что пока практически невозможно. Решение достигнуто ценою выбрасывания неинтересных столкновений, скажем, столкновения уже известных частиц "никому не интересны". Это позволило снизить поток информации до 1 гигабайта в секунду (ссылка 1, ссылка 2, ссылка 3). Фильтрацию в онлайне осуществляют 2000 процессоров.

Таким образом, вполне может оказаться, что фильтрация реализована с ошибкой и наука пропустила много невоспроизводимых данных. В астрономии, такое невозможно по определению - каждое наблюдение имеют ценность для человечества и не может быть выкинуто даже ради сжатия данных. С другой стороны, планирующийся проект нашего института "Лира" предполагает аналогичную компрессию, а именно, в онлайне определяются границы областей вокруг точечных и протяженных объектов, которые собственно и спасаются, а все остальное уничтожается (считаются различные агрегаты перед уничтожением). Миша Прохоров сказал мне, что таким образом достигается компрессия чуть ли не в 100 раз, т.е. на передать на Землю потребуется в 100 раз меньще DVD.
Tags: data management
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 0 comments