Т.Е. сочетание совремнных матриц с современными усилителями и АЦП практически позволяет посчитать прилетевшие в ячейку матрицы фотоны?

Именно так. Причём в фотоаппарате бОльшая часть фотонов всё-таки теряется (не менее 2/3 потери в фильтрах, да ещё квантовая эффективность матрицы тоже далека от 100%), а вот у специальных scientific grade матриц QE достигает где-то процентов 80, если я не путаю. Фильтров на них, ессно, нет :-)

Вот мне интересно, почему фильтры на матрицу не делают вида CMY (G+B R+B R+G) вроде математикой дальше выделить RGB можно, а фототов в среднем в 2 раза больше поймается...

http://en.wikipedia.org/wiki/CYGM_filter :-)

Почему отказались - вопрос хороший. Могу предположить две проблемы:
1) да, монохроматическая чувствительность будет вдвое выше. Но цветовые компоненты (RGB) придётся вычислять хитрой матрицей из компонент CMY, шумы при этом будут складываться. В результате мы разменяем низкий монохроматический шум на высокий цветовой, а ещё неизвестно что хуже.
Кстати, у foveon та же проблема.
2) RGB фильтры за десятилетия развития техники (а это не только цифрофотики, но и цветное телевидение например) подобраны так, чтобы минимизировать цветовые искажения за счёт метамеризма. CMY фильтры придётся подбирать заново, и возможно что проблемы цветопередачи у тех что есть, в самом деле больше, чем у RGB фильтров.
Кстати, та же проблема у фовеона :-)

Вроде шумы не складываться, а усредняться должны.

Тут фигня вот в чём.

Дробовой шум пропорционален корню сигнала. Максимальный сигнал (заряд), снимаемый с пикселя, ограничен, значит и максимальный SNR пикселя точно так же ограничен. Шумы при сложении-вычитании складываются как корень, сигналы - складываются пропорционально (именно поэтому SNR растёт при усреднении - сигнал растёт быстрее чем шум).
А теперь возьмем CMY матрицу, "белый свет" (все пиксели засвечены одинаково), и подсчитаем пиксель G. G=C+Y-M, для белого цвета мы получим максимальный сигнал =2 от максимума на RGB матрице, шум при этом увеличится в sqrt(3)=1.7, а SNR улучшится аж в 1.15 раза, или на 15%. А оно нам точно надо, эти 15%?

Правда, это только для хороших условий освещённости, когда выдержку увеличить нельзя - будет переполнение. В темноте, где приходится задирать ISO, CMY таки даст ещё sqrt(2) или примерно 40% роста SNR за счёт вдвое большего сбора фотонов при той же выдержке. Правда, не факт что для реальных фильтров G=C+Y-M, арифметика может оказаться более мощной - а, скажем, при G=2C+2Y-3M (почему бы и нет, если фильтры хреновые - кстати, "та же проблема у foveon" - при фовеоновских довольно гладких кривых чувствительности, как-то так и приходится вычитать), выигрыш в темноте будет сведён почти к нулю, а на свету получится вполне внятный проигрыш :-)

> G=C+Y-M, для белого цвета мы получим максимальный сигнал =2 от максимума на RGB матрице, шум при этом увеличится в sqrt(3)=1.7, а SNR улучшится аж в 1.15 раза, или на 15%. А оно нам точно надо, эти 15%?

Стоп. Чего это я тут насчитал? Всё ещё хуже!
G=C+Y-M, 1+1-1=1 - сигнал не изменится, а вот шум каждой цветовой компоненты вырастет в 1.7 раза, соответственно SNR ухудшится! И даже "в темноте" дополнительный прирост сигнала будет =2 (вдвое больше сбор фотонов каждым пикселем), что улучшит SNR в 1.4 раза - но 1.4<1.7, поэтому даже в этом случае шум в цветовых компонентах увеличится :-)

Получается забавно: "яркостный" шум (шум R+G+B) в темноте будет на 40% меньше (за счёт вдвое большего сбора фотонов), а цветовой шум (шум каждой из компонент) - примерно на 30% больше :-) А на свету - яркостный шум не изменится (складываться будут C+M+Y с теми же максимальными значениями, увеличить сбор фотонов не получится за счёт конечного "объема" пикселя), а цветовой увеличится на 70%!

А ведь ожидалось как минимум "небольшое улучшение" :-)

Отказались из маркетинговых соображений. Потом будут впаривать про повышенную вдвое чувствительность. Потом "изобретуть" фильтры вообще без полощения. Потом "обнаружат" что можно нарастить апертуру до габаритов камеры. На каждой ступени будут двигать в массы и призывать сменить устаревшие камеры.

На сколько я помню отчёты о какой-то из сонек с такой матрицей (818?), проблемы были именно те: высокий и неприятный цветовой шум, который сводил на нет преимущество в чувствительности и проблемы с цветопередачей в сине-зелёной области.

Делали (Canon G1 как пример, там CMYG матрица).

А вот отчего отказались - я не знаю, может быть действительно с разделением цветов проблемы.

Если я правильно подсчитал, то при переходе от RGB к CMY (четвёртый цвет я для простоты проигнорирую, он конечно изменит расчёт, но на общий вывод не повлияет), "на ярком свету" (когда есть возможность поставить любую нужную выдержку) CMY даже ухудшит шум!

В самом деле, на свету пиксели заполнятся примерно одинаково (в CMY будет попадать вдвое больше света, но за счёт этого придётся ставить вдвое меньшую выдержку, чтобы не переполнить пиксели). При этом, скажем, зелёный цвет придётся вычислять как G=C+Y-M, "сигнал" G будет примерно тем же, что и в случае настоящего зелёного пикселя, (в C и Y - по 0.5 этого сигнала, и они суммируются), а вот шум - вырастет в sqrt(3) раз за счёт сложения-вычитания трёх величин.

То есть, шум "яркости" (R+G+B = C+M+Y) не изменится, а вот шум каждой из цветовых компонент - заметно (на 70% вырастет). Правда, это "на свету", то есть в наилучших для фотографирования условиях. "В темноте", когда выдержка ограничена, CMY соберёт вдвое больше света, но даже в этом случае, если я правильно понимаю, "цветовой" шум окажется выше, чем в случае RGB матрицы.

Поэтому я и не удивлён, что от CMY[G] отказались: реальный выигрыш оказался весьма сомнительным, если не отрицательным.

Делали хитро. CMYG. Но всё равно не пошло.

То есть они чёрно-белые?

Угу. Зачем "цветная" матрица, например, на выходе спектрометра?

Если мне склероз не изменяет на некоторых хамамацах до 90% бывает

Допускаю, всё равно точно не помню :-) Но 80-90 - разница не очень большая :-)

ну, я даже предположу что это к лучшему …

значит опять вместо экстенсивных подходов, будут искать что-то новое … может все-таки доведут до ума foveone, или что-то новое с фильтрами хотя бы придумают …

Еще вариант - разделение цветов зеркалами.

ну тогда уж может призмами? :) но, если не путаю, там потери сравнимые с фильтрами …

Зеркала теоретически - вообще без потерь и площадь ячеки матрицы в среднем больше.
Идея такая: после объектива ставится поупрозрачное зеркало, которое отражает только красный свет, в сенсор красного канала, остальное проходит прямо, и делится вторым зеркалом на синее и зеленое.

хм-с, чудес не бывает, если что-то сквозь зеркало пролетело, оно уже не отразится.

Проходили, в 3CCD видеокамерах. Насколько я понимаю, выигрыш вполне реальный, но резкое усложнение-удорожание конструкции. В фотокамерах проще "сменить мыльницу на зеркалку" или "перейти с кропа на FF" (увеличить площадь матрицы), а попытка перейти на 3CCD схему в зеркальном фотоаппарате... мало того, что придётся менять всю линейку оптики (два зеркала не влезут туда, куда с трудом влазит одно, а значит прощай рабочий отрезок), так ещё и конструкция будет совершенно дикой - при нажатии на капу надо убирать зеркало, с микронной точностью(!) ставить на его место два зеркала/призмы... не-е, на это никто из _фото_производителей не пойдёт :-)

и где те 3ццд камеры? если я не путаю, шли на это от бедности, т.е. от недостатка матриц и дороговизны больших ...

Скорее от плохого SNR тогдашних матриц: камеры с 3CCD были по определению дорогими, а в профессиональных камерах и матрицы стояли достаточного размера (догонять их до размера зеркалочных матриц тоже так просто не получится, объективы будут уж больно тяжёлыми), и 3CCD было. А как научились получать приемлемую картинку с одной матрицы - 3CCD и закончилось (в массах, в профессиональной аппаратуре может и осталось)...

Там все три цвета прилетают в матрицу (каждый в свою) потомучто отражаются/проходят сквозь зеркала, а в системе с фильтрами ненужные цвета поглощаются в фильтре...

Так проходили же, в 3CCD видеокамерах. До фотиков не дошло, потому что выигрыш оценить сложно (разница должна быть не в SNR - в "зелёный" пиксель 3CCD прилетает столько же света, сколько в байере - а в разрешении, а разрешение байеровской матрицы не так чтобы радикально хуже того же фовеона, имеющего все цвета в каждой точке), а геморрой с реализацией, особенно у зеркалок, получится знатный :-)

И еще в ламповую эпоху было...
В разрешении или SNR это как смотреть, при томже разрешении площадь пиксела можно сделать больше - SNR лучше, при тойже площади пикселя SNR тотже, но пикселей больше.

Это я понимаю, что шумы всегда размениваются на разрешение (ещё в плёночную эпоху так было), проблема в том, что оценки "насколько байер хуже истинного полноцвета по разрешению" очень приблизительны :-) Причём один и тот же байер был "заметно хуже полноцвета" лет десять назад, но стал "слабоотличим от полноцвета" сейчас. А всего-то - улучшили алгоритмы обработки... :-)

Ну я бы сделал биннинг (объединение) пикселов прямо на сенсоре. Падает освещенность - растим количество электронов с пиксела.

А разве фуджиковые сенсоры с двухразмерными пикселями не были чем-то похожим? Кстати, что-то давно о них не писали — они забили на эту идею или перестали такие сенсоры быть новостью?

Нет, там вторые (мелкие) сенсоры - отдельно. И у них, наоборот, маленькая чувствительность. Они для деталей в светах и ситуации "слишком много света".

В "научных" матрицах биннинг делают, вполне полезная и часто используемая фича. А в фотоаппаратных - вряд ли будут заморачиваться: там же байер, биннить придётся довольно хитрым образом, при этом большого выигрыша не будет: усилители и так малошумящие, время считывания небольшое, можно обойтись программным усреднением...

я все жду когда процы в камерах наберут мощи достаточно, чтобы камера могла быстренько сделать десяток кадров за треть секунды, часть из них с "закрытой крышкой", чтобы оценить попиксельно шум матрицы, остальные суммировать и превратить в одно качественное изображение.

В сонивской А330 (наверняка еще у когонибудь) реализована похожая фича для длинных выдержек, после вылета птички, зеркало закрывается и делается черный кадр с такой-же выдержкой.

Что-то вроде оверсэмплинга, только на изображении?
-----
ua1arn

Оверсэмплинг (точнее, superresolution) - побочный эффект, тут речь об обычном усреднении :-)

С другой стороны - куда применить оверсэмплинг (superresolution) в фоотокамере я ещё могу придумать, а вот для чего может понадобиться усреднение, когда можно просто увеличить выдержку... нет, тоже могу придумать, но именно SNR это не улучшит :-)

Вычитание темнового кадра много у кого есть, у меня было и в предыдущей мыльнице, и в текущей зеркалке. А вот усреднения не встречал - но именно усреднение не очень понятно когда вообще нужно: проще ведь просто увеличить выдержку - то же усреднение, но аппаратное, и шумы усилителя/АЦП при этом не складываются :-)

длинные выдержки плохи наличием движения. идея сделать несколько кадров "без движения" каждый , если человек на втором и третем кадре моргнул - выкинуть моргувшие глазки

если не путаю, то тут всё упирается не в процы, которые в зеркалках достаточные уже, а в скорости работы матрицы, которую перед кадром еще и “очистить” надо, кажется …

двенадцать кадров в секунду с полноразмерной матрицы вполне снимают
десяток за треть секунды тоже, наверное, скоро будет можно.
нужно ли?

Насколько я понял скудным умом, в очередной раз подтвердился тезис "there's no replacement for displacement", то-есть, чем матрица больше (физически) -- тем лучше, и хоть ты тресни.

Угу. То есть, раньше ещё был запас на снижение шумов усилителя, а сейчас его уже нет.
Правда, я не учёл темновые токи: заряд-то дискретен, и отдельные электроны мы считаем, но возникать он может не только из фотонов, но и сам по себе, из тепловых носителей. Ждём фотоаппаратов с охлаждением матрицы трёхступенчатым элементом пельтье ("научные" матрицы это давно умеют) :-)

Ещё забавно - в процессе обсуждения понял, что переход от RGBG паттерна к CMYG паттерну, хотя казалось бы должен приводить к удвоению собираемых фотонов и снижению шума, на самом деле приведёт к _увеличению_ шума даже в наилучшей для CMYG матрицы ситуации, а максимально достижимый SNR окажется существенно хуже. Почему (наверное) от CMYG и отказались :-)

> Ждём фотоаппаратов с охлаждением матрицы трёхступенчатым элементом пельтье ("научные" матрицы это давно умеют) :-)

Ой. Жрать будет, подим, ощутимо. Научной-то матрице, наверное, пофигу -- она стационарная. А батарея, наверное, не одобрит :)

Мне вот всё-таки так и не понятно, почему фотоаппараты с полноразмерной матрицей так непомерно дороги. Ведь площадь матрицы APCS меньше всего-то на 50%. Неужели это такое дорогое удовольствие? И почему из продажи фактически исчезли недорогие мыльницы с матрицами 1/1.8?

Вот у Кенона была старенькая мыльница A610 с матрицей 1/1.8. Зверь был, по мыльничным меркам! У меня до сих пор жива -- и делает не самые плохие фотографии. Стоила она двести пятьдесят долларов. А вот щас что у нас? Хрен укупишь 1/1.8 за 250. Только 1/2.3 или того хуже. А S100 с 1/1.7 стоит уже полтыщи монет. За эти деньги уже можно взять зеркалку начального уровня.

Дороги, потому что выход годных падает, ЕМНИП, быстрее роста площади. А тиражи полноформатных матриц сильно-сильно меньше, потому что потребитель не хочет таскать на себе большие объективы.