Довольно долго передо мной стояла следующая проблема: как отсканировать любую книгу, так чтобы были выполнены следующие условия:
а) минимальные затраты времени
б) удобный формат, сохраняющий оригинальную книжную страницу, иллюстрации и т.п.
в) возможность поиска по тексту
г) небольшой размер.
В общем, любой текстовый формат делает эти условия невыполнимыми, т.к. ни одна OCR-программа не способна работать без участия человека. Случаются, конечно, исключения, когда книга отсканирована очень хорошо и можно переводить в текст, особенно не проверяя качество. Однако для целого ряда книг это было в принципе невозможно. Кроме того, вставал вопрос о том, какой текстовый формат использовать. Ни один из существующих не удовлетворяет всем условиям сразу. Html не сохраняет оригинальных страниц, pdf крайне громоздок, если в книге много иллюстраций, chm в общем, тоже, не панацея.
Одним словом, ясно было, что ставку нужно делать на формат djvu. Чтобы понять, почему, достаточно взглянуть на библиотеку мехмата МГУ. Я думаю, что это вообще самое полезное место в Рунете - для математиков, конечно.
Однако с djvu у меня постоянно возникали какие-то проблемы. Главная из них состояла в следующем: невозможность пакетной обработки файлов, полученных из FineReader, для их конвертации в djvu. Для меня это сводило все преимущества формата к нулю. И вот, решившись на последний мозговой штурм, я выяснил, что и как нужно делать. Теперь можно получать электронную книгу, размером в несколько мегабайт, с сохранением всего оформления, с возможностью поиска (т.е. с встроенным в графический формат распознанного текста), легко читаемую, масштабируемую и прекрасно поддающуюся печати (и даже последующей конвертации в любой текстовый формат) - затрачивая на это времени не больше, чем на ксерокопирование.
Итак, как это делается. Для начала здесь берется Document Express Editor v5.0.0 (можно, очевидно использовать и версию 5.0.1, я пишу о том, что делал сам). Оригинальная программа занимает 168 Мб, но можно ограничится урезанной версией в 53,9 Мб, и даже совсем минималистской - 1,72 Мб (последняя не поддерживает распознавание текстов).
Дальше в FineReader-е сканируется книга. Сканировать нужно в 300-600 DPI в зависимости от качества шрифтов и наличия мелких деталей. Я часто сканирую в 400 DPI, этого обычно вполне достаточно. Сканировать лучше всего в сером, хотя в зависимости от книги используется и ч/б. Если книга меньше, чем A4, имеет смысл выставить размеры области сканирования в окне "Настройки сканера" - это экономит время и делает готовую книгу более аккуратной без дополнительной обработки. Разворот книги, на мой взгляд, лучше делить. Когда все настройки сделаны, для сканирования удобно использовать кнопку сканера, а не интерфейс FineReader-а - это позволяет сканировать, не переключаясь между окнами, и не отвлекаясь от основной работы за компьютером.
После того как вы сделали копию книги в FineReader, нужно сохранить изображения (меню "Файл"). Если вся книга черно-белая, то сохранять нужно в один tiff-файл в формате ч/б Group 4. Если есть цветные картинки в общем ч/б тексте, то их нужно сохранять отдельно (впрочем, можно сохранить всю книгу в цветных tiff, если компьютер позволяет). Если сканировали в сером, то сохраняете все в сером tiff тоже одним файлом.
Дальше открываете чудовищную программу Workflow Manager из состава Document Express Editor. Программа, кстати, стоит 4 тысячи долларов, но на интерфейсе явно кто-то экономил. Добавляете изображение (если у вас один tiff, то, естественно, только его), если есть цветные картинки, то по очереди соответствующие файлы. Ставите галочку Perform OCR, если хотите включить возможность поиска по тексту, выбираете язык. Если файлов с изображениями несколько, во вкладке Output выбираете One document only. Потом ставите галочку в столбце Enable. Через некоторое время в папке, где лежали исходные tiff-файлы, появляется книга в формате djvu. Всё. Получается книга, которая удовлетворяет всем вышеперечисленным условиям.
Поклонники перфекционизма могут использовать специальные программы для удаления мусора на страницах после сканирования, или же удалять его вручную.
В общем, если у вас есть хорошая книга, ею очень просто поделиться с общественностью.
Current Music: Mercedes Sosa - Los Mareados
Comments
![[info]](http://lj.rossia.org/img/userinfo.gif){kind=small}
Спасибо за описание процесса. Очень полезно.
Кроме софта для сканирования нужен еще и подходящий сканер. Не во всякий сканер можно засунуть книжку, не разобрав ее предварительно на страницы.
Интересно, а нельзя ли сканировать ксероксом? Печатать графику им точно можно. Т.е. бывают ли такие модели ксероксов и какие именно?
Кроме софта для сканирования нужен еще и подходящий сканер. Не во всякий сканер можно засунуть книжку, не разобрав ее предварительно на страницы.
Интересно, а нельзя ли сканировать ксероксом? Печатать графику им точно можно. Т.е. бывают ли такие модели ксероксов и какие именно?
(Reply to this) (Thread)
Ну, любой современный (выпущенный за последние года 4) планшетный сканер подходит в общем-то. Проблемы, похоже, бывают только для тех устройств, которые совмещают в себе принтер и сканер и т.п.
Ксероксом? В каком смысле? Если ксерокс умеет работать с компьютером, сохранять в нем данные, то это уже и есть сканер.
Ксероксом? В каком смысле? Если ксерокс умеет работать с компьютером, сохранять в нем данные, то это уже и есть сканер.
Нет, не любой. Сейчас полно выпускается сканеров с линейкой фотодиодов. Глубина резкости у них стремится к нулю, сканировать можно только отдельные листы.
(Reply to this) (Parent)
Про ксероксы - их у меня в конторе много стоит. Известно, что их можно не только для копирования, но и для печати использовать. Можно ли их использовать в качестве сканеров (т.е. читать с ксерокса) - не знаю, подозреваю, что нет. Могу ошибаться.
У меня два сканера, ни в один из них книжку положить невозможно. Такие дела.
У меня два сканера, ни в один из них книжку положить невозможно. Такие дела.
(Reply to this) (Parent)
400 дпи... Как-то читал в статье о сканировании, что 400 дпи-- они не настоящие (войско говорит-- царь не настоящий!). Типа, сканирование идёт на 300 дпи, а потом программно растягивается до 400 дпи. Нужно ли это? Хрен ведь знает, КАК сканер делает ресамплинг... Автор говорил, что настоящие-- это 300 и 600 дпи, т.е. видимо, кратные х300.
В рез-тате-- может сканировать-то на честных 300 дпи? Интересно было бы конечно сравнить распознаваемость текста, сделанного на "400 дпи" и на 600 дпи и полсе руками в Фотошопе ужатых до 400 дпи. Не пробовали?
В рез-тате-- может сканировать-то на честных 300 дпи? Интересно было бы конечно сравнить распознаваемость текста, сделанного на "400 дпи" и на 600 дпи и полсе руками в Фотошопе ужатых до 400 дпи. Не пробовали?
(Reply to this) (Thread)
|
Видать это от сканера зависит. Вот у меня та же фигня или 300 или 600.
Спасибо за инфу. Это напоминает инструкцтю по пизжению яблок с огорода частника с использованием сверхсовременного оборудования, тоже спизженого.
Я все-таки предпочитаю pdf. Если залезешь на запад, то у ни х вся гуманитаристика в нем. А Дежавю - это от безысходности из-за формул.
Спасибо за инфу. Это напоминает инструкцтю по пизжению яблок с огорода частника с использованием сверхсовременного оборудования, тоже спизженого.
Я все-таки предпочитаю pdf. Если залезешь на запад, то у ни х вся гуманитаристика в нем. А Дежавю - это от безысходности из-за формул.
Насколько я понимаю, источники большей части ихних pdf - это спёртые ebooks, а не отсканированные в домашних условиях книги. Еще бывают статьи, скопированные в pdf из word. Еще - гигантские и ужасные файлы графических pdf из jstore. Вообще, pdf распространеннее, но это не значит, что он лучше.
PDF бывает довольно компактный, если он сделан из
исходной верстки. Если ж он берется из-под сканера, он
обыкновенно чудовищно плохой и большой.
Такие дела
Миша
исходной верстки. Если ж он берется из-под сканера, он
обыкновенно чудовищно плохой и большой.
Такие дела
Миша
(Reply to this) (Parent)
Дежавю - это вовсе не из-за формул. Это совсем другое сжатие с последующей обработкой. Формулы тут ни при чем.
(Reply to this) (Parent)
Нет, я верю, что 400 дпи, пусть и нечестных. могут быть лучше 300, хотя откуда тогда берётся дополнительная информация о сканированном тексте?
Возможно, по времени перевод в 400 дпи будет сравним со временем сканирования на 600 дпи? Впрочем, я тут не спец...
Возможно, по времени перевод в 400 дпи будет сравним со временем сканирования на 600 дпи? Впрочем, я тут не спец...
(Reply to this) (Parent)
Это зависит от оптического разрешения сканера. Раньше большинство сканеров имело разрешение не более 300dpi, отсюда и пренебрежительное отношение к высоким разрешениям при сканировании. Сейчас трудно купить сканер с оптическим разрешением меньше 600dpi, сканеры среднего уровня имеют 1200dpi.
С этим-то я согласен. Мне просто казалось, что реально именно оптическое разрешение, а разные вариации на тему 400, 500 и пр дпи кажутся мне бессмысленным пользовательским наворотом, ибо те же 300 дпи размазываются по бОльшей площади. Даёт ли это выигрыш? hvil говорит, что даёт. Ну, значит техника ушла от меня вперёд...
(Reply to this) (Parent)
Получается книга, которая удовлетворяет всем вышеперечисленным условиям. Не удовлетворяет она всем условиям. Дежавю это просто сжатая графика, поиск по тексту (и копирование) в ней невозможны. Нормальный формат для книги в любом случае текстовый, все графические форматы с каким угодно сжатием не более чем полумера. Полуфабрикат, а не настоящая электронная книга.
(Reply to this) (Thread)
Извиняюсь, не прочитал целиком. Остановился на « затрачивая на это времени не больше, чем на ксерокопирование». Я не одну книгу подготовил в электронном виде, поэтому знаю, что с такой скоростью нельзя получить нормальный распознанный текст (по крайней мере, в технической литературе). Кстати, а для чего нужно сохранять оригинальные страницы??? Для всех целей, на мой взгляд, достаточно сохранять одни только номера страниц. Тут, конечно, есть о чём поспорить, но я не считаю, что электронная книга должна быть копией бумажной. После долгих метаний я лично остановился на формате HTML, потому что его можно читать везде и всюду. PDF больше дежавю, но зато гораздо более распространён, поэтому часть книгу я делал в нём.
Нормальный OCR с такой скоростью сделать нельзя. Достаточный для поиска и в некоторых случаях копирования - можно. При этом, поскольку страница остается такой, как она была в книге, неполноценный OCR не вредит собственно чтению. Если нужно скопировать много текста, что бывает не так уже часто, можно распознать часть файла djvu повторно.
Оригинальные страницы нужно сохранять во-первых, в целях эстетических, во-вторых, книгу тогда можно распечатать именно так, как она была сверстана, в-третьих, если мы имеем дело со сложным макетом страницы, включающем иллюстрации и особые шрифты.
Если у вас есть время, чтобы делать html, то я вам завидую.
Логику с распространенностью я не понимаю.
Оригинальные страницы нужно сохранять во-первых, в целях эстетических, во-вторых, книгу тогда можно распечатать именно так, как она была сверстана, в-третьих, если мы имеем дело со сложным макетом страницы, включающем иллюстрации и особые шрифты.
Если у вас есть время, чтобы делать html, то я вам завидую.
Логику с распространенностью я не понимаю.
|
Оффтоп
Ты не знаешь, как переводиться у нас с английского compositionalism?
Иногда в контексте его противопоставляют функционализму. В данном же случае речь идет о Локке. Похоже, что это у нас называется ассоцианизмом, но уверенности у меня нет.
Ты не знаешь, как переводиться у нас с английского compositionalism?
Иногда в контексте его противопоставляют функционализму. В данном же случае речь идет о Локке. Похоже, что это у нас называется ассоцианизмом, но уверенности у меня нет.
В сементике, насколько я понимаю, композиционализм - это идея, согласно которой, значение предложений определяется исключительно значением слов, которые в нем используются, и их структурой: значение предложения - фунцкия его элментов. И противопоставляется это контекстуализму.
И еще, я сейчас посмотрел: когда композиционализм противопоставляется функционализму, то речь идет о философии биологии. Функционалисты считают, что человек часть природы, а композицитоналисты - что человек нечто внешнее по отношению к ней. (http://print.google.com/print?id=hs21xf0yPO4C&pg=PA34&lpg=PA34&prev=http://print.google.com/print%3Fie%3DUTF-8%26q%3Dcompositionalism%2Bfunctionalism%26btnG%3DSearch&sig=30QbN8gbDqJgOJh1DI2AUqcKGRM )
И еще, я сейчас посмотрел: когда композиционализм противопоставляется функционализму, то речь идет о философии биологии. Функционалисты считают, что человек часть природы, а композицитоналисты - что человек нечто внешнее по отношению к ней. (http://print.google.com/print?id=hs21x
|
Спасибо за инструктаж.
У нас такая проблема стояла с ценными дипломными работами, сделанными до эры компа. Теперь кафедра может спать спокойно.
У нас такая проблема стояла с ценными дипломными работами, сделанными до эры компа. Теперь кафедра может спать спокойно.
(Reply to this) (Parent)
|
Хм, спасибо. Про биологию я уже сам глянул. Значит так и переводят - композиционализм?
Поясню, тут контекст про Локка. Обыкновенно, в тех пунктах, где Айерс говорит о композиционализме, у нас вроде как говорили об ассоцианизме.
Щас еще в stanford encyclopaedia гляну. Статья states of affairs
Ага. Глянул. Видно так и придется переводить. Калькой.
Поясню, тут контекст про Локка. Обыкновенно, в тех пунктах, где Айерс говорит о композиционализме, у нас вроде как говорили об ассоцианизме.
Щас еще в stanford encyclopaedia гляну. Статья states of affairs
Ага. Глянул. Видно так и придется переводить. Калькой.
(Reply to this) (Parent)
|
К сожалению, когда e-book'ов довольно много, то обязательно потребуется полнотекстовой поиск по ним всем сразу, но почти никакие поисковые программы не поддерживают djvu. А вот pdf сколько угодно.
Так что сэкономишь на размере, потеряешь на удобстве работы.
Так что сэкономишь на размере, потеряешь на удобстве работы.
(Reply to this) (Thread)
Очевидно, что если книг в djvu будет много, то появится и поиск. И вообще, дело не в размере: графический pdf просто ужасен.
|
Ну если графика. В "моих" книгах она редкий гость :)
Я не совсем понял. Графики нету и вы сохраняете в текстовом формате? Делаете OCR и не проверяете? Или тратите по несколько дней на проверку?
(Reply to this) (Parent)
|
Спасибо за ссылки! Поставил себе пятую версию Document Express Editor. Английский текст распознаёт прекрасно, а русский -- очень плохо, даже после того, как я выбрал русский в Preferences.
У меня тут чего посканить в основном английское, но русское тоже есть интересное, так что хотелось бы научиться и русское распознавать.
Как у Вас было с распознаванием русских текстов?
У меня тут чего посканить в основном английское, но русское тоже есть интересное, так что хотелось бы научиться и русское распознавать.
Как у Вас было с распознаванием русских текстов?
(Reply to this) (Thread)
Теоретически есть возможность использовать OCR из FineReader - есть специальная программа для этого, сделанная каким-то умельцем. Но я этим не занимался, потому что качестве OCR хоть и плохое, но все-таки достаточное для поиска. А больше, по-моему, ничего и не надо.
|
Какое-то оно у меня черезчур плохое...
Ну да посмотрим, что можно сделать.
Ну да посмотрим, что можно сделать.
(Reply to this) (Parent)
|
Спасибо, завтра попробую.
(Reply to this) (Thread)
А если книга редкая и обращаться с ней надо бережно, тогда что,м?))
мне кажется,сканирование должно осуществляться специальным книжным сканером. ИМХО, ага.
мне кажется,сканирование должно осуществляться специальным книжным сканером. ИМХО, ага.
(Reply to this) (Parent)
|
А можно этот текст скопировать в http://anticopyright.ru/ ? на условиях лицензии GFDL
Мы там хотим всякие такие руководства собрать.
Мы там хотим всякие такие руководства собрать.