...Это продолжение, начало см. Часть 1!
Decrypter-объект m_decrypter логически "вставляется" между входным потоком QNetworkReply и приёмником QxmlInputSource :
connect(m_pManager, SIGNAL(finished(QNetworkReply*)), this, SLOT(onFinish(QNetworkReply*))); … m_reader = new QXmlSimpleReader; // connect QXmlSimpleReader to handlers m_reader->setContentHandler(this); m_reader->setErrorHandler(this); QNetworkRequest request(url); request.setHeader(QNetworkRequest::ContentTypeHeader, "application/x-www-form-urlencoded"); m_first = true; m_timestart.start(); // = QTime::currentTime(); m_timestop = QTime(); m_reply = m_pManager->post( request, postData().encodedQuery() ); qDebug() << "Got new m_reply=" << m_reply; //m_reply->setReadBufferSize(16*1024); m_decrypter = new Decrypter(m_reply, m_pSettings); m_xmlsource = new QxmlInputSource(m_decrypter); // [**] connect(m_reply, SIGNAL(readyRead()), this, SLOT(onReadyRead()) ); connect(m_reply, SIGNAL(downloadProgress(qint64, qint64)), this, SLOT(onDownloadProgress(qint64, qint64)));К сожалению, мне не удалось добиться того, что бы Decryptor работал в точности также как объект QNetworkReply; возможно причина в том, что он выдаёт информацию только 16-байтовыми порциями и не может в конце правильно оценить размер, но в handler-е SAX-парсера не запускался endDocument();
void WorkplaceTab::onReadyRead() { if ( m_reader==NULL || m_xmlsource==NULL ) { qDebug() << "WorkplaceTab::onReadyRead() - warning"; return; } if (m_first) { // выполняется один раз - при приёме превой порции данных qDebug() << "m_reader->parse(m_xmlsource, true);"; if (!m_reader->parse(m_xmlsource, true)) to_idle_state(); // прекращение режима приёма m_first = false; } long watchdog = 100; while ( m_decrypter!=NULL && m_decrypter->bytesAvailable()>0 ) { m_xmlsource->fetchData(); if (!m_reader->parseContinue()) to_idle_state(); // прекращение режима приёма if (watchdog--<0) break; } } void WorkplaceTab::onDownloadProgress(qint64 bytesReceived, qint64 bytesTotal) { logmessage( tr("%1 bytes and %2 rows loaded").arg(bytesReceived).arg(m_row) ); if (bytesReceived==bytesTotal) { // выполняется один раз - после приёма последней порции данных qDebug() << "WorkplaceTab::onDownloadProgress LAST TIME"; if (m_reader==NULL || m_xmlsource==NULL || m_reply==NULL) { qDebug() << "Warning: m_reader==NULL or m_xmlsource==NULL or m_reply==NULL!"; return; } long watchdog=1000000; bool b=true; while (b && m_xmlsource->data().length()>0 &&--watchdog) b = m_reader->parseContinue(); if (b) { m_xmlsource->next(); // и ещё раз - вхолостую - m_reader->parseContinue(); // что бы вызвалось QXmlInputSource::EndOfDocument } /* if (m_row<=0) // TODO: проверка что QXmlInputSource::EndOfDocument не отработал to_idle_state(); // грубая остановка */ } } // ?? иногда вызывается до завершения разборки XML! :-O void WorkplaceTab::onFinish(QNetworkReply *reply) { qDebug() << "WorkplaceTab::onFinish"; m_timestop.start(); // = QTime::currentTime(); bool anew = false; // отсоединяем обработчики onReadyRead и onDownloadProgress //reply->disconnect(); disconnect(reply, SIGNAL(readyRead()), this, SLOT(onReadyRead()) ); disconnect(reply, SIGNAL(downloadProgress(qint64, qint64)), this, SLOT(onDownloadProgress(qint64, qint64))); ....Может кто-то поможет с этим окончательно разобраться?
В этом посте расскажу о том, как поточно шифровать данные, передаваемые из PHP-скрипта в программу-клиент по HTTP. «Поточно» обозначает, что шифровка-передача-расшифровка происходит параллельно их поступлению (в данном случае из небуферизированного запроса к MySQL).
Как известно, данные передаваемые по HTTP никак не защищены и могут быть легко перехвачены и даже изменены на промежуточных узлах сети. Поэтому, если не использовать HTTPS, весьма уместно ценные данные при передаче зашифравать.
Данные я предаю в формате XML. Программа клиент сделаная на C++ и Qt расшифровав, направляет их в SAX-парсер (QXmlSimpleReader, XML-handler) и далее в GUI-таблицу QTableWidget «на лету».
Шифровка на сервере выполняется исключительно средствами PHP (поточным фильтром). Для расшифровки информации в клиенте я использовал библиотеку CryptoC++.
Я использовал древнюю Qt 4.5.0. Программа клиент разрабатывалась и компилировалась под Linux, а также (кросс-компилятором) под Windows.
Шифр я выбрал Twofish, который сейчас считается весьма стойким. Шифромание и дешифровка Twofish происходит блоками по 16 байт, причём я использовал режим сцеплания блоков шифротекста (CBC).
Я использовал два пароля — один общий для всех пользователей — вбивается в HEX-формате в настройках программы. Там же вбивается общий начальный вектор инициализации блока шифрования. Также у пользователя есть индивидуальный (относительно короткий) пароль, который он вводит каждый раз при старте программы для авторизации.
Для авторизации я посылаю POST-параметром HEX-форму индивидуального пароля пользователя, зашифрованный общим паролем (переведённым в бинарный формат из HEX-представления). На сервере происходит расшифровка его и сопоставление с хранящимся там паролем (или MD5-суммой).
Конечно, ещё стоит добавить до шифровки изменяющуюся не повотояющуюся последовательность, для того что бы нельзя было тупо перехватить и использовать это шифрованное значение. Сделаю это в будущем.
Рабочий ключ для шифровки и расшифровки данных создаю из бинарного представления MD5-суммы индивидуального пароля и из общего пароля беря оттуда и оттуда байты по очереди.
Мой серверный скрипт умеет посылать нешифрованный ответ — это удобно в случае если произошла какая-то ошибка (например, пароль не верный) и для отладки. Для того что бы отличать шифрованный ответ от не шифрованного в первом случае я в начале отправляю «заголовок» - 32 байта (два 16-байтовых блока), первый из которых является нулём. В XML-е вообще не должно быть нулевых байт, так что это — надёжный признак. Не шифрованный XML идёт обычно, без всякого заголовка.
Все эти детали не относятся прямо к теме, но, надеюсь, они помогут разобраться в моём коде, который я привожу в статье. Он уже прошёл "обкадку" и с уверенностью можно сказать, что всё работает надёжно под Linux и Windows (по крайней мере при компиляции с библиотеками, которые у меня)!
Вот важные фрагменты PHP серверной части:
Для того что бы это работало, разумеется нужна поддержка соответствующего фильтра mcrypt.* в PHP. Проверить это можно с помощью функции phpinfo().
date_default_timezone_set("Europe/Moscow");
@ini_set('output_buffering', 0);
header('Content-Transfer-Encoding: binary');
$alg = MCRYPT_TWOFISH; // MCRYPT_TripleDES; // MCRYPT_PANAMA;
$mode = MCRYPT_MODE_CBC; // MCRYPT_MODE_STREAM;
$ivsize = mcrypt_get_iv_size($alg,$mode);
$z="";for($i=0;$i<$ivsize;$i++) $z.="\0"; // нулевой блок
$iv=$z;
// получаем вектор инициализации из табл
$ksql = "SELECT *, MD5(value) as M FROM paramete
$rr0a = $mysqli1->query($ksql);
if ( $rr0a && ($row = $rr0a->fetch_assoc()) )
{
$ivh = $row["M"]; // MD5
// assert length($ivh)=32
$b = pack("H*", $ivh); // OR:
// $b = hex2bin($ivh); // request P
if ($b===false)
{
$message = "110\tCannot decode initialization vecto
}
else
{
$iv = $b;
}
}
…
// проверка авторизации происходит так
$password = (string)pack("H*", $password );
$password = trim( mcrypt_decrypt($alg, $key, $password, $mode, $iv), "\x00..\x1F" );
user_check( $user, $password ); // set second argument to false here to d
$pwd = md5($password);
…
ob_flush();
$f = fopen('php://output', 'w'); // пишем XML-информацию так: fwrite( $f,
// ...[*]...
$encr = ((!$message) || $message<=""); // $message у меня сигнализирует об ошиб
//$encr = false; ← что бы отключить шифр
if ($encr) echo $z.md5($iv,true); // write 16 zero bytes + 16 bytes of iv
…
// формирование рабочего ключа mix $key a
$pwd = pack("H*", $pwd); // convert to binary
$key1="";
for ($i=0; $i<strlen($key) && $i<strlen($pwd); $i++)
{ $key1.=$key[$i].$pwd[$i]; }
if (strlen($key)>strlen($pwd)) $key1.=substr($key,strlen($pwd));
if (strlen($key)<strlen($pwd)) $key1.=substr($pwd,strlen($key));
// note that maximum key lenght may exce
// Twofish::MAX_KEYLENGTH
//$key1=$pwd;
$opts = array('iv'=>$iv, 'key'=>$key1);
if ($encr) stream_filter_append($f, "mcrypt.$alg", STREAM_FILTER_WRITE, $opts); // <== активируем поточный фильтр-шифров
//stream_filter_append($f, 'convert.base
fwrite($f, '<?xml version="1.0" encoding="UTF-8"?>'
…
На стороне клиента шифрование индивидуального пароля для авторизации и формирование запроса происходит так:
QByteArray Dialog_Settings::encrypt(const QString& plain_str) { byte iv[ CryptoPP::Twofish::BLOCKSIZE ]; memset(iv,0,sizeof(iv)); CryptoPP::SecByteBlock keyblock( CryptoPP::Twofish::DEFAULT_KEYLENGTH ); const QByteArray iva = get_iv(); // assert iva.size()==BLOCKSIZE()==16 for (int i=0; i<CryptoPP::Twofish::BLOCKSIZE; i++) iv[i]=iva[i]; const QString k = get_key(); qDebug() << "key=" << k; keyblock.Assign( (const unsigned char*) QByteArray::fromHex(k.toLatin1()).data(), // k.toStdString().c_str(), k.toStdString().length()/2 ); try { const std::string plain = plain_str.toStdString(); std::string cipher; CryptoPP::CBC_Mode< CryptoPP::Twofish >::Encryption e( keyblock, keyblock.size(), iv ); // The StreamTransformationFilter adds padding // as required. ECB and CBC Mode must be padded // to the block size of the cipher. { CryptoPP::StringSource ss( plain, true, new CryptoPP::StreamTransformationFilter( e, new CryptoPP::StringSink( cipher ) ) // StreamTransformationFilter ); // StringSource } qDebug() << plain_str << "encryped. size=" << cipher.length(); return QByteArray( cipher.c_str(), cipher.length() ); } catch( const CryptoPP::Exception& e ) { qDebug() << "Error encryption: " << e.what() << endl; return QByteArray(); } } .......... bool ok = false; QString p = QInputDialog::getText( this, // NULL, // this tr("Password"), get_username().isEmpty()? tr("Enter user passord"): tr("Enter password for %1").arg( QString("<b>")+get_username()+"</b>"), QLineEdit::Password, v, &ok, Qt::Window | Qt::WindowStaysOnTopHint // Qt::WType_TopLevel // obsolete ); if (ok) { m_encrypted = encrypt(p); .......... const QString surl = baseurl()+"/xml.php?user="+user; QUrl url( surl ); QUrl postData; foreach (const RequestItem& wh, hr.reqrec.where()) { postData.addQueryItem("where[]", wh.where()); } foreach (const QString& col, m_pTableWidget->m_hidden[hr.table]) { postData.addQueryItem("skip[]", col); qDebug() << "at table" << hr.table << " skipped " << col; } qDebug() << "sending password..."; qDebug() << m_pSettings->get_enc().toHex(); postData.addQueryItem("password", m_pSettings->get_enc().toHex()); // ← m_pSettings->m_encrypted QNetworkRequest request(url); request.setHeader(QNetworkRequest::ContentTypeHeader, "application/x-www-form-urlencoded");так как шифрование происходит блоками, нужно что бы входная информация была дополнена до размера кратного длине блока («padding»). Для этого служит класс StreamTransformationFilter, дополнение происходит нулями. Кстати, поточный фильтр mcrypt.TwoFish в PHP тоже для этого использует нулевые байты (и это вроде нигде не написано). Т.к. мы передаём XML, т. е. plain-текст, в котором нет нулевых байт, мы легко можем удалить их с конца (см «де-padding» в конце кода метода Decrypter::readData ниже).
class Decrypter0 : public QIODevice { Q_OBJECT public: // Decrypter0() {} // my methods: virtual void unset() { m_source=NULL; } // { setSource(NULL); } #pragma GCC diagnostic push #pragma GCC diagnostic ignored "-Wunused-parameter" virtual bool setSource(QIODevice* source, QWidget* topwidget) { m_source=source; return false; } #pragma GCC diagnostic pop // QIODevice virtual; virtual qint64 bytesAvailable () const { return m_source==NULL? 0: m_source->bytesAvailable(); } virtual bool atEnd() const { return m_source==NULL? true: m_source->atEnd(); } virtual qint64 size() const { return m_source==NULL? 0: m_source->size(); } virtual bool open(OpenMode mode) { qDebug() << "open called"; QIODevice::open(mode); if (m_source==NULL) return false; return m_source->open(mode); } virtual void close() { QIODevice::close(); if (m_source!=NULL) m_source->close(); } // ### Qt 5: pos() and seek() should not be virtual, and // ### seek() should call a virtual seekData() function. virtual qint64 pos() const { return m_source==NULL? qint64(0): m_source->pos(); } virtual bool seek(qint64 pos) const { return m_source==NULL? false: m_source->seek(pos); } virtual bool reset() const { return m_source==NULL? false: m_source->reset(); } virtual bool canReadLine() const { return m_source==NULL? false: m_source->canReadLine(); } virtual bool isSequential() const { return true; } virtual bool waitForReadyRead ( int msecs ) { return m_source==NULL? false: m_source->waitForReadyRead(msecs); } protected: virtual void connectNotify ( const char * signal ) { qDebug() << "Don't try to connect the signal to decriptor! " << QLatin1String(signal); exit(109); } virtual qint64 readData(char *data, qint64 maxlen) { return m_source==NULL? 0: m_source->read(data,maxlen); } // read method is not virtual ! virtual qint64 readLineData(char *, qint64) { exit(111); } virtual qint64 writeData(const char *, qint64) { return 0; } // read-only QIODevice* m_source; };А вот сам Decrypter:
#pragma GCC diagnostic push #pragma GCC diagnostic ignored "-Wunused-parameter" #pragma GCC diagnostic ignored "-Wunused-variable" #pragma GCC diagnostic ignored "-Wtype-limits" #include "cryptopp/cryptlib.h" #include "cryptopp/twofish.h" #include "cryptopp/modes.h" #pragma GCC diagnostic pop #include <QIODevice> class Decrypter : public QIODevice { Q_OBJECT public: Decrypter(QIODevice* source, const Dialog_Settings* settings); inline qint64 BLOCKSIZE() const; virtual qint64 bytesAvailable() const; virtual bool atEnd() const { return m_source==NULL? true: m_source->atEnd(); } bool unencrypted() { return !m_protected; } // признак отсутствия шифрования size_t get_gc() { return m_gc; } // только для отладки protected: virtual qint64 readData(char *data, qint64 maxlen); virtual qint64 writeData(const char *, qint64) { return 0; } //Этот класс read-only QIODevice* m_source; bool m_first; bool m_protected; size_t m_gc;// globar data bytes counter; temporary/ debug - только для отладки CryptoPP::CBC_Mode< CryptoPP::Twofish >::Decryption m_d; // дешифратор };Имплементация:
#include "decrypter.h" #pragma GCC diagnostic push #pragma GCC diagnostic ignored "-Wunused-parameter" #pragma GCC diagnostic ignored "-Wunused-variable" #pragma GCC diagnostic ignored "-Wtype-limits" #include "cryptopp/filters.h" // StringSink #include "cryptopp/osrng.h" // AutoSeededRandomPool //#include "cryptopp/hex.h" // HexEncoder #include "cryptopp/base64.h" #pragma GCC diagnostic pop #include <string> #include <iostream> #include "dialog_settings.h" #include <QDebug> using namespace CryptoPP; Decrypter::Decrypter(QIODevice* source, const Dialog_Settings* settings) : m_source(source) , m_first(true) , m_protected(false) // Обозначает, что принимаются/приняты шифрованные данные , m_gc(0) { m_first = true; m_protected = false; byte iv[ BLOCKSIZE() ]; memset(iv,0,sizeof(iv)); SecByteBlock keyblock( Twofish::DEFAULT_KEYLENGTH ); if (settings!=NULL) { const QByteArray iva = settings->get_iv(); // initialization vector // assert iva.size()==BLOCKSIZE()==16 for (int i=0; i<BLOCKSIZE(); i++) iv[i]=iva[i]; // формирование рабочего ключа QByteArray kk = QByteArray::fromHex(settings->get_key().toLatin1()); QByteArray kp = QByteArray::fromHex(settings->get_pwd().toLatin1()); QByteArray k; // Keyblock is to compose from common secret key and user password for (int i=0; i<kk.size() || i<kp.size(); i++) { if (i<kk.size()) k.push_back( kk[i] ); if (i<kp.size()) k.push_back( kp[i] ); if (k.size()>=Twofish::MAX_KEYLENGTH) break; } keyblock.Assign( (const unsigned char*) k.data(), // k.toStdString().c_str(), k.size() ); } m_d.SetKeyWithIV( keyblock, keyblock.size(), iv ); // m_d=new CryptoPP::CBC_Mode< CryptoPP::Twofish >::Decryption( // keyblock, keyblock.size(), iv ); } qint64 Decrypter::BLOCKSIZE() const { return Twofish::BLOCKSIZE; } qint64 Decrypter::bytesAvailable() const { if (m_source==NULL) return 0; return m_protected? BLOCKSIZE()*(qint64)( m_source->bytesAvailable() / BLOCKSIZE() ) : m_source->bytesAvailable(); //return m_source->bytesAvailable(); // <-- так не работает } qint64 Decrypter::readData(char *data, qint64 maxlen) { //qDebug() << "Decrypter::m_source=" << m_source; if (m_source==NULL) return 0; //qDebug() << "Decrypter::m_first=" << m_first; if (m_first) { // выполняется только при приёме первого байта // - проверка признака шифровки const QByteArray test( (const QByteArray&) m_source->peek(1) ); if (test.size()==0) return 0; m_protected = (test.size()==1 && test[0]==0); // передача зашифрована? qDebug() << "Data stream:" << (m_protected?"CRYPTED":"OPEN"); if (m_protected) m_source->seek(32); // skip first 32 bytes ("header") m_first = false; } if (!m_protected) // Если передача не шифруется просто перекладываем данные { qint64 r = m_source->read(data,maxlen); m_gc+=r; return r; } // qint64 len = BLOCKSIZE()*(qint64)( m_source->bytesAvailable() / BLOCKSIZE() ); qint64 len = bytesAvailable(); // qDebug() << "LEN=" << len; if (len>maxlen) len = maxlen; qint64 len1 = BLOCKSIZE()*((qint64)len/BLOCKSIZE()); // assign(len1<=maxlen) qint64 s = m_source->read(data, len1); // assign(s==len1) // s - размер прочитанных данных до расшифровки size_t s2 = 0; // s2 - размер данных на выходе try { ArraySink *a = new ArraySink( (byte*)data, (size_t)s ); // объект-посредник для приёма данных в массив data StringSource ss( (const byte*)data, (size_t)s, true, new StreamTransformationFilter( m_d, // это объект CryptoPP::CBC_Mode< CryptoPP::Twofish >::Decryption a, StreamTransformationFilter::ZEROS_PADDING //StreamTransformationFilter::NO_PADDING ) // StreamTransformationFilter ); // Source s2 = a->TotalPutLength(); // получаем размер данных на выходе } catch( CryptoPP::Exception& e ) { std::cerr << "Caught Crypto++ Exception: " << e.what() << std::endl; } for (int j=s-1; j>=s-BLOCKSIZE() && j>=0; j--) // де-padding if (data[j]==0) data[j]=' '; // нулевые байты в конце заменяем пробелами else break; //qDebug() << "s2="<< s2 << "rest0="<< (len-s) << "rest="<< m_source->bytesAvailable(); m_gc+=s2; //qDebug() << "global.counter=" << m_gc; // чисто для проверки return s2; }
← Previous day | (Calendar) | Next day → |