source: branches/vendor/trolltech/qt/current/tools/linguist/shared/translator.cpp @ 2

Last change on this file since 2 was 2, checked in by Dmitry A. Kuminov, 13 years ago

Initially imported qt-all-opensource-src-4.5.1 from Trolltech.

File size: 19.0 KB
Line 
1/****************************************************************************
2**
3** Copyright (C) 2009 Nokia Corporation and/or its subsidiary(-ies).
4** Contact: Qt Software Information (qt-info@nokia.com)
5**
6** This file is part of the Qt Linguist of the Qt Toolkit.
7**
8** $QT_BEGIN_LICENSE:LGPL$
9** Commercial Usage
10** Licensees holding valid Qt Commercial licenses may use this file in
11** accordance with the Qt Commercial License Agreement provided with the
12** Software or, alternatively, in accordance with the terms contained in
13** a written agreement between you and Nokia.
14**
15** GNU Lesser General Public License Usage
16** Alternatively, this file may be used under the terms of the GNU Lesser
17** General Public License version 2.1 as published by the Free Software
18** Foundation and appearing in the file LICENSE.LGPL included in the
19** packaging of this file.  Please review the following information to
20** ensure the GNU Lesser General Public License version 2.1 requirements
21** will be met: http://www.gnu.org/licenses/old-licenses/lgpl-2.1.html.
22**
23** In addition, as a special exception, Nokia gives you certain
24** additional rights. These rights are described in the Nokia Qt LGPL
25** Exception version 1.0, included in the file LGPL_EXCEPTION.txt in this
26** package.
27**
28** GNU General Public License Usage
29** Alternatively, this file may be used under the terms of the GNU
30** General Public License version 3.0 as published by the Free Software
31** Foundation and appearing in the file LICENSE.GPL included in the
32** packaging of this file.  Please review the following information to
33** ensure the GNU General Public License version 3.0 requirements will be
34** met: http://www.gnu.org/copyleft/gpl.html.
35**
36** If you are unsure which license is appropriate for your use, please
37** contact the sales department at qt-sales@nokia.com.
38** $QT_END_LICENSE$
39**
40****************************************************************************/
41
42#include "translator.h"
43
44#include "simtexth.h"
45
46#include <stdio.h>
47
48#include <QtCore/QCoreApplication>
49#include <QtCore/QDebug>
50#include <QtCore/QDir>
51#include <QtCore/QFile>
52#include <QtCore/QFileInfo>
53#include <QtCore/QTextCodec>
54#include <QtCore/QTextStream>
55
56#include <private/qtranslator_p.h>
57
58QT_BEGIN_NAMESPACE
59
60Translator::Translator() :
61    m_codecName("ISO-8859-1"),
62    m_locationsType(AbsoluteLocations)
63{
64}
65
66void Translator::registerFileFormat(const FileFormat &format)
67{
68    //qDebug() << "Translator: Registering format " << format.extension;
69    QList<Translator::FileFormat> &formats = registeredFileFormats();
70    for (int i = 0; i < formats.size(); ++i)
71        if (format.fileType == formats[i].fileType && format.priority < formats[i].priority) {
72            formats.insert(i, format);
73            return;
74        }
75    formats.append(format);
76}
77
78QList<Translator::FileFormat> &Translator::registeredFileFormats()
79{
80    static QList<Translator::FileFormat> theFormats;
81    return theFormats;
82}
83
84void Translator::replace(const TranslatorMessage &msg)
85{
86    int index = m_messages.indexOf(msg);
87    if (index == -1)
88        m_messages.append(msg);
89    else
90        m_messages[index] = msg;
91}
92
93void Translator::replaceSorted(const TranslatorMessage &msg)
94{
95    int index = m_messages.indexOf(msg);
96    if (index == -1)
97        appendSorted(msg);
98    else
99        m_messages[index] = msg;
100}
101
102void Translator::extend(const TranslatorMessage &msg)
103{
104    int index = m_messages.indexOf(msg);
105    if (index == -1) {
106        m_messages.append(msg);
107    } else {
108        TranslatorMessage &emsg = m_messages[index];
109        emsg.addReferenceUniq(msg.fileName(), msg.lineNumber());
110        if (!msg.extraComment().isEmpty()) {
111            QString cmt = emsg.extraComment();
112            if (!cmt.isEmpty())
113                cmt.append(QLatin1String("\n----------\n"));
114            cmt.append(msg.extraComment());
115            emsg.setExtraComment(cmt);
116        }
117        if (msg.isUtf8() != emsg.isUtf8()) {
118            emsg.setUtf8(true);
119            emsg.setNonUtf8(true);
120        }
121    }
122}
123
124void Translator::append(const TranslatorMessage &msg)
125{
126    m_messages.append(msg);
127}
128
129void Translator::appendSorted(const TranslatorMessage &msg)
130{
131    int msgLine = msg.lineNumber();
132    if (msgLine < 0) {
133        m_messages.append(msg);
134        return;
135    }
136
137    int bestIdx = 0; // Best insertion point found so far
138    int bestScore = 0; // Its category: 0 = no hit, 1 = pre or post, 2 = middle
139    int bestSize = 0; // The length of the region. Longer is better within one category.
140
141    // The insertion point to use should this region turn out to be the best one so far
142    int thisIdx = 0;
143    int thisScore = 0;
144    int thisSize = 0;
145    // Working vars
146    int prevLine = 0;
147    int curIdx = 0;
148    foreach (const TranslatorMessage &mit, m_messages) {
149        bool sameFile = mit.fileName() == msg.fileName();
150        int curLine;
151        if (sameFile && (curLine = mit.lineNumber()) >= prevLine) {
152            if (msgLine >= prevLine && msgLine < curLine) {
153                thisIdx = curIdx;
154                thisScore = thisSize ? 2 : 1;
155            }
156            ++thisSize;
157            prevLine = curLine;
158        } else {
159            if (thisSize) {
160                if (!thisScore) {
161                    thisIdx = curIdx;
162                    thisScore = 1;
163                }
164                if (thisScore > bestScore || (thisScore == bestScore && thisSize > bestSize)) {
165                    bestIdx = thisIdx;
166                    bestScore = thisScore;
167                    bestSize = thisSize;
168                }
169                thisScore = 0;
170                thisSize = sameFile ? 1 : 0;
171                prevLine = 0;
172            }
173        }
174        ++curIdx;
175    }
176    if (thisSize && !thisScore) {
177        thisIdx = curIdx;
178        thisScore = 1;
179    }
180    if (thisScore > bestScore || (thisScore == bestScore && thisSize > bestSize))
181        m_messages.insert(thisIdx, msg);
182    else if (bestScore)
183        m_messages.insert(bestIdx, msg);
184    else
185        m_messages.append(msg);
186}
187
188static QString guessFormat(const QString &filename, const QString &format)
189{
190    if (format != QLatin1String("auto"))
191        return format;
192
193    foreach (const Translator::FileFormat &fmt, Translator::registeredFileFormats()) {
194        if (filename.endsWith(QLatin1Char('.') + fmt.extension, Qt::CaseInsensitive))
195            return fmt.extension;
196    }
197
198    // the default format.
199    // FIXME: change to something more widely distributed later.
200    return QLatin1String("ts");
201}
202
203bool Translator::load(const QString &filename, ConversionData &cd, const QString &format)
204{
205    cd.m_sourceDir = QFileInfo(filename).absoluteDir();
206    cd.m_sourceFileName = filename;
207
208    QFile file;
209    if (filename.isEmpty() || filename == QLatin1String("-")) {
210        if (!file.open(stdin, QIODevice::ReadOnly)) {
211            cd.appendError(QString::fromLatin1("Cannot open stdin!? (%1)")
212                .arg(file.errorString()));
213            return false;
214        }
215    } else {
216        file.setFileName(filename);
217        if (!file.open(QIODevice::ReadOnly)) {
218            cd.appendError(QString::fromLatin1("Cannot open %1: %2")
219                .arg(filename, file.errorString()));
220            return false;
221        }
222    }
223
224    QString fmt = guessFormat(filename, format);
225
226    foreach (const FileFormat &format, registeredFileFormats()) {
227        if (fmt == format.extension) {
228            if (format.loader)
229                return (*format.loader)(*this, file, cd);
230            cd.appendError(QString(QLatin1String("No loader for format %1 found"))
231                .arg(fmt));
232            return false;
233        }
234    }
235
236    cd.appendError(QString(QLatin1String("Unknown format %1 for file %2"))
237        .arg(format, filename));
238    return false;
239}
240
241
242bool Translator::save(const QString &filename, ConversionData &cd, const QString &format) const
243{
244    QFile file;
245    if (filename.isEmpty() || filename == QLatin1String("-")) {
246        if (!file.open(stdout, QIODevice::WriteOnly)) {
247            cd.appendError(QString::fromLatin1("Cannot open stdout!? (%1)")
248                .arg(file.errorString()));
249            return false;
250        }
251    } else {
252        file.setFileName(filename);
253        if (!file.open(QIODevice::WriteOnly)) {
254            cd.appendError(QString::fromLatin1("Cannot create %1: %2")
255                .arg(filename, file.errorString()));
256            return false;
257        }
258    }
259
260    QString fmt = guessFormat(filename, format);
261    cd.m_targetDir = QFileInfo(filename).absoluteDir();
262
263    foreach (const FileFormat &format, registeredFileFormats()) {
264        if (fmt == format.extension) {
265            if (format.saver)
266                return (*format.saver)(*this, file, cd);
267            cd.appendError(QString(QLatin1String("Cannot save %1 files")).arg(fmt));
268            return false;
269        }
270    }
271
272    cd.appendError(QString(QLatin1String("Unknown format %1 for file %2"))
273        .arg(format).arg(filename));
274    return false;
275}
276
277QString Translator::makeLanguageCode(QLocale::Language language, QLocale::Country country)
278{
279    QLocale locale(language, country);
280    if (country == QLocale::AnyCountry) {
281        QString languageCode = locale.name().section(QLatin1Char('_'), 0, 0);
282        if (languageCode.length() <= 3)
283            return languageCode;
284        return QString();
285    } else {
286        return locale.name();
287    }
288}
289
290void Translator::languageAndCountry(const QString &languageCode,
291    QLocale::Language *lang, QLocale::Country *country)
292{
293    QLocale locale(languageCode);
294    if (lang)
295        *lang = locale.language();
296
297    if (country) {
298        if (languageCode.indexOf(QLatin1Char('_')) != -1)
299            *country = locale.country();
300        else
301            *country = QLocale::AnyCountry;
302    }
303}
304
305bool Translator::release(QFile *iod, ConversionData &cd) const
306{
307    foreach (const FileFormat &format, registeredFileFormats()) {
308        if (format.extension == QLatin1String("qm"))
309            return (*format.saver)(*this, *iod, cd);
310    }
311    cd.appendError(QLatin1String("No .qm saver available."));
312    return false;
313}
314
315bool Translator::contains(const QString &context,
316    const QString &sourceText, const QString &comment) const
317{
318    return m_messages.contains(TranslatorMessage(context, sourceText, comment,
319        QString(), QString(), 0));
320}
321
322TranslatorMessage Translator::find(const QString &context,
323    const QString &sourceText, const QString &comment) const
324{
325    TranslatorMessage needle(context, sourceText, comment, QString(), QString(), 0);
326    int index = m_messages.indexOf(needle);
327    return index == -1 ? TranslatorMessage() : m_messages.at(index);
328}
329
330TranslatorMessage Translator::find(const QString &context,
331    const QString &comment, const TranslatorMessage::References &refs) const
332{
333    if (!refs.isEmpty()) {
334        for (TMM::ConstIterator it = m_messages.constBegin(); it != m_messages.constEnd(); ++it) {
335            if (it->context() == context && it->comment() == comment)
336                foreach (const TranslatorMessage::Reference &itref, it->allReferences())
337                    foreach (const TranslatorMessage::Reference &ref, refs)
338                        if (itref == ref)
339                            return *it;
340        }
341    }
342    return TranslatorMessage();
343}
344
345bool Translator::contains(const QString &context) const
346{
347    foreach (const TranslatorMessage &msg, m_messages)
348        if (msg.context() == context && msg.sourceText().isEmpty())
349            return true;
350    return false;
351}
352
353TranslatorMessage Translator::find(const QString &context) const
354{
355    foreach (const TranslatorMessage &msg, m_messages)
356        if (msg.context() == context && msg.sourceText().isEmpty())
357            return msg;
358    return TranslatorMessage();
359}
360
361void Translator::stripObsoleteMessages()
362{
363    TMM newmm;
364    for (TMM::ConstIterator it = m_messages.begin(); it != m_messages.end(); ++it)
365        if (it->type() != TranslatorMessage::Obsolete)
366            newmm.append(*it);
367    m_messages = newmm;
368}
369
370void Translator::stripFinishedMessages()
371{
372    TMM newmm;
373    for (TMM::ConstIterator it = m_messages.begin(); it != m_messages.end(); ++it)
374        if (it->type() != TranslatorMessage::Finished)
375            newmm.append(*it);
376    m_messages = newmm;
377}
378
379void Translator::stripEmptyContexts()
380{
381    TMM newmm;
382    for (TMM::ConstIterator it = m_messages.begin(); it != m_messages.end(); ++it)
383        if (it->sourceText() != QLatin1String(ContextComment))
384            newmm.append(*it);
385    m_messages = newmm;
386}
387
388void Translator::stripNonPluralForms()
389{
390    TMM newmm;
391    for (TMM::ConstIterator it = m_messages.begin(); it != m_messages.end(); ++it)
392        if (it->isPlural())
393            newmm.append(*it);
394    m_messages = newmm;
395}
396
397void Translator::stripIdenticalSourceTranslations()
398{
399    TMM newmm;
400    for (TMM::ConstIterator it = m_messages.begin(); it != m_messages.end(); ++it) {
401        // we need to have just one translation, and it be equal to the source
402        if (it->translations().count() != 1)
403            newmm.append(*it);
404        else if (it->translation() != it->sourceText())
405            newmm.append(*it);
406    }
407    m_messages = newmm;
408}
409
410void Translator::dropTranslations()
411{
412    for (TMM::Iterator it = m_messages.begin(); it != m_messages.end(); ++it) {
413        if (it->type() == TranslatorMessage::Finished)
414            it->setType(TranslatorMessage::Unfinished);
415        it->setTranslation(QString());
416    }
417}
418
419QSet<TranslatorMessagePtr> Translator::resolveDuplicates()
420{
421    QSet<TranslatorMessagePtr> dups;
422    QHash<TranslatorMessagePtr, int> refs;
423    for (int i = 0; i < m_messages.count();) {
424        const TranslatorMessage &msg = m_messages.at(i);
425        QHash<TranslatorMessagePtr, int>::ConstIterator it = refs.constFind(msg);
426        if (it != refs.constEnd()) {
427            TranslatorMessage &omsg = m_messages[*it];
428            if (omsg.isUtf8() != msg.isUtf8() && !omsg.isNonUtf8()) {
429                // Dual-encoded message
430                omsg.setUtf8(true);
431                omsg.setNonUtf8(true);
432            } else {
433                // Duplicate
434                dups.insert(omsg);
435            }
436            if (!omsg.isTranslated() && msg.isTranslated())
437                omsg.setTranslations(msg.translations());
438            m_messages.removeAt(i);
439        } else {
440            refs[msg] = i;
441            ++i;
442        }
443    }
444    return dups;
445}
446
447void Translator::reportDuplicates(const QSet<TranslatorMessagePtr> &dupes,
448                                  const QString &fileName, bool verbose)
449{
450    if (!dupes.isEmpty()) {
451        if (!verbose) {
452            qWarning("Warning: dropping duplicate messages in '%s'\n(try -verbose for more info).",
453                     qPrintable(fileName));
454        } else {
455            qWarning("Warning: dropping duplicate messages in '%s':", qPrintable(fileName));
456            foreach (const TranslatorMessagePtr &msg, dupes) {
457                qWarning("\n* Context: %s\n* Source: %s",
458                        qPrintable(msg->context()),
459                        qPrintable(msg->sourceText()));
460                if (!msg->comment().isEmpty())
461                    qWarning("* Comment: %s", qPrintable(msg->comment()));
462            }
463            qWarning();
464        }
465    }
466}
467
468// Used by lupdate to be able to search using absolute paths during merging
469void Translator::makeFileNamesAbsolute(const QDir &originalPath)
470{
471    TMM newmm;
472    for (TMM::iterator it = m_messages.begin(); it != m_messages.end(); ++it) {
473        TranslatorMessage msg = *it;
474        msg.setReferences(TranslatorMessage::References());
475        foreach (const TranslatorMessage::Reference &ref, it->allReferences()) {
476            QString fileName = ref.fileName();
477            QFileInfo fi (fileName);
478            if (fi.isRelative())
479                fileName = originalPath.absoluteFilePath(fileName);
480            msg.addReference(fileName, ref.lineNumber());
481        }
482        newmm.append(msg);
483    }
484    m_messages = newmm;
485}
486
487QList<TranslatorMessage> Translator::messages() const
488{
489    return m_messages;
490}
491
492QList<TranslatorMessage> Translator::translatedMessages() const
493{
494    TMM result;
495    for (TMM::ConstIterator it = m_messages.begin(); it != m_messages.end(); ++it)
496        if (it->type() == TranslatorMessage::Finished)
497            result.append(*it);
498    return result;
499}
500
501QStringList Translator::normalizedTranslations(const TranslatorMessage &msg,
502    QLocale::Language language, QLocale::Country country)
503{
504    QStringList translations = msg.translations();
505    int numTranslations = 1;
506    if (msg.isPlural() && language != QLocale::C) {
507        QStringList forms;
508        if (getNumerusInfo(language, country, 0, &forms))
509            numTranslations = forms.count(); // includes singular
510    }
511
512    // make sure that the stringlist always have the size of the
513    // language's current numerus, or 1 if its not plural
514    if (translations.count() > numTranslations) {
515        for (int i = translations.count(); i > numTranslations; --i)
516            translations.removeLast();
517    } else if (translations.count() < numTranslations) {
518        for (int i = translations.count(); i < numTranslations; ++i)
519            translations.append(QString());
520    }
521    return translations;
522}
523
524QStringList Translator::normalizedTranslations(const TranslatorMessage &msg,
525    ConversionData &cd, bool *ok) const
526{
527    QLocale::Language l;
528    QLocale::Country c;
529    languageAndCountry(languageCode(), &l, &c);
530    QStringList translns = normalizedTranslations(msg, l, c);
531    if (msg.translations().size() > translns.size() && ok) {
532        cd.appendError(QLatin1String(
533            "Removed plural forms as the target language has less "
534            "forms.\nIf this sounds wrong, possibly the target language is "
535            "not set or recognized.\n"));
536        *ok = false;
537    }
538    return translns;
539}
540
541QString Translator::guessLanguageCodeFromFileName(const QString &filename)
542{
543    QString str = filename;
544    foreach (const FileFormat &format, registeredFileFormats()) {
545        if (str.endsWith(format.extension)) {
546            str = str.left(str.size() - format.extension.size() - 1);
547            break;
548        }
549    }
550    static QRegExp re(QLatin1String("[\\._]"));
551    while (true) {
552        QLocale locale(str);
553        //qDebug() << "LANGUAGE FROM " << str << "LANG: " << locale.language();
554        if (locale.language() != QLocale::C) {
555            //qDebug() << "FOUND " << locale.name();
556            return locale.name();
557        }
558        int pos = str.indexOf(re);
559        if (pos == -1)
560            break;
561        str = str.mid(pos + 1);
562    }
563    //qDebug() << "LANGUAGE GUESSING UNSUCCESSFUL";
564    return QString();
565}
566
567bool Translator::hasExtra(const QString &key) const
568{
569    return m_extra.contains(key);
570}
571
572QString Translator::extra(const QString &key) const
573{
574    return m_extra[key];
575}
576
577void Translator::setExtra(const QString &key, const QString &value)
578{
579    m_extra[key] = value;
580}
581
582void Translator::setCodecName(const QByteArray &name)
583{
584    QTextCodec *codec = QTextCodec::codecForName(name);
585    if (!codec) {
586        if (!name.isEmpty())
587            qWarning("No QTextCodec for %s available. Using Latin1\n", name.constData());
588        m_codecName = "ISO-8859-1";
589    } else {
590        m_codecName = codec->name();
591    }
592}
593
594void Translator::dump() const
595{
596    for (int i = 0; i != messageCount(); ++i)
597        message(i).dump();
598}
599
600QT_END_NAMESPACE
Note: See TracBrowser for help on using the repository browser.