In today's interconnected world, the demand for accurate machine translation is growing, especially for translating journalistic texts that reflect the political climate of different countries. This thesis evaluates the performance of Google Translate and Yandex Translate in translating texts from English and Russian to Croatian. Using both automatic and human evaluation methods, the study assesses the accuracy and fluency of translations. Automatic evaluation employs BLEU, BERTSCORE, and TER metrics, showing that Yandex Translate slightly outperforms Google Translate in Russian to Croatian translations. Conversely, Google Translate shows marginally better results in English to Croatian translations. Human evaluation, conducted by six native Croatian speakers proficient in English and Russian, corroborates these findings, with a preference for Google Translate in English to Croatian translations, and a slight edge for Russian to Croatian translations. An error analysis categorizes errors into orthographic, morphosyntactic, lexical, semantic, and stylistic types, revealing orthographic errors as the most common. The study highlights the strengths and weaknesses of each system: Google Translate excels in fluency for English to Croatian translations, while Yandex Translate handles Russian to Croatian translations with better accuracy. The research offers valuable insights into the current capabilities of machine translation systems and identifies areas for improvement. It suggests that while both systems are useful, they have specific limitations that need to be addressed. These findings have practical implications for selecting the most suitable machine translation system for various language pairs and text types, particularly in translating politically nuanced content. Future work should aim to refine error analysis methods and enhance automatic evaluation metrics to better capture translation complexities.

Бесплатные онлайн-системы машинного перевода становятся все более доступными по всему миру, чтобы удовлетворить растущий спрос и использование в сегодняшнем высоко взаимосвязанном обществе. Важное применение таких систем — перевод журналистских текстов, сосредоточенных на текущем политическом климате и ландшафте в различных странах. Это ставит вопрос о том, насколько хорошо эти системы могут сохранять и передавать первоначальное значение без потери каких-либо нюансов в процессе перевода. Эта работа посвящена исследованию качества машинных переводов с английского и русского языков на хорватский, с использованием Google Translate и Яндекса. В работе применяются как автоматические, так и человеческие методы оценки для определения точности и естественности перевода. Автоматическая оценка осуществляется с использованием метрик BLEU, BERTSCORE и TER. Эти инструменты позволяют сравнивать машинные переводы с эталонными человеческими переводами и назначать числовые оценки, отражающие точность перевода. Результаты показали, что Yandex Translate немного превосходит Google Translate при переводе с русского на хорватский язык, что подтверждается более высокими показателями BLEU. Человеческая оценка проводилась шестью участниками, все из которых были носителями хорватского языка и имели высокую степень владения английским и русским языками. Участники оценивали переводы по критериям точности и естественности, используя анкету. В этой части исследования было обнаружено, что для переводов с английского и русского на хорватский Google Translate предпочитается чаще, чем Яндекс. Анализ ошибок был проведен для выявления типов ошибок, присутствующих в переводах. Ошибки классифицировались на орфографические, морфосинтаксические, лексические, семантические и стилистические. Исследование показало, что орфографические ошибки являются наиболее частыми для обеих систем перевода. Результаты исследования подчеркивают важность дальнейшего совершенствования технологий машинного перевода. Несмотря на то, что обе системы демонстрируют определенные сильные стороны, существует множество областей, требующих улучшения. В частности, необходимо улучшить передачу семантических и стилистических нюансов, что особенно важно при переводе сложных текстов, таких как политические новости. Таким образом, данное исследование предоставляет ценные данные для пользователей, стремящихся выбрать наиболее надежную систему машинного перевода для конкретных языковых пар и типов текстов. Результаты также подчеркивают необходимость дальнейших исследований и разработки улучшенных алгоритмов машинного перевода, чтобы сделать их более точными и надежными в различных контекстах.