В Китае ИИ будет искать «запрещённую» информацию в сети Интернет

Как заявляют разработчики, он может находить данные с точностью в 91% и пригодится для цензуры интернет-изданий. Об этом пишут на портале vc.ru.
Разработчики из Шэньянского университета Лигун и Китайской академии наук создали технологию с элементами ИИ на основе алгоритма BERT от Google, который может фильтровать «вредную информацию» в интернете с высокой точностью, пишет South China Morning Post.
Он позволяет находить подлежащие цензуре тексты с точностью в 91%, утверждают исследователи. При этом, например, поиск по ключевым словам даёт точность в 70%, а у обученной людьми нейросети — 80%.
Алгоритм Google BERT с открытым кодом не может анализировать тексты длиной более 512 слов, поэтому разработчики создали алгоритм, который разбивает длинный текст на сегменты, доступные для анализа, а затем собирает текст обратно.
Как утверждают исследователи, решение содержит словарь с ключевыми словами и их формами. Также алгоритм может искать скрытый между строк подтекст, так как пользователи в Китае используют омонимы или добавляют дефисы между символами, чтобы избежать цензуры.
Интернет в Китае жестко контролируют, многие сайты, в том числе Google, Facebook, Twitter заблокированы, а часть контента на доступных сайтах запрещена.
Подробнее читайте здесь.