Утверждение и доказательство — Как проверяет

Для предложений со ССЫЛКОЙ оценивает, действительно ли цитируемый источник его подтверждает: подтверждает, частично, неясно, не подтверждает, противоречит или доказательств нет. Текст доказательства берётся из полного текста загруженного PDF, а при его отсутствии — из аннотации источника; какой именно использован («полный текст» или «аннотация»), сообщается вам, потому что аннотация может не отражать полный текст. Оценка опирается ТОЛЬКО на этот текст. Показанная цитата дословно ищется в источнике; если она не найдена, её не показывают — предложение, которого нет в источнике, не может появиться в кавычках. Если нет ни полного текста, ни аннотации, результат — «доказательств нет»; догадки не выдаются. Предложения без ссылок не оцениваются: не с чем сравнивать. Есть бюджетный предел: оцениваются не более 8 наиболее цитируемых источников и не более 4 предложений на источник; в более крупных работах остальные предложения со ссылками в этот проход не попадают. Это ориентир, а не решение рецензента.

Местоположение доказательства — Как проверяет

Находит, где именно в источнике находится фрагмент, подтверждающий утверждение. Полный текст источника разбивается на фрагменты и векторизуется; ближайший к утверждению фрагмент выбирается детерминированным расчётом сходства. Местоположение не спрашивают у языковой модели — модель может выдумать номер абзаца, векторное сопоставление не может. Работает только с источниками, полный текст которых загружен и проиндексирован. Если полного текста нет, честно сообщается «фрагментов нет»; по аннотации местоположение не указывается.

Хроника создания работы — Как проверяет

Показывает события с отметкой времени на одной оси: добавление источников, версии, комментарии, генерация, проверки доказательств, экспорт. В хронику попадают только события с реальной отметкой времени; событие с неразрешимой отметкой не создаётся вовсе. Поскольку часть данных измерений вовсе не имеет отметок времени, используются два слоя: события и этапы. Хроника структурно НЕПОЛНА, и это прямо сказано на экране: автоматические версии удаляются, часть шагов не записывается. Поэтому полнота никогда не утверждается. Главное: «нет записи» и «не выполнено» — разные вещи и показываются по-разному.

След генерации — Как проверяет

Измеряет, какая часть сгенерированного нами текста дословно осталась в итоговом тексте. Если раздел генерировали мы, сохраняется отпечаток сгенерированного текста (хеши 5-грамм), а затем подсчитывается, какая его часть сохранилась. Сам текст не хранится. Кто написал конкретное предложение — ИЗМЕРИТЬ НЕЛЬЗЯ, и это не утверждается. Процент авторства не выдаётся. Измеряется только сохранность текста; это не детекция ИИ — смотреть на текст и заявлять «это написал ИИ» не является измерением.

Соответствие вузовскому руководству — Как проверяет

Проверяет правила выбранного вузовского шаблона, касающиеся ТЕКСТА: несоответствие стиля цитирования, нумерация заголовков, пустые разделы. Полностью на правилах; ИИ не используется. Руководство и без того является явным правилом, а его интерпретация моделью лишь добавила бы риск. Шаблоны извлекаются из опубликованных руководств вузов и хранятся со ссылкой на источник. Поля, шрифт и межстрочный интервал ЗДЕСЬ не проверяются — они применяются при экспорте. Правила, которых нет в данных шаблона (ограничение объёма, порядок предваряющих разделов, требования к приложениям), проверить нельзя, и каждое из них перечисляется на экране.

Проверка предшествующего уровня техники — Как проверяет

Поэлементно сравнивает заявленный в работе вклад с опубликованными патентами. Из вашего вклада извлекаются технические элементы, и каждый сопоставляется с 8 наиболее релевантными найденными документами. Если элемент назван «явно раскрытым», требуется ДОСЛОВНАЯ цитата из текста документа; она автоматически ищется в источнике, и при неудаче ячейка помечается. Это НЕ заключение о патентоспособности, и охват поиска ограничен. Главное: отсутствие результата НЕ ДОКАЗЫВАЕТ новизну вашего вклада — оно лишь показывает, что в этой проверке совпадений не найдено. Окончательная оценка — работа патентного поверенного.

Как Gödel проверяет утверждение?

Отличие Gödel — не в генерации текста, а в том, что текст можно защитить. Все инструменты ниже подчинены одному правилу: если сведений нет, они не выдумываются — система говорит «не удалось проверить». Мы также указываем, чего каждый инструмент НЕ делает: описание метода без его границ неполно.

Утверждение и доказательство

Что делает: Для предложений со ССЫЛКОЙ оценивает, действительно ли цитируемый источник его подтверждает: подтверждает, частично, неясно, не подтверждает, противоречит или доказательств нет.
Как проверяет: Текст доказательства берётся из полного текста загруженного PDF, а при его отсутствии — из аннотации источника; какой именно использован («полный текст» или «аннотация»), сообщается вам, потому что аннотация может не отражать полный текст. Оценка опирается ТОЛЬКО на этот текст. Показанная цитата дословно ищется в источнике; если она не найдена, её не показывают — предложение, которого нет в источнике, не может появиться в кавычках.
Чего не делает: Если нет ни полного текста, ни аннотации, результат — «доказательств нет»; догадки не выдаются. Предложения без ссылок не оцениваются: не с чем сравнивать. Есть бюджетный предел: оцениваются не более 8 наиболее цитируемых источников и не более 4 предложений на источник; в более крупных работах остальные предложения со ссылками в этот проход не попадают. Это ориентир, а не решение рецензента.
Пример: «Метод X снижает частоту ошибок на 40 % [3]» помечается как неподтверждённое, если в источнике 3 говорится лишь о 12 %, и показывается соответствующее предложение из источника.

Местоположение доказательства

Что делает: Находит, где именно в источнике находится фрагмент, подтверждающий утверждение.
Как проверяет: Полный текст источника разбивается на фрагменты и векторизуется; ближайший к утверждению фрагмент выбирается детерминированным расчётом сходства. Местоположение не спрашивают у языковой модели — модель может выдумать номер абзаца, векторное сопоставление не может.
Чего не делает: Работает только с источниками, полный текст которых загружен и проиндексирован. Если полного текста нет, честно сообщается «фрагментов нет»; по аннотации местоположение не указывается.
Пример: Если утверждение совпадает с абзацем в разделе 4 источника, показываются этот абзац и мера сходства — вы можете открыть и прочитать сами.

Хроника создания работы

Что делает: Показывает события с отметкой времени на одной оси: добавление источников, версии, комментарии, генерация, проверки доказательств, экспорт.
Как проверяет: В хронику попадают только события с реальной отметкой времени; событие с неразрешимой отметкой не создаётся вовсе. Поскольку часть данных измерений вовсе не имеет отметок времени, используются два слоя: события и этапы.
Чего не делает: Хроника структурно НЕПОЛНА, и это прямо сказано на экране: автоматические версии удаляются, часть шагов не записывается. Поэтому полнота никогда не утверждается. Главное: «нет записи» и «не выполнено» — разные вещи и показываются по-разному.
Пример: Если по шагу нет записи, экран говорит «нет записи», а не «шаг пропущен», потому что этого мы не знаем.

След генерации

Что делает: Измеряет, какая часть сгенерированного нами текста дословно осталась в итоговом тексте.
Как проверяет: Если раздел генерировали мы, сохраняется отпечаток сгенерированного текста (хеши 5-грамм), а затем подсчитывается, какая его часть сохранилась. Сам текст не хранится.
Чего не делает: Кто написал конкретное предложение — ИЗМЕРИТЬ НЕЛЬЗЯ, и это не утверждается. Процент авторства не выдаётся. Измеряется только сохранность текста; это не детекция ИИ — смотреть на текст и заявлять «это написал ИИ» не является измерением.
Пример: Если вы сгенерировали раздел и затем переписали его, сохранность падает. Это не доказательство вашего авторства, а мера того, как мало осталось от нашего текста.

Соответствие вузовскому руководству

Что делает: Проверяет правила выбранного вузовского шаблона, касающиеся ТЕКСТА: несоответствие стиля цитирования, нумерация заголовков, пустые разделы.
Как проверяет: Полностью на правилах; ИИ не используется. Руководство и без того является явным правилом, а его интерпретация моделью лишь добавила бы риск. Шаблоны извлекаются из опубликованных руководств вузов и хранятся со ссылкой на источник.
Чего не делает: Поля, шрифт и межстрочный интервал ЗДЕСЬ не проверяются — они применяются при экспорте. Правила, которых нет в данных шаблона (ограничение объёма, порядок предваряющих разделов, требования к приложениям), проверить нельзя, и каждое из них перечисляется на экране.
Пример: Если руководство требует APA 7, а в работе выбран IEEE, это показывается как замечание высокого приоритета — одна из самых частых причин возврата диссертации.

Проверка предшествующего уровня техники

Что делает: Поэлементно сравнивает заявленный в работе вклад с опубликованными патентами.
Как проверяет: Из вашего вклада извлекаются технические элементы, и каждый сопоставляется с 8 наиболее релевантными найденными документами. Если элемент назван «явно раскрытым», требуется ДОСЛОВНАЯ цитата из текста документа; она автоматически ищется в источнике, и при неудаче ячейка помечается.
Чего не делает: Это НЕ заключение о патентоспособности, и охват поиска ограничен. Главное: отсутствие результата НЕ ДОКАЗЫВАЕТ новизну вашего вклада — оно лишь показывает, что в этой проверке совпадений не найдено. Окончательная оценка — работа патентного поверенного.
Пример: Если компонент вашего метода явно описан в патенте 2019 года, ячейка помечается «раскрыто», а рядом приводится предложение из текста патента.

Общее правило: неизмеримое не утверждается

Ни один из этих инструментов не выносит окончательного вердикта и ни один не считает уверенность языковой модели проверкой. Если реестр недоступен, результат — «не удалось проверить», а не «недействительно». Если измерение невозможно, число не выдаётся. Окончательное решение всегда за автором.

Попробуйте на своей работе.

Открыть Gödel

Какими именно способами ошибаются источники, предложенные ИИ? Двенадцать классов ошибок вынесены на отдельную страницу с указанием, что мы выявляем, а что нет.

Виды ошибок →