xDrivenDevelopment
Формы из списка исключений не должны трактоваться как пропущенные тесты
В последних версиях дымовых тестов проверки форм, попадающих под исключения трактуются как пропущенные тесты (желтая полоса) и отображаются в браузере тестов (а при запуске из ком. строки попадают в отчет о тестировании).
Это очень не удобно: лишняя информация в интерактивном режиме, желтый статус теста при запуске на CI, хотя на самом деле я ЯВНО исключил проверку формы.
Предлагаю по умолчанию такое поведение отключить: проверки форм из исключений не должны отображаться в браузере тестов и не должны попадать в отчет о тестировании вообще, как будто их нет вовсе (на то и исключения).
Для тех, кому нужно видеть такие проверки пропущенными предлагаю добавить настройку ТрактоватьИсключенныеТестыКакПропущенные (булево). По умолчанию (и в случае отсутствия в файле) - false. Т.е. тесты в браузере не отображаются. Если значение true, то поведение будет как сейчас.
@artbear что думаешь? Ты вообще помнишь, кто этот функционал добавил? Какая была мотивация?
Не согласен. Добавлял я, Специально для того, чтобы было понимание о том, что какие-то возможности мы явно пропустили. Чтобы не пропадало то, что указано в исключениях. Иначе была ситуация - отключили какую-то форму и все, про нее практически забывали :(
Если тебе сильно нужно, сделай спец. настройку УбиратьИсключенныеТестыИзСпискаТестов
Иначе была ситуация - отключили какую-то форму и все, про нее практически забывали :(
А для чего тогда исключения нужны?
Мне исключение форм из проверок нужны для настройки тестирования конкретной конфигурации: забыть форму, насчет которой принято решение - не тестировать в данном проекте (т.к. не используется или невозможно протестировать, а доработка только для целей тестирования нецелесообразна, т.к. данная форма остается типовой).
Например, когда в БП ведется включен режим учета ЗП "в другой программе", то формы зарплатных документов не надо проверять: они не будут открываться, этот функционал не будет дорабатываться.
Но из-за текущего поведения эти проверки всегда будут светиться желтым и отвлекать от реально желтых ситуаций.
Второй пример - документы из подсистемы для электронного документооборота с налоговыми органами (ЭДО). Если подсистема не используется они всегда светятся желтым, а это десяток документов и справочников + по 2-4 формы в каждом, это порядка 50 желтых тестовых случаев. Их в настоящий момент по крайней мере в обычных формах дымовыми тестами не проверить (сама форма документа не открывается, там все формы на формах обработок сделаны).
Исключения будут во всех конфигурациях, а поэтому в текущей реализации дымовые тесты всегда будут желтыми, это не правильно, т.к. дезинформирует.
Если тебе сильно нужно, сделай спец. настройку УбиратьИсключенныеТестыИзСпискаТестов
Себе и так сделал, потому что иначе пользоваться невозможно: ошибки исправляются, тесты проходят, а результат все равно всегда желтый - это не правильное поведение, т.к. невозможно по отчету в итоге понять, изменилось ли состояние после доработок в положительную сторону или нет.
Да, я понимаю твои резоны и частично с ними согласен. Думается мне, что настройка УбиратьИсключенныеТестыИзСпискаТестов позволит разрулить эту проблему. Жду PR :)
Согласен с @kuntashov, и настройка скорее должна быть ОтображатьИсключенныеТестыКакПропущенные Т.е. дефолтным поведением должно быть, когда исключенные тесты НЕ показываются, как пропущенные.
Скорее надо 2 списка, так как фактически надо не одному человеку так, а другому иначе, а одни формы так, другие иначе. (ну или настройка на каждую строку исключения)
С уважением, Неумойчев Дмитрий
15 декабря 2017 г., 12:47 пользователь Nenashev Anatoliy < [email protected]> написал:
Согласен с @kuntashov https://github.com/kuntashov, и настройка скорее должна быть ОтображатьИсключенныеТестыКакПропущенные Т.е. дефолтным поведением должно быть, когда исключенные тесты НЕ показываются, как пропущенные.
— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/xDrivenDevelopment/xUnitFor1C/issues/770#issuecomment-351961667, or mute the thread https://github.com/notifications/unsubscribe-auth/AHGECVUeqVpqVcJsS0rFIDu9eRLkeG6jks5tAkBIgaJpZM4RCvmG .
Скорее надо 2 списка
Что имеете в виду под "два списка"?
так как фактически надо не одному человеку так, а другому иначе
Смысл фразы не понятен. Можете пояснить?
одни формы так, другие иначе
В каких случаях может потребоваться одни формы из исключений показывать желтым цветом, а другие - скрывать? Можете привести пример из вашей практики, когда такое нужно было?
Я разрабатываю АРМ в рамках ЕРП. Соответственно, в разработку попадает сам АРМ и пяток связанных форм выбора, подбора, контроля. Все эти формы скорее всего не должны попадать в исключения, и к моменту окончания разработки они должны будут стать зелёными. Но пока я их не реализовал, они должны желтеть. С другой стороны, в нашей славной ЕРП есть куча типовых форм, которые упадут на дымовом тесте, и это меня устраивает. Они должны быть полностью пропущены.
С уважением, Неумойчев Дмитрий
15 декабря 2017 г., 13:39 пользователь Alexander Kuntashov < [email protected]> написал:
Скорее надо 2 списка
Что имеете в виду под "два списка"?
так как фактически надо не одному человеку так, а другому иначе
Смысл фразы не понятен. Можете пояснить?
одни формы так, другие иначе
В каких случаях может потребоваться одни формы из исключений показывать желтым цветом, а другие - скрывать? Можете привести пример из вашей практики, когда такое нужно было?
— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/xDrivenDevelopment/xUnitFor1C/issues/770#issuecomment-351973194, or mute the thread https://github.com/notifications/unsubscribe-auth/AHGECfgQsmYCORwc3A0G4pLzCYhzK8u0ks5tAkxZgaJpZM4RCvmG .