-
Notifications
You must be signed in to change notification settings - Fork 1
Open
Description
Ak je pocet zlatych anaforov (len(gold_coreferents)) nulovy, t.j. v dokumente sa nenachadza ziadna koreferencia pozadovaneho typu, neznamena to este, ze P=1. Logicky mi to sedi ako nahradenie matematicky nedefinovaneho pripadu ked P=0/0, ale uz nie pre P=0/x pre x>0 (system tvrdi, ze tam nejaka koreferencia je).
Podobne ak je pocet automatickych anaforov nulovy, t.j. system nenasiel ziadnu koreferenciu pozadovaneho typu, neznamena to este, ze R=0. Platit by to malo iba vtedy, ak R=0/x pre x>0, ale podla mna uz nie pre R=0/0 (v dokumente naozaj ziadna koreferencia daneho typu nie je).
V tomto pripade by ale malo zaroven platit P=0/0=1.
https://github.com/Jankus1994/Coreference/blob/master/CoNLL/conll_evaluator.py#L23-L26
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels