Disambiguierung von Suchtreffern: Leiter und zeitnah - Versionsgeschichte

Weber: /* Datenaufbereitung */

2016-03-07T16:39:07Z

‎Datenaufbereitung

Weber: /* Quantitative Evaluation */

2016-03-04T10:59:22Z

‎Quantitative Evaluation

Weber: /* Datenaufbereitung */

2016-03-04T10:59:10Z

‎Datenaufbereitung

Weber: /* Zitierte Literatur */

2016-03-04T10:16:19Z

‎Zitierte Literatur

Weber: /* Zitierte Literatur */

2016-03-04T10:14:14Z

‎Zitierte Literatur

Weber: /* Zitierte Literatur */

2016-03-04T10:13:01Z

‎Zitierte Literatur

Weber: /* Zitierte Literatur */

2016-03-04T09:58:07Z

‎Zitierte Literatur

Weber: /* Zitierte Literatur */

2016-03-04T09:55:45Z

‎Zitierte Literatur

Weber: /* Zitierte Literatur */

2016-03-04T09:53:13Z

‎Zitierte Literatur

Weber: /* 6. Zitierte Literatur */

2016-03-04T09:46:08Z

‎6. Zitierte Literatur

@@ Zeile 38: / Zeile 38: @@
 Die vom Korpusrecherchesystem ausgegebenen Textsegmente, die wir im Folgenden als ‚Treffer-Snippets‘ bezeichnen, wurden in Excel-Dateien bearbeitet. Wie der Ausschnitt in Abbildung 1 zeigt, belegt jedes Treffer-Snippet eine Tabellenzeile. Im Snippet ist das gesuchte Wort durch festgelegte Sonderzeichen hervorgehoben (z.B.: „eine zerbrochene &&''Leiter''&&“). Die Snippets umfassen jeweils drei Sätze. Die Metadaten zu den Snippets (Erscheinungsdatum, Textsorte etc.) sind in jeweils separaten Spalten vermerkt.
-Mit Blick auf die geplante Evaluation der für die Disambiguierung entwickelten bzw. angepassten Data-Mining-Verfahren (s. 4. Kapitel) wurde für ''Leiter'' eine Zufallsstichprobe von 2.000 Treffer-Snippets, für ''zeitnah'' der gesamte Datenbestand (288 Treffer) manuell disambiguiert. Dazu erhielten zwei Hilfskräfte unabhängig von einander jeweils die Aufgabe, für die vorgelegten Vorkommen von ''Leiter'' und ''zeitnah'' jeweils die Bedeutung zu bestimmen, in der diese Wörter verwendet werden. Auf Basis der Bedeutungsdifferenzierung im Duden-Universalwörterbuch (Duden 2011) wurden die zu bestimmenden Bedeutungen beschrieben, durch jeweils einen passenden Korpusbeleg illustriert und den Annotatoren schließlich an die Hand gegeben. Durch dieses Vorgehen wurde ein sehr hohes Inter-Annotator-Agreement zwischen den beteiligten Hilfskräften erreicht (s. Tabellen 2 und 3).
+Mit Blick auf die geplante Evaluation der für die Disambiguierung entwickelten bzw. angepassten Data-Mining-Verfahren (s. 4.) wurde für ''Leiter'' eine Zufallsstichprobe von 2.000 Treffer-Snippets, für ''zeitnah'' der gesamte Datenbestand (288 Treffer) manuell disambiguiert. Dazu erhielten zwei Hilfskräfte unabhängig von einander jeweils die Aufgabe, für die vorgelegten Vorkommen von ''Leiter'' und ''zeitnah'' jeweils die Bedeutung zu bestimmen, in der diese Wörter verwendet werden. Auf Basis der Bedeutungsdifferenzierung im Duden-Universalwörterbuch (Duden 2011) wurden die zu bestimmenden Bedeutungen beschrieben, durch jeweils einen passenden Korpusbeleg illustriert und den Annotatoren schließlich an die Hand gegeben. Durch dieses Vorgehen wurde ein sehr hohes Inter-Annotator-Agreement zwischen den beteiligten Hilfskräften erreicht (s. Tabellen 2 und 3).
 [[Datei:Abb 1 MS1b.jpg|mini|1000px|links|Abbildung 1: Excel-Tabelle mit importierten Treffer-Snippets aus dem DWDS-Kernkorpus des 20. Jh. für Leiter, Hervorhebung durch festgelegte Sonderzeichen („&&“); Metadaten und manuelle Disambiguierung in separaten Spalten]]

@@ Zeile 83: / Zeile 83: @@
 === Quantitative Evaluation ===
-Zur Evaluation des in Abschnitt 3 beschriebenen Verfahrens werden die durch das automatische Verfahren gebildeten Cluster mit den von zwei Hilfskräften manuell übereinstimmend disambiguierten Datensätzen abgeglichen (s. 2). Überprüft wird jeweils Präzision und Ausbeute der automatischen Disambiguierung im Vergleich zu den manuell disambiguierten Daten. Als Gütekriterium für das Clusteringverfahren dient der F1-Score, das gewichtete harmonische Mittel aus Präzision (Precision) und Ausbeute (Recall), wobei Genauigkeit und Ausbeute gleich gewichtet werden; formal: F1 = 2*(Präzision*Ausbeute)/(Präzision+Ausbeute). Die Tabellen 4 und 5 zeigen die für Leiter und zeitnah in den einzelnen Treatments (s. 3.1) ermittelten Werte:
+Zur Evaluation des in Abschnitt 3 beschriebenen Verfahrens werden die durch das automatische Verfahren gebildeten Cluster mit den von zwei Hilfskräften manuell übereinstimmend disambiguierten Datensätzen abgeglichen (s. 2. Kapitel). Überprüft wird jeweils Präzision und Ausbeute der automatischen Disambiguierung im Vergleich zu den manuell disambiguierten Daten. Als Gütekriterium für das Clusteringverfahren dient der F1-Score, das gewichtete harmonische Mittel aus Präzision (Precision) und Ausbeute (Recall), wobei Genauigkeit und Ausbeute gleich gewichtet werden; formal: F1 = 2*(Präzision*Ausbeute)/(Präzision+Ausbeute). Die Tabellen 4 und 5 zeigen die für Leiter und zeitnah in den einzelnen Treatments (s. 3.1) ermittelten Werte:
 ''Leiter''

@@ Zeile 38: / Zeile 38: @@
 Die vom Korpusrecherchesystem ausgegebenen Textsegmente, die wir im Folgenden als ‚Treffer-Snippets‘ bezeichnen, wurden in Excel-Dateien bearbeitet. Wie der Ausschnitt in Abbildung 1 zeigt, belegt jedes Treffer-Snippet eine Tabellenzeile. Im Snippet ist das gesuchte Wort durch festgelegte Sonderzeichen hervorgehoben (z.B.: „eine zerbrochene &&''Leiter''&&“). Die Snippets umfassen jeweils drei Sätze. Die Metadaten zu den Snippets (Erscheinungsdatum, Textsorte etc.) sind in jeweils separaten Spalten vermerkt.
-Mit Blick auf die geplante Evaluation der für die Disambiguierung entwickelten bzw. angepassten Data-Mining-Verfahren (s. 4) wurde für ''Leiter'' eine Zufallsstichprobe von 2.000 Treffer-Snippets, für ''zeitnah'' der gesamte Datenbestand (288 Treffer) manuell disambiguiert. Dazu erhielten zwei Hilfskräfte unabhängig von einander jeweils die Aufgabe, für die vorgelegten Vorkommen von ''Leiter'' und ''zeitnah'' jeweils die Bedeutung zu bestimmen, in der diese Wörter verwendet werden. Auf Basis der Bedeutungsdifferenzierung im Duden-Universalwörterbuch (Duden 2011) wurden die zu bestimmenden Bedeutungen beschrieben, durch jeweils einen passenden Korpusbeleg illustriert und den Annotatoren schließlich an die Hand gegeben. Durch dieses Vorgehen wurde ein sehr hohes Inter-Annotator-Agreement zwischen den beteiligten Hilfskräften erreicht (s. Tabellen 2 und 3).
+Mit Blick auf die geplante Evaluation der für die Disambiguierung entwickelten bzw. angepassten Data-Mining-Verfahren (s. 4. Kapitel) wurde für ''Leiter'' eine Zufallsstichprobe von 2.000 Treffer-Snippets, für ''zeitnah'' der gesamte Datenbestand (288 Treffer) manuell disambiguiert. Dazu erhielten zwei Hilfskräfte unabhängig von einander jeweils die Aufgabe, für die vorgelegten Vorkommen von ''Leiter'' und ''zeitnah'' jeweils die Bedeutung zu bestimmen, in der diese Wörter verwendet werden. Auf Basis der Bedeutungsdifferenzierung im Duden-Universalwörterbuch (Duden 2011) wurden die zu bestimmenden Bedeutungen beschrieben, durch jeweils einen passenden Korpusbeleg illustriert und den Annotatoren schließlich an die Hand gegeben. Durch dieses Vorgehen wurde ein sehr hohes Inter-Annotator-Agreement zwischen den beteiligten Hilfskräften erreicht (s. Tabellen 2 und 3).
 [[Datei:Abb 1 MS1b.jpg|mini|1000px|links|Abbildung 1: Excel-Tabelle mit importierten Treffer-Snippets aus dem DWDS-Kernkorpus des 20. Jh. für Leiter, Hervorhebung durch festgelegte Sonderzeichen („&&“); Metadaten und manuelle Disambiguierung in separaten Spalten]]

@@ Zeile 142: / Zeile 142: @@
 == Zitierte Literatur ==
-*Blei, David M., Ng, Andrew Y. & Jordan, Michael I. (2003): Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022, March.
+*Blei, David M., Ng, Andrew Y. & Jordan, Michael I. (2003): Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022.
 *Brody, Samuel & Lapata, Mirella (2009): Bayesian word sense induction. In Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics, EACL ’09, pages 103–111, Stroudsburg, PA, USA. Association for Computational Linguistics.
 *Brown, Peter F., Della Pietra, Stephen A., Della Pietra, Vincent J. & Mercer, Robert L. (1991): Word-sense disambiguation using statistical methods. In Proceedings of the 29th Annual Meeting on Association for Computational Linguistics, ACL ’91, pages 264–270, Stroudsburg, PA, USA. Association for Computational Linguistics.
@@ Zeile 149: / Zeile 149: @@
 *Engelberg, Stefan & Lemnitzer, Lothar (2009): Lexikographie und Wörterbuchbenutzung. Stauffenburg, Tübingen.
 *Geyken, Alexander (2007): The DWDS corpus. A reference corpus for the German language of the twentieth century. In Christiane Fellbaum, editor, Idioms and collocations. Corpus-based linguistic and lexicographic studies, pages 23–40. London: Continuum Press.
-*Griffiths, T. L. & Steyvers, M. (2004): Finding scientific topics. Proceedings of the National Academy of Sciences, 101(Suppl. 1):5228–5235, April.
+*Griffiths, T. L. & Steyvers, M. (2004): Finding scientific topics. Proceedings of the National Academy of Sciences, 101(Suppl. 1):5228–5235.
 *Klein, Dan & Manning, Christopher D. (2003): Accurate unlexicalized parsing. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics – Volume 1, ACL ’03, pages 423–430, Stroudsburg, PA, USA. Association for Computational Linguistics.
-*Klein, Wolfgang & Geyken, Alexander (2010): Das Digitale Wörterbuch der Deutschen Sprache (DWDS). In Ulrich Heid et al., editors, Lexikographica, pages 79‒93, Berlin u.a.: de Gru-yter,.
+*Klein, Wolfgang & Geyken, Alexander (2010): Das Digitale Wörterbuch der Deutschen Sprache (DWDS). In Ulrich Heid et al., editors, Lexikographica, pages 79‒93, Berlin u.a.: de Gruyter,.
 *Manning, Christopher D., Raghavan, Prabhakar & Schütze, Heinrich (2008): Introduction to Information Retrieval. Cambridge University Press, New York, NY, USA.
 *Navigli, Roberto & Crisafulli, Giuseppe (2010): Inducing word senses to improve web search result clustering. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP ’10, pages 116–126, Stroudsburg, PA, USA. Association for Computational Linguistics.

@@ Zeile 148: / Zeile 148: @@
 *Duden (2011): Deutsches Universalwörterbuch. 7, überarb. u. erw. Aufl., Dudenverlag, Berlin.
 *Engelberg, Stefan & Lemnitzer, Lothar (2009): Lexikographie und Wörterbuchbenutzung. Stauffenburg, Tübingen.
-*Geyken, Alexander (2007): The DWDS corpus. A reference corpus for the German language of the twentieth century. In Christiane Fellbaum, editor, Idioms and collocations. Corpus-based linguistic and lexicographic studies, pages 23–40. Continuum, London.
+*Geyken, Alexander (2007): The DWDS corpus. A reference corpus for the German language of the twentieth century. In Christiane Fellbaum, editor, Idioms and collocations. Corpus-based linguistic and lexicographic studies, pages 23–40. London: Continuum Press.
 *Griffiths, T. L. & Steyvers, M. (2004): Finding scientific topics. Proceedings of the National Academy of Sciences, 101(Suppl. 1):5228–5235, April.
 *Klein, Dan & Manning, Christopher D. (2003): Accurate unlexicalized parsing. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics – Volume 1, ACL ’03, pages 423–430, Stroudsburg, PA, USA. Association for Computational Linguistics.

@@ Zeile 143: / Zeile 143: @@
 *Blei, David M., Ng, Andrew Y. & Jordan, Michael I. (2003): Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022, March.
-*Brody, Samuel & Lapata, Mirella (2009): Bayesian word sense induction. In: Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics, EACL ’09, pages 103–111, Stroudsburg, PA, USA. Association for Computational Linguistics.
+*Brody, Samuel & Lapata, Mirella (2009): Bayesian word sense induction. In Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics, EACL ’09, pages 103–111, Stroudsburg, PA, USA. Association for Computational Linguistics.
 *Brown, Peter F., Della Pietra, Stephen A., Della Pietra, Vincent J. & Mercer, Robert L. (1991): Word-sense disambiguation using statistical methods. In Proceedings of the 29th Annual Meeting on Association for Computational Linguistics, ACL ’91, pages 264–270, Stroudsburg, PA, USA. Association for Computational Linguistics.
 *Cohen, Jacob (1960): A coefficient of agreement for nominal scales. In Educational and Psychological Measurement. 20, pages 37–46.
@@ Zeile 155: / Zeile 155: @@
 *Navigli, Roberto & Crisafulli, Giuseppe (2010): Inducing word senses to improve web search result clustering. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP ’10, pages 116–126, Stroudsburg, PA, USA. Association for Computational Linguistics.
 *Navigli, Roberto & Vannella, Daniele (2013): Semeval-2013 task 11: Word sense induction and disambiguation within an end-user application. In Second Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pages 193–201, Atlanta, Georgia, USA, June. Association for Computational Linguistics.
-*Navigli, Roberto (2009): Word sense disambiguation: A survey. ACM Comput. Surv., 41(2):10:1–10:69, February.
+*Navigli, Roberto (2009): Word sense disambiguation: A survey. ACM Comput. Surv., 41(2):10:1–10:69.
 *Steyvers, Mark, Smyth, Padhraic, Rosen-Zvi, Michal & Griffiths, Thomas (2004): Probabilistic author-topic models for information discovery. In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’04, pages 306–315, New York, NY, USA. ACM.

@@ Zeile 142: / Zeile 142: @@
 == Zitierte Literatur ==
-*David M. Blei, Andrew Y. Ng & Michael I. Jordan (2003): Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022, March.
+*Blei, David M., Ng, Andrew Y. & Jordan, Michael I. (2003): Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022, March.
-*Samuel Brody & Mirella Lapata (2009): Bayesian word sense induction. In: Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics, EACL ’09, pages 103–111, Stroudsburg, PA, USA. Association for Computational Linguistics.
+*Brody, Samuel & Lapata, Mirella (2009): Bayesian word sense induction. In: Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics, EACL ’09, pages 103–111, Stroudsburg, PA, USA. Association for Computational Linguistics.
-*Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra & Robert L. Mercer (1991): Word-sense disambiguation using statistical methods. In Proceedings of the 29th Annual Meeting on Association for Computational Linguistics, ACL ’91, pages 264–270, Stroudsburg, PA, USA. Association for Computational Linguistics.
+*Brown, Peter F., Della Pietra, Stephen A., Della Pietra, Vincent J. & Mercer, Robert L. (1991): Word-sense disambiguation using statistical methods. In Proceedings of the 29th Annual Meeting on Association for Computational Linguistics, ACL ’91, pages 264–270, Stroudsburg, PA, USA. Association for Computational Linguistics.
-*Jacob Cohen (1960): A coefficient of agreement for nominal scales. In Educational and Psychological Measurement. 20, pages 37–46.
+*Cohen, Jacob (1960): A coefficient of agreement for nominal scales. In Educational and Psychological Measurement. 20, pages 37–46.
 *Duden (2011): Deutsches Universalwörterbuch. 7, überarb. u. erw. Aufl., Dudenverlag, Berlin.
-*Stefan Engelberg & Lothar Lemnitzer (2009): Lexikographie und Wörterbuchbenutzung. Stauffenburg, Tübingen.
+*Engelberg, Stefan & Lemnitzer, Lothar (2009): Lexikographie und Wörterbuchbenutzung. Stauffenburg, Tübingen.
-*Alexander Geyken (2007): The DWDS corpus. A reference corpus for the German language of the twentieth century. In Christiane Fellbaum, editor, Idioms and collocations. Corpus-based linguistic and lexicographic studies, pages 23–40. Continuum, London.
+*Geyken, Alexander (2007): The DWDS corpus. A reference corpus for the German language of the twentieth century. In Christiane Fellbaum, editor, Idioms and collocations. Corpus-based linguistic and lexicographic studies, pages 23–40. Continuum, London.
-*T. L. Griffiths & M. Steyvers (2004): Finding scientific topics. Proceedings of the National Academy of Sciences, 101(Suppl. 1):5228–5235, April.
+*Griffiths, T. L. & Steyvers, M. (2004): Finding scientific topics. Proceedings of the National Academy of Sciences, 101(Suppl. 1):5228–5235, April.
-*Dan Klein & Christopher D. Manning (2003): Accurate unlexicalized parsing. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics – Volume 1, ACL ’03, pages 423–430, Stroudsburg, PA, USA. Association for Computational Linguistics.
+*Klein, Dan & Manning, Christopher D. (2003): Accurate unlexicalized parsing. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics – Volume 1, ACL ’03, pages 423–430, Stroudsburg, PA, USA. Association for Computational Linguistics.
-*Wolfgang Klein & Alexander  Geyken (2010): Das Digitale Wörterbuch der Deutschen Sprache (DWDS). In Ulrich Heid et al., editors, Lexikographica, pages 79‒93, Berlin u.a.: de Gru-yter,.
+*Klein, Wolfgang & Geyken, Alexander (2010): Das Digitale Wörterbuch der Deutschen Sprache (DWDS). In Ulrich Heid et al., editors, Lexikographica, pages 79‒93, Berlin u.a.: de Gru-yter,.
-*Christopher D. Manning, Prabhakar Raghavan & Hinrich Schütze (2008): Introduction to Information Retrieval. Cambridge University Press, New York, NY, USA.
+*Manning, Christopher D., Raghavan, Prabhakar & Schütze, Hinrich (2008): Introduction to Information Retrieval. Cambridge University Press, New York, NY, USA.
-*Roberto Navigli and Giuseppe Crisafulli (2010). Inducing word senses to improve web search result clustering. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP ’10, pages 116–126, Stroudsburg, PA, USA. Association for Computational Linguistics.
+*Navigli, Roberto and Crisafulli, Giuseppe (2010). Inducing word senses to improve web search result clustering. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP ’10, pages 116–126, Stroudsburg, PA, USA. Association for Computational Linguistics.
-*Roberto Navigli & Daniele Vannella (2013): Semeval-2013 task 11: Word sense induction and disambiguation within an end-user application. In Second Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pages 193–201, Atlanta, Georgia, USA, June. Association for Computational Linguistics.
+*Navigli, Roberto & Vannella, Daniele (2013): Semeval-2013 task 11: Word sense induction and disambiguation within an end-user application. In Second Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pages 193–201, Atlanta, Georgia, USA, June. Association for Computational Linguistics.
-*Roberto Navigli (2009): Word sense disambiguation: A survey. ACM Comput. Surv., 41(2):10:1–10:69, February.
+*Navigli, Roberto (2009): Word sense disambiguation: A survey. ACM Comput. Surv., 41(2):10:1–10:69, February.
-*Mark Steyvers, Padhraic Smyth, Michal Rosen-Zvi & Thomas Griffiths (2004): Probabilistic author-topic models for information discovery. In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’04, pages 306–315, New York, NY, USA. ACM.
+*Steyvers, Mark, Smyth, Padhraic, Rosen-Zvi, Michal & Griffiths, Thomas (2004): Probabilistic author-topic models for information discovery. In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’04, pages 306–315, New York, NY, USA. ACM.

@@ Zeile 140: / Zeile 140: @@
 Aufbauend auf den in diesem Report dargestellten Erkenntnissen wird diese Fragestellung in weiteren Experimenten vertieft. In den weiterführenden Arbeiten soll insbesondere erprobt werden, durch welche weiteren Merkmale und ggf. Merkmalskombinationen (z.B. N-Gramme, vollständige oder teilweise syntaktische Annotation der Treffer, Berücksichtigung weiterer manuell annotierter Merkmale wie typische prädikative Nomina/Suffixe etc., Text-sorten-Metadaten) die Verfahren in ihrer Güte noch verbessert werden können. Darüber hinaus sollen auch innovative Möglichkeiten der Visualisierung von Bedeutungsentwicklungen erprobt werden.
-== 6. Zitierte Literatur ==
+== Zitierte Literatur ==
 *David M. Blei, Andrew Y. Ng & Michael I. Jordan (2003): Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022, March.