Datenzugang zur Twitterdatenbank

Die UniBw M beabsichtigt, im Rahmen des Projekts SPARTA einen Zugang zu Twitter-Daten zu beschaffen. Die UniBw M plant hierfür den Einkauf von Daten sowie der Programmier-schnittstellen, mit denen sie auf Daten von Twitter, insbesondere Tweets, zugreifen kann. Die UniBw M benötigt einen direkten und unmittelbaren Zugang zu historischen und Echtzeit-Rohdaten der Tweets, die weder aggregiert, noch vorverarbeitet sind und alle relevanten Metadaten enthalten. Nicht aggregierte Daten sind insoweit wesentlich, da nur diese im vollen Maße für die Forschungszwecke ausgeschöpft werden können. Die Twitter-Daten müssen in großen Mengen automatisiert über eine fest definierte programmierbare Schnittstelle abgerufen werden können. Reine Anzeige von Tweets mit allen Metadaten über eine Benutzeroberfläche, bei der eine menschliche Interaktion erforderlich ist, ist nicht ausrei-chend. Der automatisierte Abruf soll über die Schnittstelle in großen Batches von Tweets – im Falle der historischen Daten – und in Streams von Tweets – im Falle von Echtzeitdaten – an-hand der dedizierten Filterkriterien erfolgen, so dass diese Daten in weiteren Schritten maschinell verarbeitet und abgespeichert werden können. Darüber hinaus ist erforderlich, dass die Abfrage (Lookup) von einzelnen Tweets und Benutzern sowie deren Followern anhand eindeutiger ID möglich ist. Die bereitgestellte Schnittstelle muss fähig sein, die Daten in JSON-Format auszuliefern. Die Schnittstelle muss zudem ermöglichen, mittels offener und nicht proprietärer Protokolle zu kommunizieren (z.B. HTTP). Die ausgelieferten Tweets bzw. Benutzer müssen Datenfelder gem. der Twitter-Definition des Tweet- bzw. User-Objektes enthalten. Dabei sind bei den Tweets insbesondere hervorzuhe-ben: Textinhalte des Tweets (Kurznachricht), eingeschlossene Entities wie Hashtags, Medien, URLs etc.; Autordaten, Geolocation, Daten oder Referenz des originalen Tweets bei einem Retweet, Reply oder Quote etc. Zur Filterung der Daten im historischen und