# Web crawler for Finance # Author: Joze Bucar, Laboratory of Data Technologies, Faculty of Information Studies in Novo mesto, Slovenia (contact: joze.bucar@gmail.com) # Last Update: 2016-02-14 ######################### # Libraries #(.libPaths( c( .libPaths(), "~/userLibrary") )) # keep all packages in one library #install.packages("stringr");install.packages("bitops");install.packages("RCurl");install.packages("XML");install.packages("RJSONIO");install.packages("gdata");install.packages("tm");install.packages("gsubfn");install.packages("plyr"); install.packages("car") library(stringr); library("bitops"); library(RCurl); library(XML); library(RJSONIO); library(gdata); library(tm); library(gsubfn); library(plyr); library(car) # Set working directory and create directory sources = c("RTVSLO", "24UR", "DNEVNIK", "ZURNAL24", "FINANCE") setwd("E:/") #dir.create(sources[5]) # create directory Finance # Set options options(stringsAsFactors = FALSE) # setting options # Replace HTML special character gsub2 <- function(pattern, replacement, x, ...) { for(i in 1:length(pattern)) x <- gsub(pattern[i], replacement[i], x, ...) x } replace.HTML.char <- function(datalines.content){ from <- c("À","à","Á","á","Â","â","Ã","ã","Ä","ä","Å","å","Æ","æ","ª","Ç","ç","È","è","É","é","Ê","ê","Ë","ë","ƒ","Ì","ì","Í","í","Î","î","Ï","ï","Ñ","ñ","Ò","ò","Ó","ó","Ô","ô","Õ","õ","Ö","ö","Ø","ø","Š","š","ß","Ù","ù","Ú","ú","Û","û","Ü","ü","Ÿ","ÿ","Ý","ý","¼","½","¾","¹","²","³","°","¡","&","¿","¦","•","–","—","™","©","®","€","¢","£","¤","¥",""","‘","’","“","”","´","˜","ˆ","‹","›","«","»","×","÷","±","‚","„","…","†","‡","‰","Œ","œ","§","¨","¬","­","µ","¶","·","¸","º","Ð","Þ","ð","þ"," ","♠","♣","♥","♦","‾","←","↑","→","↓","&brkbar;","¨","$amp,","ĂĽ","Ĺ ","š","â€","“","”","”","“","") to <- c("À","à","Á","á","Â","â","Ã","ã","Ä","ä","Å","å","Æ","æ","ª","Ç","ç","È","è","É","é","Ê","ê","Ë","ë","ƒ","Ì","ì","Í","í","Î","î","Ï","ï","Ñ","ñ","Ò","ò","Ó","ó","Ô","ô","Õ","õ","Ö","ö","Ø","ø","Š","š","ß","Ù","ù","Ú","ú","Û","û","Ü","ü","Ÿ","ÿ","Ý","ý","1/4","1/2","3/4","¹","²","³","°","¡","&","¿","¦","•","–","—","™","©","®","€","¢","£","¤","¥","\"","‘","’","“","”","´","˜","ˆ","‹","›","«","»","×","÷","±","‚","„","…","†","‡","‰","Œ","œ","§","¨","¬"," ","µ","¶","·","¸","º","Ð","Þ","ð","þ"," ","♠","♣","♥","♦","‾","←","↑","→","↓","¦","¨","","ü","Š","š","-","","","","","") datalines.content = gsub2(from, to, datalines.content) datalines.content = gsub("<", "<", datalines.content) datalines.content = gsub(">", ">", datalines.content) #datalines.content = gsub("[:]", " ", datalines.content) #datalines.content = gsub("[()]", "", datalines.content) #datalines.content = gsub("[)]", "", datalines.content) #datalines.content = gsub("[()]", "", datalines.content) #datalines.content = trim(datalines.content) datalines.content = gsub(' {2,}',' ',gsub('^ *| *$','',datalines.content)) # replace multiple spaces with one } ptm1 = proc.time() get.FINANCE <- function(url){ setwd("E:/FINANCE") #url = "http://www.finance.si/192256" # locked article #url="http://www.finance.si/8354225" #url="http://www.finance.si/8354183/Spletna-anketa-Ob-%C4%8Dem-se-boste-v-letu-2014-najbolj-zabavali" thepage = paste(readLines(url, encoding = "UTF-8"), collapse = "") # get main URL url.main = "www.finance.si" # get URL url = url title="" # get title if (grepl("", thepage) == TRUE) { datalines.title = sapply(strsplit(thepage,"",fixed = TRUE),"[[",1) datalines.title = sapply(strsplit(datalines.title,"",fixed = TRUE),"[[",2) title = trim(gsub(" - Finance Akademija @ finance-akademija.si", "", datalines.title)) title = trim(gsub("</b></p><p>", "", title)) title = gsub("\t"," ", title) title = replace.HTML.char(title) title = gsub(' {2,}',' ',gsub('^ *| *$','',title)) # replace multiple spaces with one title_file = gsub("ć","c", title); title_file = gsub("Ć","C",title_file); title_file = gsub("č","c",title_file); title_file = gsub("Č","C",title_file); title_file = gsub("đ˜","dz",title_file); title_file = gsub("Đ","Dz",title_file); title_file = gsub("š","s",title_file); title_file = gsub("Š","S",title_file); title_file = gsub("ž","z",title_file); title_file = gsub("Ž","Z",title_file); title_file = gsub("[[:punct:]]","",title_file); title_file = gsub("€","eur",title_file) title_file = gsub(' {2,}',' ',gsub('^ *| *$','',title_file)) # replace multiple spaces with one if (nchar(title) >= 50) { title_file = substring(title_file,1,50) } } else { title = "" title_file = "" } keywords="" # get keywords #no keywords if (grepl("<meta name=\"keywords\" content=\"", thepage) == TRUE) { datalines.keywords = sapply(strsplit(thepage,"<meta name=\"keywords\" content=\"",fixed = TRUE),"[[",2) keywords = trim(sapply(strsplit(datalines.keywords,"\">",fixed = TRUE),"[[",1)) keywords = trim(sapply(strsplit(keywords,"\" />",fixed = TRUE),"[[",1)) keywords = replace.HTML.char(keywords) keywords = gsub(' {2,}',' ',gsub('^ *| *$','',keywords)) } else { keywords = "" } date="" # get date if (grepl("<a class=\"link-danes\"", thepage) == TRUE) { datalines.date = sapply(strsplit(thepage,"<a class=\"link-danes\"",fixed = TRUE),"[[",2) datalines.date = sapply(strsplit(datalines.date,"</a>",fixed = TRUE),"[[",1) datalines.date = sapply(strsplit(datalines.date,">",fixed = TRUE),"[[",2) date.year=substr(datalines.date, 7, 10) date.month=substr(datalines.date, 4, 5) date.day=substr(datalines.date, 1, 2) date = paste(date.day, ".", date.month, ".", date.year, sep = "") } else { date.day = ""; date.month = ""; date.year = "" date = "" } if ((date == "") && (grepl("<DIV class=\"publish-date\" id=\"publish-date\">", thepage) == TRUE)) { datalines.date = trim(sapply(strsplit(thepage,"<DIV class=\"publish-date\" id=\"publish-date\">",fixed = TRUE),"[[",2)) datalines.date = trim(sapply(strsplit(datalines.date," ",fixed = TRUE),"[[",1)) datalines.date = replace.HTML.char(datalines.date) date.year=substr(datalines.date, 7, 10) date.month=substr(datalines.date, 4, 5) date.day=substr(datalines.date, 1, 2) date = paste(date.day, ".", date.month, ".", date.year, sep = "") } author="" # get author if (grepl("<div class=\"article-author\">", thepage) == TRUE) { datalines.author = trim(sapply(strsplit(thepage,"<div class=\"article-author\">",fixed = TRUE),"[[",2)) datalines.author = trim(sapply(strsplit(datalines.author,"</div><!--/authors-->",fixed = TRUE),"[[",1)) #datalines.author = trim(sapply(strsplit(datalines.author,"</a>",fixed = TRUE),"[[",1)) #datalines.author = trim(sapply(strsplit(datalines.author,">",fixed = TRUE),"[[",2)) datalines.author = gsub("<.*?>", "", datalines.author) author = gsub("[()]", "", datalines.author) author = replace.HTML.char(author) author = gsub(' {2,}',' ',gsub('^ *| *$','',author)) } else { author = "" } if ((author == "") && (grepl("<span class=\"article-author\">", thepage) == TRUE)) { datalines.author = trim(sapply(strsplit(thepage,"<span class=\"article-author\">",fixed = TRUE),"[[",2)) datalines.author = trim(sapply(strsplit(datalines.author,"</span>",fixed = TRUE),"[[",1)) datalines.author = replace.HTML.char(datalines.author) author = gsub(' {2,}',' ',gsub('^ *| *$','',datalines.author)) } summary="" if ((summary == "") && (grepl("<div class=\"article-flash\">", thepage) == TRUE)) { datalines.summary = trim(sapply(strsplit(thepage,"<div class=\"article-flash\">",fixed = TRUE),"[[",2)) datalines.summary = trim(sapply(strsplit(datalines.summary,"</",fixed = TRUE),"[[",1)) datalines.summary = gsub("<.*?>", "", datalines.summary) datalines.summary = replace.HTML.char(datalines.summary) summary = gsub(' {2,}',' ',gsub('^ *| *$','',datalines.summary)) } else { summary = "" } content="" # get content if (grepl("</p><div id=\"art-bottom-part\">", thepage) == TRUE) { thepage = trim(sapply(strsplit(thepage,"</p><div id=\"art-bottom-part\">",fixed = TRUE),"[[",1)) } if (grepl("<div class=\"art-content\">", thepage) == TRUE) { datalines.content = trim(sapply(strsplit(thepage,"<div class=\"art-content\">",fixed = TRUE),"[[",2)) datalines.content = trim(sapply(strsplit(datalines.content,"<!--/art-content-->",fixed = TRUE),"[[",1)) datalines.content = gsub("</div>", "", datalines.content) datalines.content = unlist(strsplit(datalines.content, "</p>")) datalines.content = gsub("<.*?>", "", datalines.content) datalines.content = trim(datalines.content) datalines.content <- datalines.content[sapply(datalines.content, nchar) > 0] datalines.content = replace.HTML.char(datalines.content) content = gsub(' {2,}',' ',gsub('^ *| *$','',datalines.content)) if (title=="Karikatura dneva"){ content="" } if (title=="TOP članki današnjih Financ"){ content="" } if (length(content)==0){ content="" } } else { content = "" } if(content==""){ print("plačljiv članek") print(date) print(title) print(url) } if(sum(nchar(content)) > 2L){ file = sprintf("%s_%s_%s_%s_%s.txt", sources[5], date.year, date.month, date.day, gsub("[[:punct:]]", "", title_file)) file = gsub(' {2,}',' ',gsub('^ *| *$','',file)) sink(file) cat("# URL main: \n", url.main, "\n", "# URL: \n", url, "\n", "# Date: \n", date, "\n", "# Author: \n", author, "\n", "# Keywords: \n", keywords, "\n", "# Title: \n", title, "\n", "# Summary: \n", summary, "\n", "# Content: \n", sep = "") for (i in 1:length(content)){ cat(content[i]) cat("\n") } sink() } } proc.time() - ptm1 ptm2 = proc.time() #date_from=c("1.1.2014","2.1.2014") date_from_2007=c("1.9.2007","2.9.2007","3.9.2007","4.9.2007","5.9.2007","6.9.2007","7.9.2007","8.9.2007","9.9.2007","10.9.2007","11.9.2007","12.9.2007","13.9.2007","14.9.2007","15.9.2007","16.9.2007","17.9.2007","18.9.2007","19.9.2007","20.9.2007","21.9.2007","22.9.2007","23.9.2007","24.9.2007","25.9.2007","26.9.2007","27.9.2007","28.9.2007","29.9.2007","30.9.2007","1.10.2007","2.10.2007","3.10.2007","4.10.2007","5.10.2007","6.10.2007","7.10.2007","8.10.2007","9.10.2007","10.10.2007","11.10.2007","12.10.2007","13.10.2007","14.10.2007","15.10.2007","16.10.2007","17.10.2007","18.10.2007","19.10.2007","20.10.2007","21.10.2007","22.10.2007","23.10.2007","24.10.2007","25.10.2007","26.10.2007","27.10.2007","28.10.2007","29.10.2007","30.10.2007","31.10.2007","1.11.2007","2.11.2007","3.11.2007","4.11.2007","5.11.2007","6.11.2007","7.11.2007","8.11.2007","9.11.2007","10.11.2007","11.11.2007","12.11.2007","13.11.2007","14.11.2007","15.11.2007","16.11.2007","17.11.2007","18.11.2007","19.11.2007","20.11.2007","21.11.2007","22.11.2007","23.11.2007","24.11.2007","25.11.2007","26.11.2007","27.11.2007","28.11.2007","29.11.2007","30.11.2007","1.12.2007","2.12.2007","3.12.2007","4.12.2007","5.12.2007","6.12.2007","7.12.2007","8.12.2007","9.12.2007","10.12.2007","11.12.2007","12.12.2007","13.12.2007","14.12.2007","15.12.2007","16.12.2007","17.12.2007","18.12.2007","19.12.2007","20.12.2007","21.12.2007","22.12.2007","23.12.2007","24.12.2007","25.12.2007","26.12.2007","27.12.2007","28.12.2007","29.12.2007","30.12.2007","31.12.2007") date_from_2008_1=c("1.1.2008","2.1.2008","3.1.2008","4.1.2008","5.1.2008","6.1.2008","7.1.2008","8.1.2008","9.1.2008","10.1.2008","11.1.2008","12.1.2008","13.1.2008","14.1.2008","15.1.2008","16.1.2008","17.1.2008","18.1.2008","19.1.2008","20.1.2008","21.1.2008","22.1.2008","23.1.2008","24.1.2008","25.1.2008","26.1.2008","27.1.2008","28.1.2008","29.1.2008","30.1.2008","31.1.2008","1.2.2008","2.2.2008","3.2.2008","4.2.2008","5.2.2008","6.2.2008","7.2.2008","8.2.2008","9.2.2008","10.2.2008","11.2.2008","12.2.2008","13.2.2008","14.2.2008","15.2.2008","16.2.2008","17.2.2008","18.2.2008","19.2.2008","20.2.2008","21.2.2008","22.2.2008","23.2.2008","24.2.2008","25.2.2008","26.2.2008","27.2.2008","28.2.2008","29.2.2008","1.3.2008","2.3.2008","3.3.2008","4.3.2008","5.3.2008","6.3.2008","7.3.2008","8.3.2008","9.3.2008","10.3.2008","11.3.2008","12.3.2008","13.3.2008","14.3.2008","15.3.2008","16.3.2008","17.3.2008","18.3.2008","19.3.2008","20.3.2008","21.3.2008","22.3.2008","23.3.2008","24.3.2008","25.3.2008","26.3.2008","27.3.2008","28.3.2008","29.3.2008","30.3.2008","31.3.2008","1.4.2008","2.4.2008","3.4.2008","4.4.2008","5.4.2008","6.4.2008","7.4.2008","8.4.2008","9.4.2008","10.4.2008","11.4.2008","12.4.2008","13.4.2008","14.4.2008","15.4.2008","16.4.2008","17.4.2008","18.4.2008","19.4.2008","20.4.2008","21.4.2008","22.4.2008","23.4.2008","24.4.2008","25.4.2008","26.4.2008","27.4.2008","28.4.2008","29.4.2008","30.4.2008","1.5.2008","2.5.2008","3.5.2008","4.5.2008","5.5.2008","6.5.2008","7.5.2008","8.5.2008","9.5.2008","10.5.2008","11.5.2008","12.5.2008","13.5.2008","14.5.2008","15.5.2008","16.5.2008","17.5.2008","18.5.2008","19.5.2008","20.5.2008","21.5.2008","22.5.2008","23.5.2008","24.5.2008","25.5.2008","26.5.2008","27.5.2008","28.5.2008","29.5.2008","30.5.2008","31.5.2008","1.6.2008","2.6.2008","3.6.2008","4.6.2008","5.6.2008","6.6.2008","7.6.2008","8.6.2008","9.6.2008","10.6.2008","11.6.2008","12.6.2008","13.6.2008","14.6.2008","15.6.2008","16.6.2008","17.6.2008","18.6.2008","19.6.2008","20.6.2008","21.6.2008","22.6.2008","23.6.2008","24.6.2008","25.6.2008","26.6.2008","27.6.2008","28.6.2008","29.6.2008","30.6.2008") date_from_2008_2=c("1.7.2008","2.7.2008","3.7.2008","4.7.2008","5.7.2008","6.7.2008","7.7.2008","8.7.2008","9.7.2008","10.7.2008","11.7.2008","12.7.2008","13.7.2008","14.7.2008","15.7.2008","16.7.2008","17.7.2008","18.7.2008","19.7.2008","20.7.2008","21.7.2008","22.7.2008","23.7.2008","24.7.2008","25.7.2008","26.7.2008","27.7.2008","28.7.2008","29.7.2008","30.7.2008","31.7.2008","1.8.2008","2.8.2008","3.8.2008","4.8.2008","5.8.2008","6.8.2008","7.8.2008","8.8.2008","9.8.2008","10.8.2008","11.8.2008","12.8.2008","13.8.2008","14.8.2008","15.8.2008","16.8.2008","17.8.2008","18.8.2008","19.8.2008","20.8.2008","21.8.2008","22.8.2008","23.8.2008","24.8.2008","25.8.2008","26.8.2008","27.8.2008","28.8.2008","29.8.2008","30.8.2008","31.8.2008","1.9.2008","2.9.2008","3.9.2008","4.9.2008","5.9.2008","6.9.2008","7.9.2008","8.9.2008","9.9.2008","10.9.2008","11.9.2008","12.9.2008","13.9.2008","14.9.2008","15.9.2008","16.9.2008","17.9.2008","18.9.2008","19.9.2008","20.9.2008","21.9.2008","22.9.2008","23.9.2008","24.9.2008","25.9.2008","26.9.2008","27.9.2008","28.9.2008","29.9.2008","30.9.2008","1.10.2008","2.10.2008","3.10.2008","4.10.2008","5.10.2008","6.10.2008","7.10.2008","8.10.2008","9.10.2008","10.10.2008","11.10.2008","12.10.2008","13.10.2008","14.10.2008","15.10.2008","16.10.2008","17.10.2008","18.10.2008","19.10.2008","20.10.2008","21.10.2008","22.10.2008","23.10.2008","24.10.2008","25.10.2008","26.10.2008","27.10.2008","28.10.2008","29.10.2008","30.10.2008","31.10.2008","1.11.2008","2.11.2008","3.11.2008","4.11.2008","5.11.2008","6.11.2008","7.11.2008","8.11.2008","9.11.2008","10.11.2008","11.11.2008","12.11.2008","13.11.2008","14.11.2008","15.11.2008","16.11.2008","17.11.2008","18.11.2008","19.11.2008","20.11.2008","21.11.2008","22.11.2008","23.11.2008","24.11.2008","25.11.2008","26.11.2008","27.11.2008","28.11.2008","29.11.2008","30.11.2008","1.12.2008","2.12.2008","3.12.2008","4.12.2008","5.12.2008","6.12.2008","7.12.2008","8.12.2008","9.12.2008","10.12.2008","11.12.2008","12.12.2008","13.12.2008","14.12.2008","15.12.2008","16.12.2008","17.12.2008","18.12.2008","19.12.2008","20.12.2008","21.12.2008","22.12.2008","23.12.2008","24.12.2008","25.12.2008","26.12.2008","27.12.2008","28.12.2008","29.12.2008","30.12.2008","31.12.2008") date_from_2009_1=c("1.1.2009","2.1.2009","3.1.2009","4.1.2009","5.1.2009","6.1.2009","7.1.2009","8.1.2009","9.1.2009","10.1.2009","11.1.2009","12.1.2009","13.1.2009","14.1.2009","15.1.2009","16.1.2009","17.1.2009","18.1.2009","19.1.2009","20.1.2009","21.1.2009","22.1.2009","23.1.2009","24.1.2009","25.1.2009","26.1.2009","27.1.2009","28.1.2009","29.1.2009","30.1.2009","31.1.2009","1.2.2009","2.2.2009","3.2.2009","4.2.2009","5.2.2009","6.2.2009","7.2.2009","8.2.2009","9.2.2009","10.2.2009","11.2.2009","12.2.2009","13.2.2009","14.2.2009","15.2.2009","16.2.2009","17.2.2009","18.2.2009","19.2.2009","20.2.2009","21.2.2009","22.2.2009","23.2.2009","24.2.2009","25.2.2009","26.2.2009","27.2.2009","28.2.2009","1.3.2009","2.3.2009","3.3.2009","4.3.2009","5.3.2009","6.3.2009","7.3.2009","8.3.2009","9.3.2009","10.3.2009","11.3.2009","12.3.2009","13.3.2009","14.3.2009","15.3.2009","16.3.2009","17.3.2009","18.3.2009","19.3.2009","20.3.2009","21.3.2009","22.3.2009","23.3.2009","24.3.2009","25.3.2009","26.3.2009","27.3.2009","28.3.2009","29.3.2009","30.3.2009","31.3.2009","1.4.2009","2.4.2009","3.4.2009","4.4.2009","5.4.2009","6.4.2009","7.4.2009","8.4.2009","9.4.2009","10.4.2009","11.4.2009","12.4.2009","13.4.2009","14.4.2009","15.4.2009","16.4.2009","17.4.2009","18.4.2009","19.4.2009","20.4.2009","21.4.2009","22.4.2009","23.4.2009","24.4.2009","25.4.2009","26.4.2009","27.4.2009","28.4.2009","29.4.2009","30.4.2009","1.5.2009","2.5.2009","3.5.2009","4.5.2009","5.5.2009","6.5.2009","7.5.2009","8.5.2009","9.5.2009","10.5.2009","11.5.2009","12.5.2009","13.5.2009","14.5.2009","15.5.2009","16.5.2009","17.5.2009","18.5.2009","19.5.2009","20.5.2009","21.5.2009","22.5.2009","23.5.2009","24.5.2009","25.5.2009","26.5.2009","27.5.2009","28.5.2009","29.5.2009","30.5.2009","31.5.2009","1.6.2009","2.6.2009","3.6.2009","4.6.2009","5.6.2009","6.6.2009","7.6.2009","8.6.2009","9.6.2009","10.6.2009","11.6.2009","12.6.2009","13.6.2009","14.6.2009","15.6.2009","16.6.2009","17.6.2009","18.6.2009","19.6.2009","20.6.2009","21.6.2009","22.6.2009","23.6.2009","24.6.2009","25.6.2009","26.6.2009","27.6.2009","28.6.2009","29.6.2009","30.6.2009") date_from_2009_2=c("1.7.2009","2.7.2009","3.7.2009","4.7.2009","5.7.2009","6.7.2009","7.7.2009","8.7.2009","9.7.2009","10.7.2009","11.7.2009","12.7.2009","13.7.2009","14.7.2009","15.7.2009","16.7.2009","17.7.2009","18.7.2009","19.7.2009","20.7.2009","21.7.2009","22.7.2009","23.7.2009","24.7.2009","25.7.2009","26.7.2009","27.7.2009","28.7.2009","29.7.2009","30.7.2009","31.7.2009","1.8.2009","2.8.2009","3.8.2009","4.8.2009","5.8.2009","6.8.2009","7.8.2009","8.8.2009","9.8.2009","10.8.2009","11.8.2009","12.8.2009","13.8.2009","14.8.2009","15.8.2009","16.8.2009","17.8.2009","18.8.2009","19.8.2009","20.8.2009","21.8.2009","22.8.2009","23.8.2009","24.8.2009","25.8.2009","26.8.2009","27.8.2009","28.8.2009","29.8.2009","30.8.2009","31.8.2009","1.9.2009","2.9.2009","3.9.2009","4.9.2009","5.9.2009","6.9.2009","7.9.2009","8.9.2009","9.9.2009","10.9.2009","11.9.2009","12.9.2009","13.9.2009","14.9.2009","15.9.2009","16.9.2009","17.9.2009","18.9.2009","19.9.2009","20.9.2009","21.9.2009","22.9.2009","23.9.2009","24.9.2009","25.9.2009","26.9.2009","27.9.2009","28.9.2009","29.9.2009","30.9.2009","1.10.2009","2.10.2009","3.10.2009","4.10.2009","5.10.2009","6.10.2009","7.10.2009","8.10.2009","9.10.2009","10.10.2009","11.10.2009","12.10.2009","13.10.2009","14.10.2009","15.10.2009","16.10.2009","17.10.2009","18.10.2009","19.10.2009","20.10.2009","21.10.2009","22.10.2009","23.10.2009","24.10.2009","25.10.2009","26.10.2009","27.10.2009","28.10.2009","29.10.2009","30.10.2009","31.10.2009","1.11.2009","2.11.2009","3.11.2009","4.11.2009","5.11.2009","6.11.2009","7.11.2009","8.11.2009","9.11.2009","10.11.2009","11.11.2009","12.11.2009","13.11.2009","14.11.2009","15.11.2009","16.11.2009","17.11.2009","18.11.2009","19.11.2009","20.11.2009","21.11.2009","22.11.2009","23.11.2009","24.11.2009","25.11.2009","26.11.2009","27.11.2009","28.11.2009","29.11.2009","30.11.2009","1.12.2009","2.12.2009","3.12.2009","4.12.2009","5.12.2009","6.12.2009","7.12.2009","8.12.2009","9.12.2009","10.12.2009","11.12.2009","12.12.2009","13.12.2009","14.12.2009","15.12.2009","16.12.2009","17.12.2009","18.12.2009","19.12.2009","20.12.2009","21.12.2009","22.12.2009","23.12.2009","24.12.2009","25.12.2009","26.12.2009","27.12.2009","28.12.2009","29.12.2009","30.12.2009","31.12.2009") date_from_2010_1=c("1.1.2010","2.1.2010","3.1.2010","4.1.2010","5.1.2010","6.1.2010","7.1.2010","8.1.2010","9.1.2010","10.1.2010","11.1.2010","12.1.2010","13.1.2010","14.1.2010","15.1.2010","16.1.2010","17.1.2010","18.1.2010","19.1.2010","20.1.2010","21.1.2010","22.1.2010","23.1.2010","24.1.2010","25.1.2010","26.1.2010","27.1.2010","28.1.2010","29.1.2010","30.1.2010","31.1.2010","1.2.2010","2.2.2010","3.2.2010","4.2.2010","5.2.2010","6.2.2010","7.2.2010","8.2.2010","9.2.2010","10.2.2010","11.2.2010","12.2.2010","13.2.2010","14.2.2010","15.2.2010","16.2.2010","17.2.2010","18.2.2010","19.2.2010","20.2.2010","21.2.2010","22.2.2010","23.2.2010","24.2.2010","25.2.2010","26.2.2010","27.2.2010","28.2.2010","1.3.2010","2.3.2010","3.3.2010","4.3.2010","5.3.2010","6.3.2010","7.3.2010","8.3.2010","9.3.2010","10.3.2010","11.3.2010","12.3.2010","13.3.2010","14.3.2010","15.3.2010","16.3.2010","17.3.2010","18.3.2010","19.3.2010","20.3.2010","21.3.2010","22.3.2010","23.3.2010","24.3.2010","25.3.2010","26.3.2010","27.3.2010","28.3.2010","29.3.2010","30.3.2010","31.3.2010","1.4.2010","2.4.2010","3.4.2010","4.4.2010","5.4.2010","6.4.2010","7.4.2010","8.4.2010","9.4.2010","10.4.2010","11.4.2010","12.4.2010","13.4.2010","14.4.2010","15.4.2010","16.4.2010","17.4.2010","18.4.2010","19.4.2010","20.4.2010","21.4.2010","22.4.2010","23.4.2010","24.4.2010","25.4.2010","26.4.2010","27.4.2010","28.4.2010","29.4.2010","30.4.2010","1.5.2010","2.5.2010","3.5.2010","4.5.2010","5.5.2010","6.5.2010","7.5.2010","8.5.2010","9.5.2010","10.5.2010","11.5.2010","12.5.2010","13.5.2010","14.5.2010","15.5.2010","16.5.2010","17.5.2010","18.5.2010","19.5.2010","20.5.2010","21.5.2010","22.5.2010","23.5.2010","24.5.2010","25.5.2010","26.5.2010","27.5.2010","28.5.2010","29.5.2010","30.5.2010","31.5.2010","1.6.2010","2.6.2010","3.6.2010","4.6.2010","5.6.2010","6.6.2010","7.6.2010","8.6.2010","9.6.2010","10.6.2010","11.6.2010","12.6.2010","13.6.2010","14.6.2010","15.6.2010","16.6.2010","17.6.2010","18.6.2010","19.6.2010","20.6.2010","21.6.2010","22.6.2010","23.6.2010","24.6.2010","25.6.2010","26.6.2010","27.6.2010","28.6.2010","29.6.2010","30.6.2010") date_from_2010_2=c("1.7.2010","2.7.2010","3.7.2010","4.7.2010","5.7.2010","6.7.2010","7.7.2010","8.7.2010","9.7.2010","10.7.2010","11.7.2010","12.7.2010","13.7.2010","14.7.2010","15.7.2010","16.7.2010","17.7.2010","18.7.2010","19.7.2010","20.7.2010","21.7.2010","22.7.2010","23.7.2010","24.7.2010","25.7.2010","26.7.2010","27.7.2010","28.7.2010","29.7.2010","30.7.2010","31.7.2010","1.8.2010","2.8.2010","3.8.2010","4.8.2010","5.8.2010","6.8.2010","7.8.2010","8.8.2010","9.8.2010","10.8.2010","11.8.2010","12.8.2010","13.8.2010","14.8.2010","15.8.2010","16.8.2010","17.8.2010","18.8.2010","19.8.2010","20.8.2010","21.8.2010","22.8.2010","23.8.2010","24.8.2010","25.8.2010","26.8.2010","27.8.2010","28.8.2010","29.8.2010","30.8.2010","31.8.2010","1.9.2010","2.9.2010","3.9.2010","4.9.2010","5.9.2010","6.9.2010","7.9.2010","8.9.2010","9.9.2010","10.9.2010","11.9.2010","12.9.2010","13.9.2010","14.9.2010","15.9.2010","16.9.2010","17.9.2010","18.9.2010","19.9.2010","20.9.2010","21.9.2010","22.9.2010","23.9.2010","24.9.2010","25.9.2010","26.9.2010","27.9.2010","28.9.2010","29.9.2010","30.9.2010","1.10.2010","2.10.2010","3.10.2010","4.10.2010","5.10.2010","6.10.2010","7.10.2010","8.10.2010","9.10.2010","10.10.2010","11.10.2010","12.10.2010","13.10.2010","14.10.2010","15.10.2010","16.10.2010","17.10.2010","18.10.2010","19.10.2010","20.10.2010","21.10.2010","22.10.2010","23.10.2010","24.10.2010","25.10.2010","26.10.2010","27.10.2010","28.10.2010","29.10.2010","30.10.2010","31.10.2010","1.11.2010","2.11.2010","3.11.2010","4.11.2010","5.11.2010","6.11.2010","7.11.2010","8.11.2010","9.11.2010","10.11.2010","11.11.2010","12.11.2010","13.11.2010","14.11.2010","15.11.2010","16.11.2010","17.11.2010","18.11.2010","19.11.2010","20.11.2010","21.11.2010","22.11.2010","23.11.2010","24.11.2010","25.11.2010","26.11.2010","27.11.2010","28.11.2010","29.11.2010","30.11.2010","1.12.2010","2.12.2010","3.12.2010","4.12.2010","5.12.2010","6.12.2010","7.12.2010","8.12.2010","9.12.2010","10.12.2010","11.12.2010","12.12.2010","13.12.2010","14.12.2010","15.12.2010","16.12.2010","17.12.2010","18.12.2010","19.12.2010","20.12.2010","21.12.2010","22.12.2010","23.12.2010","24.12.2010","25.12.2010","26.12.2010","27.12.2010","28.12.2010","29.12.2010","30.12.2010","31.12.2010") date_from_2011_1=c("1.1.2011","2.1.2011","3.1.2011","4.1.2011","5.1.2011","6.1.2011","7.1.2011","8.1.2011","9.1.2011","10.1.2011","11.1.2011","12.1.2011","13.1.2011","14.1.2011","15.1.2011","16.1.2011","17.1.2011","18.1.2011","19.1.2011","20.1.2011","21.1.2011","22.1.2011","23.1.2011","24.1.2011","25.1.2011","26.1.2011","27.1.2011","28.1.2011","29.1.2011","30.1.2011","31.1.2011","1.2.2011","2.2.2011","3.2.2011","4.2.2011","5.2.2011","6.2.2011","7.2.2011","8.2.2011","9.2.2011","10.2.2011","11.2.2011","12.2.2011","13.2.2011","14.2.2011","15.2.2011","16.2.2011","17.2.2011","18.2.2011","19.2.2011","20.2.2011","21.2.2011","22.2.2011","23.2.2011","24.2.2011","25.2.2011","26.2.2011","27.2.2011","28.2.2011","1.3.2011","2.3.2011","3.3.2011","4.3.2011","5.3.2011","6.3.2011","7.3.2011","8.3.2011","9.3.2011","10.3.2011","11.3.2011","12.3.2011","13.3.2011","14.3.2011","15.3.2011","16.3.2011","17.3.2011","18.3.2011","19.3.2011","20.3.2011","21.3.2011","22.3.2011","23.3.2011","24.3.2011","25.3.2011","26.3.2011","27.3.2011","28.3.2011","29.3.2011","30.3.2011","31.3.2011","1.4.2011","2.4.2011","3.4.2011","4.4.2011","5.4.2011","6.4.2011","7.4.2011","8.4.2011","9.4.2011","10.4.2011","11.4.2011","12.4.2011","13.4.2011","14.4.2011","15.4.2011","16.4.2011","17.4.2011","18.4.2011","19.4.2011","20.4.2011","21.4.2011","22.4.2011","23.4.2011","24.4.2011","25.4.2011","26.4.2011","27.4.2011","28.4.2011","29.4.2011","30.4.2011","1.5.2011","2.5.2011","3.5.2011","4.5.2011","5.5.2011","6.5.2011","7.5.2011","8.5.2011","9.5.2011","10.5.2011","11.5.2011","12.5.2011","13.5.2011","14.5.2011","15.5.2011","16.5.2011","17.5.2011","18.5.2011","19.5.2011","20.5.2011","21.5.2011","22.5.2011","23.5.2011","24.5.2011","25.5.2011","26.5.2011","27.5.2011","28.5.2011","29.5.2011","30.5.2011","31.5.2011","1.6.2011","2.6.2011","3.6.2011","4.6.2011","5.6.2011","6.6.2011","7.6.2011","8.6.2011","9.6.2011","10.6.2011","11.6.2011","12.6.2011","13.6.2011","14.6.2011","15.6.2011","16.6.2011","17.6.2011","18.6.2011","19.6.2011","20.6.2011","21.6.2011","22.6.2011","23.6.2011","24.6.2011","25.6.2011","26.6.2011","27.6.2011","28.6.2011","29.6.2011","30.6.2011") date_from_2011_2=c("1.7.2011","2.7.2011","3.7.2011","4.7.2011","5.7.2011","6.7.2011","7.7.2011","8.7.2011","9.7.2011","10.7.2011","11.7.2011","12.7.2011","13.7.2011","14.7.2011","15.7.2011","16.7.2011","17.7.2011","18.7.2011","19.7.2011","20.7.2011","21.7.2011","22.7.2011","23.7.2011","24.7.2011","25.7.2011","26.7.2011","27.7.2011","28.7.2011","29.7.2011","30.7.2011","31.7.2011","1.8.2011","2.8.2011","3.8.2011","4.8.2011","5.8.2011","6.8.2011","7.8.2011","8.8.2011","9.8.2011","10.8.2011","11.8.2011","12.8.2011","13.8.2011","14.8.2011","15.8.2011","16.8.2011","17.8.2011","18.8.2011","19.8.2011","20.8.2011","21.8.2011","22.8.2011","23.8.2011","24.8.2011","25.8.2011","26.8.2011","27.8.2011","28.8.2011","29.8.2011","30.8.2011","31.8.2011","1.9.2011","2.9.2011","3.9.2011","4.9.2011","5.9.2011","6.9.2011","7.9.2011","8.9.2011","9.9.2011","10.9.2011","11.9.2011","12.9.2011","13.9.2011","14.9.2011","15.9.2011","16.9.2011","17.9.2011","18.9.2011","19.9.2011","20.9.2011","21.9.2011","22.9.2011","23.9.2011","24.9.2011","25.9.2011","26.9.2011","27.9.2011","28.9.2011","29.9.2011","30.9.2011","1.10.2011","2.10.2011","3.10.2011","4.10.2011","5.10.2011","6.10.2011","7.10.2011","8.10.2011","9.10.2011","10.10.2011","11.10.2011","12.10.2011","13.10.2011","14.10.2011","15.10.2011","16.10.2011","17.10.2011","18.10.2011","19.10.2011","20.10.2011","21.10.2011","22.10.2011","23.10.2011","24.10.2011","25.10.2011","26.10.2011","27.10.2011","28.10.2011","29.10.2011","30.10.2011","31.10.2011","1.11.2011","2.11.2011","3.11.2011","4.11.2011","5.11.2011","6.11.2011","7.11.2011","8.11.2011","9.11.2011","10.11.2011","11.11.2011","12.11.2011","13.11.2011","14.11.2011","15.11.2011","16.11.2011","17.11.2011","18.11.2011","19.11.2011","20.11.2011","21.11.2011","22.11.2011","23.11.2011","24.11.2011","25.11.2011","26.11.2011","27.11.2011","28.11.2011","29.11.2011","30.11.2011","1.12.2011","2.12.2011","3.12.2011","4.12.2011","5.12.2011","6.12.2011","7.12.2011","8.12.2011","9.12.2011","10.12.2011","11.12.2011","12.12.2011","13.12.2011","14.12.2011","15.12.2011","16.12.2011","17.12.2011","18.12.2011","19.12.2011","20.12.2011","21.12.2011","22.12.2011","23.12.2011","24.12.2011","25.12.2011","26.12.2011","27.12.2011","28.12.2011","29.12.2011","30.12.2011","31.12.2011") date_from_2012_1=c("1.1.2012","2.1.2012","3.1.2012","4.1.2012","5.1.2012","6.1.2012","7.1.2012","8.1.2012","9.1.2012","10.1.2012","11.1.2012","12.1.2012","13.1.2012","14.1.2012","15.1.2012","16.1.2012","17.1.2012","18.1.2012","19.1.2012","20.1.2012","21.1.2012","22.1.2012","23.1.2012","24.1.2012","25.1.2012","26.1.2012","27.1.2012","28.1.2012","29.1.2012","30.1.2012","31.1.2012","1.2.2012","2.2.2012","3.2.2012","4.2.2012","5.2.2012","6.2.2012","7.2.2012","8.2.2012","9.2.2012","10.2.2012","11.2.2012","12.2.2012","13.2.2012","14.2.2012","15.2.2012","16.2.2012","17.2.2012","18.2.2012","19.2.2012","20.2.2012","21.2.2012","22.2.2012","23.2.2012","24.2.2012","25.2.2012","26.2.2012","27.2.2012","28.2.2012","29.2.2012","1.3.2012","2.3.2012","3.3.2012","4.3.2012","5.3.2012","6.3.2012","7.3.2012","8.3.2012","9.3.2012","10.3.2012","11.3.2012","12.3.2012","13.3.2012","14.3.2012","15.3.2012","16.3.2012","17.3.2012","18.3.2012","19.3.2012","20.3.2012","21.3.2012","22.3.2012","23.3.2012","24.3.2012","25.3.2012","26.3.2012","27.3.2012","28.3.2012","29.3.2012","30.3.2012","31.3.2012","1.4.2012","2.4.2012","3.4.2012","4.4.2012","5.4.2012","6.4.2012","7.4.2012","8.4.2012","9.4.2012","10.4.2012","11.4.2012","12.4.2012","13.4.2012","14.4.2012","15.4.2012","16.4.2012","17.4.2012","18.4.2012","19.4.2012","20.4.2012","21.4.2012","22.4.2012","23.4.2012","24.4.2012","25.4.2012","26.4.2012","27.4.2012","28.4.2012","29.4.2012","30.4.2012","1.5.2012","2.5.2012","3.5.2012","4.5.2012","5.5.2012","6.5.2012","7.5.2012","8.5.2012","9.5.2012","10.5.2012","11.5.2012","12.5.2012","13.5.2012","14.5.2012","15.5.2012","16.5.2012","17.5.2012","18.5.2012","19.5.2012","20.5.2012","21.5.2012","22.5.2012","23.5.2012","24.5.2012","25.5.2012","26.5.2012","27.5.2012","28.5.2012","29.5.2012","30.5.2012","31.5.2012","1.6.2012","2.6.2012","3.6.2012","4.6.2012","5.6.2012","6.6.2012","7.6.2012","8.6.2012","9.6.2012","10.6.2012","11.6.2012","12.6.2012","13.6.2012","14.6.2012","15.6.2012","16.6.2012","17.6.2012","18.6.2012","19.6.2012","20.6.2012","21.6.2012","22.6.2012","23.6.2012","24.6.2012","25.6.2012","26.6.2012","27.6.2012","28.6.2012","29.6.2012","30.6.2012") date_from_2012_2=c("1.7.2012","2.7.2012","3.7.2012","4.7.2012","5.7.2012","6.7.2012","7.7.2012","8.7.2012","9.7.2012","10.7.2012","11.7.2012","12.7.2012","13.7.2012","14.7.2012","15.7.2012","16.7.2012","17.7.2012","18.7.2012","19.7.2012","20.7.2012","21.7.2012","22.7.2012","23.7.2012","24.7.2012","25.7.2012","26.7.2012","27.7.2012","28.7.2012","29.7.2012","30.7.2012","31.7.2012","1.8.2012","2.8.2012","3.8.2012","4.8.2012","5.8.2012","6.8.2012","7.8.2012","8.8.2012","9.8.2012","10.8.2012","11.8.2012","12.8.2012","13.8.2012","14.8.2012","15.8.2012","16.8.2012","17.8.2012","18.8.2012","19.8.2012","20.8.2012","21.8.2012","22.8.2012","23.8.2012","24.8.2012","25.8.2012","26.8.2012","27.8.2012","28.8.2012","29.8.2012","30.8.2012","31.8.2012","1.9.2012","2.9.2012","3.9.2012","4.9.2012","5.9.2012","6.9.2012","7.9.2012","8.9.2012","9.9.2012","10.9.2012","11.9.2012","12.9.2012","13.9.2012","14.9.2012","15.9.2012","16.9.2012","17.9.2012","18.9.2012","19.9.2012","20.9.2012","21.9.2012","22.9.2012","23.9.2012","24.9.2012","25.9.2012","26.9.2012","27.9.2012","28.9.2012","29.9.2012","30.9.2012","1.10.2012","2.10.2012","3.10.2012","4.10.2012","5.10.2012","6.10.2012","7.10.2012","8.10.2012","9.10.2012","10.10.2012","11.10.2012","12.10.2012","13.10.2012","14.10.2012","15.10.2012","16.10.2012","17.10.2012","18.10.2012","19.10.2012","20.10.2012","21.10.2012","22.10.2012","23.10.2012","24.10.2012","25.10.2012","26.10.2012","27.10.2012","28.10.2012","29.10.2012","30.10.2012","31.10.2012","1.11.2012","2.11.2012","3.11.2012","4.11.2012","5.11.2012","6.11.2012","7.11.2012","8.11.2012","9.11.2012","10.11.2012","11.11.2012","12.11.2012","13.11.2012","14.11.2012","15.11.2012","16.11.2012","17.11.2012","18.11.2012","19.11.2012","20.11.2012","21.11.2012","22.11.2012","23.11.2012","24.11.2012","25.11.2012","26.11.2012","27.11.2012","28.11.2012","29.11.2012","30.11.2012","1.12.2012","2.12.2012","3.12.2012","4.12.2012","5.12.2012","6.12.2012","7.12.2012","8.12.2012","9.12.2012","10.12.2012","11.12.2012","12.12.2012","13.12.2012","14.12.2012","15.12.2012","16.12.2012","17.12.2012","18.12.2012","19.12.2012","20.12.2012","21.12.2012","22.12.2012","23.12.2012","24.12.2012","25.12.2012","26.12.2012","27.12.2012","28.12.2012","29.12.2012","30.12.2012","31.12.2012") date_from_2013_1=c("1.1.2013","2.1.2013","3.1.2013","4.1.2013","5.1.2013","6.1.2013","7.1.2013","8.1.2013","9.1.2013","10.1.2013","11.1.2013","12.1.2013","13.1.2013","14.1.2013","15.1.2013","16.1.2013","17.1.2013","18.1.2013","19.1.2013","20.1.2013","21.1.2013","22.1.2013","23.1.2013","24.1.2013","25.1.2013","26.1.2013","27.1.2013","28.1.2013","29.1.2013","30.1.2013","31.1.2013","1.2.2013","2.2.2013","3.2.2013","4.2.2013","5.2.2013","6.2.2013","7.2.2013","8.2.2013","9.2.2013","10.2.2013","11.2.2013","12.2.2013","13.2.2013","14.2.2013","15.2.2013","16.2.2013","17.2.2013","18.2.2013","19.2.2013","20.2.2013","21.2.2013","22.2.2013","23.2.2013","24.2.2013","25.2.2013","26.2.2013","27.2.2013","28.2.2013","1.3.2013","2.3.2013","3.3.2013","4.3.2013","5.3.2013","6.3.2013","7.3.2013","8.3.2013","9.3.2013","10.3.2013","11.3.2013","12.3.2013","13.3.2013","14.3.2013","15.3.2013","16.3.2013","17.3.2013","18.3.2013","19.3.2013","20.3.2013","21.3.2013","22.3.2013","23.3.2013","24.3.2013","25.3.2013","26.3.2013","27.3.2013","28.3.2013","29.3.2013","30.3.2013","31.3.2013","1.4.2013","2.4.2013","3.4.2013","4.4.2013","5.4.2013","6.4.2013","7.4.2013","8.4.2013","9.4.2013","10.4.2013","11.4.2013","12.4.2013","13.4.2013","14.4.2013","15.4.2013","16.4.2013","17.4.2013","18.4.2013","19.4.2013","20.4.2013","21.4.2013","22.4.2013","23.4.2013","24.4.2013","25.4.2013","26.4.2013","27.4.2013","28.4.2013","29.4.2013","30.4.2013","1.5.2013","2.5.2013","3.5.2013","4.5.2013","5.5.2013","6.5.2013","7.5.2013","8.5.2013","9.5.2013","10.5.2013","11.5.2013","12.5.2013","13.5.2013","14.5.2013","15.5.2013","16.5.2013","17.5.2013","18.5.2013","19.5.2013","20.5.2013","21.5.2013","22.5.2013","23.5.2013","24.5.2013","25.5.2013","26.5.2013","27.5.2013","28.5.2013","29.5.2013","30.5.2013","31.5.2013","1.6.2013","2.6.2013","3.6.2013","4.6.2013","5.6.2013","6.6.2013","7.6.2013","8.6.2013","9.6.2013","10.6.2013","11.6.2013","12.6.2013","13.6.2013","14.6.2013","15.6.2013","16.6.2013","17.6.2013","18.6.2013","19.6.2013","20.6.2013","21.6.2013","22.6.2013","23.6.2013","24.6.2013","25.6.2013","26.6.2013","27.6.2013","28.6.2013","29.6.2013","30.6.2013") date_from_2013_2=c("1.7.2013","2.7.2013","3.7.2013","4.7.2013","5.7.2013","6.7.2013","7.7.2013","8.7.2013","9.7.2013","10.7.2013","11.7.2013","12.7.2013","13.7.2013","14.7.2013","15.7.2013","16.7.2013","17.7.2013","18.7.2013","19.7.2013","20.7.2013","21.7.2013","22.7.2013","23.7.2013","24.7.2013","25.7.2013","26.7.2013","27.7.2013","28.7.2013","29.7.2013","30.7.2013","31.7.2013","1.8.2013","2.8.2013","3.8.2013","4.8.2013","5.8.2013","6.8.2013","7.8.2013","8.8.2013","9.8.2013","10.8.2013","11.8.2013","12.8.2013","13.8.2013","14.8.2013","15.8.2013","16.8.2013","17.8.2013","18.8.2013","19.8.2013","20.8.2013","21.8.2013","22.8.2013","23.8.2013","24.8.2013","25.8.2013","26.8.2013","27.8.2013","28.8.2013","29.8.2013","30.8.2013","31.8.2013","1.9.2013","2.9.2013","3.9.2013","4.9.2013","5.9.2013","6.9.2013","7.9.2013","8.9.2013","9.9.2013","10.9.2013","11.9.2013","12.9.2013","13.9.2013","14.9.2013","15.9.2013","16.9.2013","17.9.2013","18.9.2013","19.9.2013","20.9.2013","21.9.2013","22.9.2013","23.9.2013","24.9.2013","25.9.2013","26.9.2013","27.9.2013","28.9.2013","29.9.2013","30.9.2013","1.10.2013","2.10.2013","3.10.2013","4.10.2013","5.10.2013","6.10.2013","7.10.2013","8.10.2013","9.10.2013","10.10.2013","11.10.2013","12.10.2013","13.10.2013","14.10.2013","15.10.2013","16.10.2013","17.10.2013","18.10.2013","19.10.2013","20.10.2013","21.10.2013","22.10.2013","23.10.2013","24.10.2013","25.10.2013","26.10.2013","27.10.2013","28.10.2013","29.10.2013","30.10.2013","31.10.2013","1.11.2013","2.11.2013","3.11.2013","4.11.2013","5.11.2013","6.11.2013","7.11.2013","8.11.2013","9.11.2013","10.11.2013","11.11.2013","12.11.2013","13.11.2013","14.11.2013","15.11.2013","16.11.2013","17.11.2013","18.11.2013","19.11.2013","20.11.2013","21.11.2013","22.11.2013","23.11.2013","24.11.2013","25.11.2013","26.11.2013","27.11.2013","28.11.2013","29.11.2013","30.11.2013","1.12.2013","2.12.2013","3.12.2013","4.12.2013","5.12.2013","6.12.2013","7.12.2013","8.12.2013","9.12.2013","10.12.2013","11.12.2013","12.12.2013","13.12.2013","14.12.2013","15.12.2013","16.12.2013","17.12.2013","18.12.2013","19.12.2013","20.12.2013","21.12.2013","22.12.2013","23.12.2013","24.12.2013","25.12.2013","26.12.2013","27.12.2013","28.12.2013","29.12.2013","30.12.2013","31.12.2013") date_from_2014_1=c("1.1.2014","2.1.2014","3.1.2014","4.1.2014","5.1.2014","6.1.2014","7.1.2014","8.1.2014","9.1.2014","10.1.2014","11.1.2014","12.1.2014","13.1.2014","14.1.2014","15.1.2014","16.1.2014","17.1.2014","18.1.2014","19.1.2014","20.1.2014","21.1.2014","22.1.2014","23.1.2014","24.1.2014","25.1.2014","26.1.2014","27.1.2014","28.1.2014","29.1.2014","30.1.2014","31.1.2014","1.2.2014","2.2.2014","3.2.2014","4.2.2014","5.2.2014","6.2.2014","7.2.2014","8.2.2014","9.2.2014","10.2.2014","11.2.2014","12.2.2014","13.2.2014","14.2.2014","15.2.2014","16.2.2014","17.2.2014","18.2.2014","19.2.2014","20.2.2014","21.2.2014","22.2.2014","23.2.2014","24.2.2014","25.2.2014","26.2.2014","27.2.2014","28.2.2014","1.3.2014","2.3.2014","3.3.2014","4.3.2014","5.3.2014","6.3.2014","7.3.2014","8.3.2014","9.3.2014","10.3.2014","11.3.2014","12.3.2014","13.3.2014","14.3.2014","15.3.2014","16.3.2014","17.3.2014","18.3.2014","19.3.2014","20.3.2014","21.3.2014","22.3.2014","23.3.2014","24.3.2014","25.3.2014","26.3.2014","27.3.2014","28.3.2014","29.3.2014","30.3.2014","31.3.2014","1.4.2014","2.4.2014","3.4.2014","4.4.2014","5.4.2014","6.4.2014","7.4.2014","8.4.2014","9.4.2014","10.4.2014","11.4.2014","12.4.2014","13.4.2014","14.4.2014","15.4.2014","16.4.2014","17.4.2014","18.4.2014","19.4.2014","20.4.2014","21.4.2014","22.4.2014","23.4.2014","24.4.2014","25.4.2014","26.4.2014","27.4.2014","28.4.2014","29.4.2014","30.4.2014","1.5.2014","2.5.2014","3.5.2014","4.5.2014","5.5.2014","6.5.2014","7.5.2014","8.5.2014","9.5.2014","10.5.2014","11.5.2014","12.5.2014","13.5.2014","14.5.2014","15.5.2014","16.5.2014","17.5.2014","18.5.2014","19.5.2014","20.5.2014","21.5.2014","22.5.2014","23.5.2014","24.5.2014","25.5.2014","26.5.2014","27.5.2014","28.5.2014","29.5.2014","30.5.2014","31.5.2014","1.6.2014","2.6.2014","3.6.2014","4.6.2014","5.6.2014","6.6.2014","7.6.2014","8.6.2014","9.6.2014","10.6.2014","11.6.2014","12.6.2014","13.6.2014","14.6.2014","15.6.2014","16.6.2014","17.6.2014","18.6.2014","19.6.2014","20.6.2014","21.6.2014","22.6.2014","23.6.2014","24.6.2014","25.6.2014","26.6.2014","27.6.2014","28.6.2014","29.6.2014","30.6.2014") date_from_2014_2=c("1.7.2014","2.7.2014","3.7.2014","4.7.2014","5.7.2014","6.7.2014","7.7.2014","8.7.2014","9.7.2014","10.7.2014","11.7.2014","12.7.2014","13.7.2014","14.7.2014","15.7.2014","16.7.2014","17.7.2014","18.7.2014","19.7.2014","20.7.2014","21.7.2014","22.7.2014","23.7.2014","24.7.2014","25.7.2014","26.7.2014","27.7.2014","28.7.2014","29.7.2014","30.7.2014","31.7.2014","1.8.2014","2.8.2014","3.8.2014","4.8.2014","5.8.2014","6.8.2014","7.8.2014","8.8.2014","9.8.2014","10.8.2014","11.8.2014","12.8.2014","13.8.2014","14.8.2014","15.8.2014","16.8.2014","17.8.2014","18.8.2014","19.8.2014","20.8.2014","21.8.2014","22.8.2014","23.8.2014","24.8.2014","25.8.2014","26.8.2014","27.8.2014","28.8.2014","29.8.2014","30.8.2014","31.8.2014","1.9.2014","2.9.2014","3.9.2014","4.9.2014","5.9.2014","6.9.2014","7.9.2014","8.9.2014","9.9.2014","10.9.2014","11.9.2014","12.9.2014","13.9.2014","14.9.2014","15.9.2014","16.9.2014","17.9.2014","18.9.2014","19.9.2014","20.9.2014","21.9.2014","22.9.2014","23.9.2014","24.9.2014","25.9.2014","26.9.2014","27.9.2014","28.9.2014","29.9.2014","30.9.2014","1.10.2014","2.10.2014","3.10.2014","4.10.2014","5.10.2014","6.10.2014","7.10.2014","8.10.2014","9.10.2014","10.10.2014","11.10.2014","12.10.2014","13.10.2014","14.10.2014","15.10.2014","16.10.2014","17.10.2014","18.10.2014","19.10.2014","20.10.2014","21.10.2014","22.10.2014","23.10.2014","24.10.2014","25.10.2014","26.10.2014","27.10.2014","28.10.2014","29.10.2014","30.10.2014","31.10.2014","1.11.2014","2.11.2014","3.11.2014","4.11.2014","5.11.2014","6.11.2014","7.11.2014","8.11.2014","9.11.2014","10.11.2014","11.11.2014","12.11.2014","13.11.2014","14.11.2014","15.11.2014","16.11.2014","17.11.2014","18.11.2014","19.11.2014","20.11.2014","21.11.2014","22.11.2014","23.11.2014","24.11.2014","25.11.2014","26.11.2014","27.11.2014","28.11.2014","29.11.2014","30.11.2014","1.12.2014","2.12.2014","3.12.2014","4.12.2014","5.12.2014","6.12.2014","7.12.2014","8.12.2014","9.12.2014","10.12.2014","11.12.2014","12.12.2014","13.12.2014","14.12.2014","15.12.2014","16.12.2014","17.12.2014","18.12.2014","19.12.2014","20.12.2014","21.12.2014","22.12.2014","23.12.2014","24.12.2014","25.12.2014","26.12.2014","27.12.2014","28.12.2014","29.12.2014","30.12.2014","31.12.2014") date_from_2015_1=c("1.1.2015","2.1.2015","3.1.2015","4.1.2015","5.1.2015","6.1.2015","7.1.2015","8.1.2015","9.1.2015","10.1.2015","11.1.2015","12.1.2015","13.1.2015","14.1.2015","15.1.2015","16.1.2015","17.1.2015","18.1.2015","19.1.2015","20.1.2015","21.1.2015","22.1.2015","23.1.2015","24.1.2015","25.1.2015","26.1.2015","27.1.2015","28.1.2015","29.1.2015","30.1.2015","31.1.2015","1.2.2015","2.2.2015","3.2.2015","4.2.2015","5.2.2015","6.2.2015","7.2.2015","8.2.2015","9.2.2015","10.2.2015","11.2.2015","12.2.2015","13.2.2015","14.2.2015","15.2.2015","16.2.2015","17.2.2015","18.2.2015","19.2.2015","20.2.2015","21.2.2015","22.2.2015","23.2.2015","24.2.2015","25.2.2015","26.2.2015","27.2.2015","28.2.2015","1.3.2015","2.3.2015","3.3.2015","4.3.2015","5.3.2015","6.3.2015","7.3.2015","8.3.2015","9.3.2015","10.3.2015","11.3.2015","12.3.2015","13.3.2015","14.3.2015","15.3.2015","16.3.2015","17.3.2015","18.3.2015","19.3.2015","20.3.2015","21.3.2015","22.3.2015","23.3.2015","24.3.2015","25.3.2015","26.3.2015","27.3.2015","28.3.2015","29.3.2015","30.3.2015","31.3.2015","1.4.2015","2.4.2015","3.4.2015","4.4.2015","5.4.2015","6.4.2015","7.4.2015","8.4.2015","9.4.2015","10.4.2015","11.4.2015","12.4.2015","13.4.2015","14.4.2015","15.4.2015","16.4.2015","17.4.2015","18.4.2015","19.4.2015","20.4.2015","21.4.2015","22.4.2015","23.4.2015","24.4.2015","25.4.2015","26.4.2015","27.4.2015","28.4.2015","29.4.2015","30.4.2015","1.5.2015","2.5.2015","3.5.2015","4.5.2015","5.5.2015","6.5.2015","7.5.2015","8.5.2015","9.5.2015","10.5.2015","11.5.2015","12.5.2015","13.5.2015","14.5.2015","15.5.2015","16.5.2015","17.5.2015","18.5.2015","19.5.2015","20.5.2015","21.5.2015","22.5.2015","23.5.2015","24.5.2015","25.5.2015","26.5.2015","27.5.2015","28.5.2015","29.5.2015","30.5.2015","31.5.2015","1.6.2015","2.6.2015","3.6.2015","4.6.2015","5.6.2015","6.6.2015","7.6.2015","8.6.2015","9.6.2015","10.6.2015","11.6.2015","12.6.2015","13.6.2015","14.6.2015","15.6.2015","16.6.2015","17.6.2015","18.6.2015","19.6.2015","20.6.2015","21.6.2015","22.6.2015","23.6.2015","24.6.2015","25.6.2015","26.6.2015","27.6.2015","28.6.2015","29.6.2015","30.6.2015") date_from_2015_2=c("1.7.2015","2.7.2015","3.7.2015","4.7.2015","5.7.2015","6.7.2015","7.7.2015","8.7.2015","9.7.2015","10.7.2015","11.7.2015","12.7.2015","13.7.2015","14.7.2015","15.7.2015","16.7.2015","17.7.2015","18.7.2015","19.7.2015","20.7.2015","21.7.2015","22.7.2015","23.7.2015","24.7.2015","25.7.2015","26.7.2015","27.7.2015","28.7.2015","29.7.2015","30.7.2015","31.7.2015","1.8.2015","2.8.2015","3.8.2015","4.8.2015","5.8.2015","6.8.2015","7.8.2015","8.8.2015","9.8.2015","10.8.2015","11.8.2015","12.8.2015","13.8.2015","14.8.2015","15.8.2015","16.8.2015","17.8.2015","18.8.2015","19.8.2015","20.8.2015","21.8.2015","22.8.2015","23.8.2015","24.8.2015","25.8.2015","26.8.2015","27.8.2015","28.8.2015","29.8.2015","30.8.2015","31.8.2015","1.9.2015","2.9.2015","3.9.2015","4.9.2015","5.9.2015","6.9.2015","7.9.2015","8.9.2015","9.9.2015","10.9.2015","11.9.2015","12.9.2015","13.9.2015","14.9.2015","15.9.2015","16.9.2015","17.9.2015","18.9.2015","19.9.2015","20.9.2015","21.9.2015","22.9.2015","23.9.2015","24.9.2015","25.9.2015","26.9.2015","27.9.2015","28.9.2015","29.9.2015","30.9.2015","1.10.2015","2.10.2015","3.10.2015","4.10.2015","5.10.2015","6.10.2015","7.10.2015","8.10.2015","9.10.2015","10.10.2015","11.10.2015","12.10.2015","13.10.2015","14.10.2015","15.10.2015","16.10.2015","17.10.2015","18.10.2015","19.10.2015","20.10.2015","21.10.2015","22.10.2015","23.10.2015","24.10.2015","25.10.2015","26.10.2015","27.10.2015","28.10.2015","29.10.2015","30.10.2015","31.10.2015","1.11.2015","2.11.2015","3.11.2015","4.11.2015","5.11.2015","6.11.2015","7.11.2015","8.11.2015","9.11.2015","10.11.2015","11.11.2015","12.11.2015","13.11.2015","14.11.2015","15.11.2015","16.11.2015","17.11.2015","18.11.2015","19.11.2015","20.11.2015","21.11.2015","22.11.2015","23.11.2015","24.11.2015","25.11.2015","26.11.2015","27.11.2015","28.11.2015","29.11.2015","30.11.2015","1.12.2015","2.12.2015","3.12.2015","4.12.2015","5.12.2015","6.12.2015","7.12.2015","8.12.2015","9.12.2015","10.12.2015","11.12.2015","12.12.2015","13.12.2015","14.12.2015","15.12.2015","16.12.2015","17.12.2015","18.12.2015","19.12.2015","20.12.2015","21.12.2015","22.12.2015","23.12.2015","24.12.2015","25.12.2015","26.12.2015","27.12.2015","28.12.2015","29.12.2015","30.12.2015","31.12.2015") date_from_2016=c("1.1.2016","2.1.2016","3.1.2016","4.1.2016","5.1.2016","6.1.2016","7.1.2016","8.1.2016","9.1.2016","10.1.2016","11.1.2016","12.1.2016","13.1.2016","14.1.2016","15.1.2016","16.1.2016","17.1.2016","18.1.2016","19.1.2016","20.1.2016","21.1.2016","22.1.2016","23.1.2016","24.1.2016","25.1.2016","26.1.2016","27.1.2016","28.1.2016","29.1.2016","30.1.2016","31.1.2016","1.2.2016","2.2.2016") date_from=c(date_from_2007,date_from_2008_1,date_from_2008_2,date_from_2009_1,date_from_2009_2,date_from_2010_1,date_from_2010_2,date_from_2011_1,date_from_2011_2,date_from_2012_1,date_from_2012_2,date_from_2013_1,date_from_2013_2,date_from_2014_1,date_from_2014_2,date_from_2015_1,date_from_2015_2,date_from_2016) # razbij date_from za delo v več RStudio programih za hitrejše delo date.day=sapply(strsplit(date_from,".",fixed = TRUE),"[[",1) date.month=sapply(strsplit(date_from,".",fixed = TRUE),"[[",2) date.year=sapply(strsplit(date_from,".",fixed = TRUE),"[[",3) date.year=substring(date.year, 3) date_from_short = paste(date.day, ".", date.month, ".", date.year, sep = "") for (j in 1:length(date_from_short)){# set pages in archive, set dates (to get articles from 1.9.2007 to 31.12.2013) url2 = sprintf("http://www.finance.si/danes?op=danes&date=%s", date_from[j]) #url2 = sprintf("http://www.finance.si/danes?op=danes&date=10.12.2007") thepage2 = paste(readLines(url2, encoding = "UTF-8"), collapse = "") if (grepl("Novice na dan", thepage2) == TRUE) { page = trim(sapply(strsplit(thepage2,"Novice na dan",fixed = TRUE),"[[",2)) page = trim(sapply(strsplit(page,"<link rel=\"stylesheet\"",fixed = TRUE),"[[",1)) page=unlist(strsplit(page,"</div><!--/content-->",fixed = TRUE)) page=page[-length(page)] page=trim(sapply(strsplit(page,"href=\"",fixed = TRUE),"[[",2)) page=trim(sapply(strsplit(page,"\">",fixed = TRUE),"[[",1)) page=gsub("http://akademija.finance.si/197857/Iztok-Bricl-Umirjenost-Colari%C4%8Da-energi%C4%8Dnost-Mermala-in-simpati%C4%8Dnost-Gantarja", "", page) # remove error link, napaka 10.12.2017 page=gsub("http://akademija.finance.si/199618/Janez-%C5%A0krabec-Treba-se-je-pojavljati-v-medijih", "", page) # remove error link, napaka 17.12.2007 page=gsub("http://akademija.finance.si/200969/Binetu-Korde%C5%BEu-se-smeji", "", page) # remove error link, napaka 7.1.2008 page=gsub("http://akademija.finance.si/201466/Je-Marko-Kry%C5%BEanowski-samov%C5%A1e%C4%8Den", "", page) # remove error link, napaka 14.1.2008 page=gsub("http://akademija.finance.si/202079/Stojan-Petri%C4%8D-Problem-direktorjev-je-da-vemo-vse-in-ni%C4%8D", "", page) # remove error link, napaka 21.1.2008 page=gsub("http://akademija.finance.si/202600/%C5%BDiga-Debeljak-Vsaka-ura-vlo%C5%BEena-v-mre%C5%BEenje-je-zame-investicija", "", page) # remove error link, napaka 28.1.2008 page=gsub("http://akademija.finance.si/203023/Matja%C5%BE-Gantar-%C4%8Ce-bi-izdelovali-lopate-ne-bi-toliko-komuniciralia", "", page) # remove error link, napaka 4.2.2008 # napaka za 7.4.2009 za člankom Izteka se rok za prijave kandidatov za člane v svetih javnih zdravstvenih zavodov # napaka za 19.6.2013 za člankom Želijo le enakopravno znižanje cen storitev # napaka za 27.5.2011 za člankom Intervju: Z lahkoto bi prihranili deset odstotkov energije page=page[page != ""] counter=length(page) } for (k in 1:counter){ get.FINANCE(page[k]) } } # get.FINANCE("http://www.finance.si/198727/20-najbogatej%C5%A1ih-mladih-superzvezdnikov") # get.FINANCE("http://www.finance.si/198889/Dodik-Kuzmanovi%C4%87-je-novi-predsednik-Republike-Srbske") # get.FINANCE("http://www.finance.si/198888/IMF-bo-odpu%C5%A1%C4%8Dal") # get.FINANCE("http://www.finance.si/198887/Balkan-express-Kupci-pokazali-zobe") # get.FINANCE("http://www.finance.si/198886/Vremenska-napoved") # get.FINANCE("http://www.finance.si/198885/Kolosej-morda-v-roke-hrva%C5%A1kega-Blitza") # get.FINANCE("http://www.finance.si/198884/Obvezno-branje-Uradni-list-110-07-111-07-in-112-07") # get.FINANCE("http://www.finance.si/198883/Obvezno-branje-Evropski-uradni-list-od-1-do-7-decembra")