/* 
 * 이 프로그램은 인터넷 신문 기사 내용을 저장하기 위해 만들었습니당. 
 * Daum의 경우 신문 기사 url은 보통  
 * http://media.daum.net/society/?newsId=20140118211405428 
 * 형식으로 되어있습니다. 
 * 맨 뒤의 수를 1씩 증가시켜가면서 각 인터넷 기사의 소스코드에 있는 "본문" 부분을 가져올거에요. 
 */ 

import java.io.*; 
import java.net.*; 

public class Boogi { 
    public static void main(String[] args) { 
        // urlName = urlNameDir + urlNameNum; 이런 식으로... 
        String urlNameDir = "http://media.daum.net/society/?newsId="; 
        long urlNameNum = 20140118211405428L;     
        String urlName = null; 
         
        // outFileName = dirName + fileName + count + fileFormat; 이런 식으로... 
        // result1.txt, result2.txt, ... 이런 형식으로 저장할거에요. 
        String dirName = "c:/users/woongjin/desktop/data/"; 
        String fileName = "result"; 
        int count = 0; 
        String fileFormat = ".txt"; 
        String outFileName = null; 
             
         
        URL url; // 여기서 InputStream을 가져올거에요. 
        BufferedInputStream bis; 
        BufferedOutputStream bos; 
        FileOutputStream fos; 
         
         
        try { 
            for(int i = 0; i < 10; i++) { // 신문기사 몇 개를 가져올건지 정할 수 있어요. 
                // url로부터 InputStream을 가져오구요 
                urlName = urlNameDir + String.valueOf(urlNameNum);     
                url = new URL(urlName); 
                bis = new BufferedInputStream(url.openStream()); 
                 
                // 각 기사에 따라 count를 1씩 늘려가며 새로운 파일을 만들어요. 
                outFileName = dirName + fileName + (++count) + fileFormat; 
                fos = new FileOutputStream(outFileName); 
                bos = new BufferedOutputStream(fos); 
                 
                // 읽어오고 저장합니당. '\\r'은 안하면 이상하게 나오더라구요 킁... 
                int data = 0; 
                while((data = bis.read()) != -1) { 
                    if(data == '\\n') 
                        bos.write('\\r'); 
                    bos.write(data); 
                } 
                 
                bis.close(); 
                bos.close(); 
                urlNameNum++; 
            } 
        } catch(Exception e) { 
            e.printStackTrace(); 
            System.exit(0); 
        } 
    } 
}