¡¡

918²©ÌìÓéÀÖ¹ÙÍø

918²©ÌìÓéÀÖ¹ÙÍø¶¯Ì¬

918²©ÌìÓéÀÖ¹ÙÍø¾«ÑÐHadoop ÌáÉýµçÁ¦²ÆÎñ´óÊý¾Ý´¦Öóͷ£ÄÜÁ¦

  • ʱ¼ä£º2013-08-01
  • ȪԴ£º

¡¡¡¡ÈÕǰ£¬2013ÄêÌìϲ©Ê¿ºóѧÊõÂÛ̳¡°µç×Ó¿ÆÑ§ÊÖÒÕÓëÐÅÏ¢¹¤ÒµÉú³¤¡±ÔÚµç×ӿƼ¼´óѧ¾ÙÐÐ ¡£À´×ÔÌìÏÂ50Óà¼Ò¸ßУ¡¢ÆóÒµ¹²200ÓàÃûר¼ÒѧÕß¡¢²©Ê¿×ÓÅ®±í¼ÓÈëÁËÂÛ̳ ¡£918²©ÌìÓéÀÖ¹ÙÍø²©Ê¿ºó¿ÆÑÐÊÂÇéÕ¾ÚÈÕÂÒ岩ʿÔÚ»áÉϾÍÑо¿¿ÎÌâ¡¶»ùÓÚHadoopµÄº£Á¿µç·ÑÊý¾Ý´¦Öóͷ£Ä£×ÓÉè¼ÆÓëʵÏÖ¡·½ÒÏþÁËÖ÷ÌâÑݽ²£¬¸ÃÑо¿Ð§¹û±»¡¶µç×Ó¿ÆÑ§ÊÖÒÕÓëÐÅÏ¢¹¤ÒµÉú³¤ÂÛÎ·ÊÕ¼ ¡£

¡¡¡¡¡¶»ùÓÚHadoopµÄº£Á¿µç·ÑÊý¾Ý´¦Öóͷ£Ä£×ÓÉè¼ÆÓëʵÏÖ¡·Ò»ÎÄÒÔº£ÄÚÄ³ÌØ´óÐ͵çÁ¦¼¯ÍÅΪÀý£¬Ìá³öÁ˵ç·ÑÊý¾ÝеĴ¦Öóͷ£Ä£×Ó£¬½¨ÉèÁË»ùÓÚHadoopºÍHiveµÄµç·ÑÃ÷ϸ´¦Öóͷ£Æ½Ì¨ ¡£ÊµÑé֤ʵ¸ÃÄ£×ÓÄÜÓÐÓýâ¾öº£Á¿µç·ÑÊý¾Ý´¦Öóͷ£ÐÔÄÜÆ¿¾±£¬Ìá¸ßµç·ÑÊý¾Ý´¦Öóͷ£ËÙÂʺÍЧÂÊ£¬²¢¿ÉÌṩ¸ßÐÔÄܵÄÃ÷ϸÊý¾ÝÅÌÎʹ¦Ð§ ¡£

¡¡¡¡¡¡¡¡¡¡¡¡
¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡¡ ¡£¨2013ÄêÌìϲ©Ê¿ºóѧÊõÂÛ̳ÏÖ³ ¡£©

¡¡¡¡¾ÝϤ£¬Ëæ×ŵç·ÑÊý¾ÝÁ¿¿ìËÙÔöÌí£¬Ä³ÌØ´óÐͼ¯ÍŹ«Ë¾²ÆÎñ¹ÜÀíÐÅÏ¢ÏµÍ³ÃæÁÙº£Á¿Êý¾ÝÄÑÌ⣬ÆäÖеç·ÑÓªÒµÊÇ×îÍ»³öµÄÎÊÌâÖ®Ò» ¡£¼¯ÍÅÁè¼Ý30¸ö×Ó¹«Ë¾£¬Æ½¾ùÿ¸ö×Ó¹«Ë¾Óõç¿Í»§¹æÄ£ÔÚ500ÍòÖÁ800Íò£¬Ã¿¸öÔÂÓõçÃ÷ϸÊý¾Ý½üÒÚÌõ ¡£²ÆÎñ¹ÜÀíÐÅϢϵͳԭµç·ÑÊý¾Ý´¦Öóͷ£Ä£×ÓÊÇ´ÓµçÁ¦ÓªÏúϵͳÊÕÂÞÓõç¿Í»§ÐÅÏ¢±í¡¢Ó¦ÊÕµç·ÑÃ÷ϸ±íµÈÎı¾£¬ÉÏ´«ÖÁÖÐÐÄÊý¾Ý¿â£¬²ÆÎñ¹ÜÀíÐÅϢϵͳ´ÓÖÐÐÄÊý¾Ý¿âÊÕÂÞÏà¹ØÊý¾Ý£¬Í¬Ê±¶ÔÊý¾Ý¾ÙÐкϲ¢¡¢×ª»»´¦Öóͷ£ ¡£ÓÉÓÚµç·ÑÃ÷ϸÊý¾ÝÁ¿¹ýÓÚÖØ´ó£¬´¦Öóͷ£Àú³ÌÑÏÖØÏûºÄÊý¾Ý¿â·þÎñÆ÷×ÊÔ´£¬½ø¶øÓ°ÏìÕû¸ö²ÆÎñ¹ÜÀíÐÅϢϵͳµÄÐÔÄÜ ¡£Ò²Òò´Ë£¬Í¨³£Ö»ÄÜÑ¡ÔñÒ¹¼äÔËÐиÃÓªÒµ£¬µ¼ÖÂÔÝʱÎÞ·¨Ìṩµç·ÑÃ÷ϸÊý¾ÝÅÌÎÊÓªÒµ ¡£

¡¡¡¡»ùÓÚ²ð·Ö¡¢Èںϡ¢Öع¹µÄÉè¼ÆË¼Ð÷£¬918²©ÌìÓéÀÖ¹ÙÍøÕë¶Ô´ËÆ¿¾±Ìá³öÏàʶ¾ö¼Æ»®£ºÒýÈëHadoopÂþÑÜʽÅÌËãÆ½Ì¨À´¾ÙÐеç·ÑÃ÷ϸÊý¾ÝµÄ´¦Öóͷ££¬´¦Öóͷ£ºóµÄЧ¹ûÊý¾ÝÔÙ´æÈë²ÆÎñ¹ÜÀíÐÅϢϵͳÊý¾Ý¿â ¡£ÎªÁËÒ×ÓÚʵÏÖ£¬Ñ¡ÓÃÂþÑÜʽÊý¾Ý¿ÍÕ»HiveÀ´´æ´¢ºÍ´¦Öóͷ£µç·ÑÃ÷ϸÊý¾Ý ¡£Í¨¹ýʵÑé²âÊÔ£¬ÔÚÓ²¼þ²»Õ¼ÓÅÊÆµÄÇéÐÎÏ£¬HiveÖ´ÐÐÐÔÄÜÓÐ20%--200%µÄÌáÉý£»Ê¹ÓÃHiveµÄ·ÖÇø¹¦Ð§£¬´ó±í´¦Öóͷ£Êý¾ÝÏÔÖøÌáÉý ¡£Í¬Ê±ÔÚHive±íÉϽ¨Éè·ÖÇø£¬»¹¿ÉÒÔÌṩ¸ßÐÔÄܵÄÀúÊ·Êý¾ÝÅÌÎÊ£¬ÕâÊÇÔ­Ä£×ÓÄÑÒÔʵÏֵĹ¦Ð§ ¡£

¡¡¡¡918²©ÌìÓéÀÖ¹ÙÍøµÄÀÖ³Éʵ¼ùЧ¹û֤ʵ£ºHadoop²»µ«ÄÜÌáÉý²ÆÎñ¹ÜÀíÐÅϢϵͳ¿ÉÓÃÐÔ£¬Ê¹µÃ×ÊÖúϵͳ¸ü¸ßЧµØ½â¾ö¸üÖØ´óµÄÎÊÌ⣬²¢ÇÒ½ÚԼʱ¼äºÍ±¾Ç®£¬´´Á¢¸ü´óµÄ¼ÛÖµ ¡£ÚÈÕÂÒ岩ʿÌåÏÖ£º¡°¸ÃÊÖÒÕÓ¦ÓùæÄ£²¢·Ç¾ÖÏÞÓÚµç·ÑÃ÷ϸÊý¾ÝµÄºÏ²¢ÓëÅÌÎÊ£¬»¹¿ÉÒÔÓ¦ÓÃÓÚµç¼ÛÆÊÎö¡¢µç¼ÛÕ¹ÍûÄ£×ÓµÈÉîÈëÆÊÎöÓªÒµ ¡£¡±

¡¡¡¡´óÐͼ¯ÍÅÆóÒµµÄ¹ÜÀíÈí¼þ¼¯Öа²ÅÅÒѳÉΪ³±Á÷Ç÷ÊÆ£¬¹ÜÀíÈí¼þµÄ¿ª·¢Ò²´Óµ¥¸öÓªÒµÁìÓò¿ª·¢×¨Ïͳһ¡±¼¯³Éƽ̨µÄ¿ª·¢£¬Ò»¶¨ÃæÁÙº£Á¿ÓªÒµÊý¾ÝÆÊÎö´¦Öóͷ£ÎÊÌâ ¡£Òò´Ë£¬±¾ÏµÍ³µÄÓ¦ÓÃÔ¶¾°ÁÉÀ« ¡£




ÍøÕ¾µØÍ¼