第1章 绪论 (1.1 研究背景与意义)

1.1 研究背景与意义
1.1.1 研究背景
日志在计算机系统中是一个非常广泛的概念,日志分析是针对不同业务系统产生的大量日志文件进行统计,归类的工作,目前工作中所涉及到的日志来源主要包括数据集成系统在数据集成过程中产生的日志文件和Web系统后台程序生成的日志文件,在工作中涉及对大量不同系统日常运行产生的日志数据进行分析、集成等工作,需要通过模糊匹配算法将日志记录按关键词分组,之后进而按不同类型提取其中时间、报警等级、描述信息等的各种用价值信息,从而分析业务系统存在的问题,并根据分析结果制作报表。目前在日志数据分析过程中缺乏符合实际业务需求的数据自动化分析技术,手工处理率较高,针对大量日志数据没有使用高效分布式运算技术,使得数据集成工作效率低下。因此,本论文的主要解决的问题就是利用开源领域数据分析及可视化技术,研发出一套日志数据分析系统软件,能够使日常数据分析处理工作实现自动化,对于数据分析结果能够以图表等可视化形式展现处理,并以通用性为出发点,将研究成果能够为今后更多的日志分析处理工作所采用。

1.1.2 研究意义
本文中所设计的日志分析系统主要用于对当前数据集成系统日志文件的分析工作,在当前数据集成系统中不同数据处理软件在运行过程中会产生大量日志文件,其中包含了源数据的各类异常信息与数据质量校验信息,由于数据量较大,所以在进行具体类型的分析之前需要对日志数据进行预处理和分类,本文将当前通用的数据模糊查询技术运用在日志分析中,对日志记录进行匹配计算,进而根据计算结果分组,并将此类算法从传统的单台主机运行模式移植到并行计算技术实现的分布式日志分析平台上来。
本次研究的意义是能够使日常日志类型的数据分析处理工作实现自动化,利用Hadoop分布式平台提高数据处理效率,在对于大量的不同来源的日志数据进行分析、集成等工作中结合实际业务需求,实现日志数据自动分组,提高日志文件处理效率,对于数据分组结果能够以图表等可视化形式展现,并以通用性为出发点,将研究成果能够为今后更多的分析处理工作所采用。

DESIGN AND IMPLEMENTATION OF LOG ANALYSIS SOFTWARE SYSTEM BASED ON OPEN-SOURCE(Abstract)

  • Abstract

In the information system, log data is automatically created and maintained by operation system and software server which maintain a history of running status. A statistical analysis of the log file might be used to examine and collect the discrepancies of the system. As the increment of the data size, a single host has been unable to meet the storage and computing requirements. How to improve performance effectively of log data analysis and to provide a virtualization result to the end-user is the research requirements of the dissertation. By the comparison of different open-source data analysis implementation, this paper presents a data quality system under the Hadoop's cluster framework based on cloud computing.
Hadoop distributed computing framework as it's scalable, economical, efficient, reliable, has been widely used in web search engine, log analysis, data mining areas. This dissertation starts to introduce the business background of log statistics, including the analysis method and the expectant result. The dissertation also presents some distributed data fuzzy matching methods to process in the log data in cloud computing environment, the fuzzy matching algorithms include Levenshtein, Soundex, and Jaro-Winkler could calculate the similarity distances for each log recorder, by the record linkage technologies the log data can be grouped as its similarity distance. Finally, the data virtualization model is also designed and implemented base on SpagoBI open-source framework, it uses OLAP (on-line analytical processing) data analysis features which integrated in SpagoBI, and user could acquire a graphical statistical result after computing.
This dissertation introduces the design and implementation of the data quality software system, includes system design and the implement of each models.

  • Keywords
    Log analysis;Hadoop frame;Map/Reduce;Data visualization

基于开源技术的日志分析软件的设计与实现(摘要)

  • 摘 要

在信息系统中,日志是由操作系统或应用软件在运行过程中生成的用来记录自身运行状况的数据信息,对日志数据进行分析是检查软件运行状况的重要手段。随着日志数据量不断增加,基于单台主机的数据分析软件已经无法满足存储与计算要求。如何提高日志分析效率并将计算结果以可视化的形式展现,成为目前需要解决的问题。本文就是在此需求下,结合开源领域的数据分析和数据可视化技术,设计并实现了一套基于Hadoop分布式存储框架的日志分析系统。
Hadoop开源项目以其扩展性强、使用成本低、有Apache开源组织支持、网络资源丰富易于学习等优点,目前被广泛应用于网页搜索、日志分析、数据挖掘等领域。本文首先从日志数据分析业务角度介绍日志数据来源、分析方法以及日志数据分析的意义。然后结合Hadoop分布式计算框架Map/Reduce,实现了Levenshtein、Soundex、Jaro-Winkler等数据相似度计算算法,通过对不同记录的相似度分析,达到对日志文件中相似记录的分组统计目的,通过采用分布式计算技术,数据分析人员能够快速从大量日志数据中获取有用信息,从而解决了日志数据分析效率的问题。最后在分组数据结果集可视化展现方面,设计了包含多维度分组统计信息的数据模型,采用支持联机分析处理技术的SpagoBI开源商业智能平台,支持日志分析人员通过不同维度对数据分析结果进行查询,并以可视化图表形式展现数据分析结果。
本论文主要介绍了日志分析系统的设计和开发实现过程,重点阐述了系统总体设计方案、详细设计方案及系统各功能模块的开发思路及实现方法。

  • 关键词

日志分析;Hadoop架构;Map/Reduce编程;数据可视化

英语委婉语研究

英语委婉语研究
摘要
委婉语是人类使用语言过程中的一种普遍现象。它不仅是一种社会语言现象,更是一种文化现象。不管是在日常生活还是在涉外交际中,我们都要进行语言交流。由于某些生活习惯或习俗差异,以及不同文化背景的社会具有不同的忌讳,这时我们就必须学会使用委婉语以避免尴尬或不愉快。所以本文从语言学的角度,试图通过具体的例子来探究在特定的语言环境下英语委婉语的交际功能。只有认知委婉语在不同背景、不同环境下的使用方式,才能够调整好礼貌程度,从而把给对方的伤害降到最低限度,达到成功的交际目的。委婉语可以反映出各种各样的社会心理,从而也体现出了委婉语的各种社会交际功能。委婉语在各个领域都有广泛的应用,对于我们学好英语,进行有效的跨文化交际有很大的帮助。
关键词:委婉语;功能;忌讳;交际
Abstract
Euphemism is a common phenomenon when people use language, which is not only a social language phenomenon, but it is also a cultural phenomenon. We all need to communicate in our daily life or in diplomacy. However, because of the difference of life habit or custom and the taboo of different culture, we must learn to use Euphemism to avoid embarrassment or unhappiness. Therefore, through linguistic facet, this paper tries to research into communicative function of English Euphemism in certain language condition by special examples. Only when can we know how to make use of Euphemism in different background and environment, we can use the proper Euphemism to minimize hurt to people and to achieve the purpose of effective communicative Euphemism reflects all kinds of social mentality and social communicative function. Euphemism is also widely used in every field, so it is good for us to study English and do effective multi-cultural intercommunication.
Key words: euphemism; function; taboo; intercommunication
委婉语(Euphemism)一词源自希腊语的前缀eu=well 和词根pheme=speaking。根据《英语委婉语详解词典》的定义,委婉语是一种用无害的或悦耳的词语替代那些较直接的、唐突的言词,用善意的话语把事实掩盖起来的修饰手段。它不仅是一种社会语言现象,更是一种文化现象。随着社会的进步,人类文明的发展,委婉语始终伴随着整个社会的言语交际过程,且充分显示了它的交际功能。委婉语在各个领域都有广泛的应用,所以委婉语的交际功能的了解对于我们学好英语,进行有效的跨文化交际有很大的帮助。
一. 避讳功能
由于人对于某些事物或现象的恐惧,在语言表达时不愿言、不敢言,但有时又不得不表达出此种意思,于是人们便学会用委婉语来代替。
各个民族中对于“死”的说法都有各自的委婉语。讲英语的国家的人们和许多民族一样,忌讳直接说英语中的“死”也有多种表现形式。例如:人们常用“去了”(to pass away), “离别了”(to depart), “离开了我们”(to leave us), “睡着了”(to go to sleep), “去天国”(to go to heaven), “最后一觉”(final sleep),得到安息 (to have found rest)等词来代替说某人“死了”(to die)。
疾病,在医学不发达的过去,许多疾病就是死亡的代名词,因此,人们对疾病这个话题是忌讳的。例如:说look off color(颜色不好)实指身体有病;现代医学常以缩略词代替病名的全称,这样就既避免了人们不愿提及的词语,又可以表达人们所要表明的内容。
“如“癌症”(cancer)改用terminally ill.人们常用一些缩略语来避免直接谈论某一疫病,如“艾滋病”是AIDS( Acquired Immune Deficiency Syndrome), “癌症”是Capital Letter C (Cancer), “性病”是VD(venereal disease), “非典型性肺炎”是SARS(Severe Acute Respiratory Syndromes)。”[1]P.57
“To be hanged death(被绞死)可以说成doing a dance in mid-air(在半空中跳舞);电刑处决可以说成to get a permanent wave(电烫波浪发型);commit suicide(自杀)则可以说成to die by one’s own hand(死于自己之手)、to drain the cup of life(饮尽生命之酒),而lover’s leap(情人之跳)则指因失恋而自杀;安乐死被称为mercy stroke(慈悲的一击)、to put somebody out of his mystery(使某人脱离痛苦)等,而委婉说法old Newton took him(牛顿万有引力把他带走了);则指坠机身亡。”[2]P.108
二. 避俗功能
语言是进行思想交流的工具。人们在进行交流时,会因时、因地、因人、因事而不便直接表达自己的意思,比如说人体的某些部位(如生殖器)、性行为、大小便、生育等等,如果直言不讳的表达,往往会让人感觉很不舒服,受话者也会觉得对方很粗俗,没涵养。所以,英语中就产生了很多委婉的表达来化解这种尴尬。
除了眼泪以外,所有身体排泄物的词汇都被认为是禁忌语。“男厕所”(Men’s lavatory)被称Gent’s, the John, the washroom。“女厕所”(Women’s lavatory)被称作Lady’s ,the powder room, Mrs. Jones.“比如在开会中,某人要中途上厕所,大庭广众之下,说出“Sorry! I have to go to the toilet.”这是极不礼貌,不适宜的。可以用模糊性自由想象解决问题说“Sorry, I have to do my duty”或“Sorry, I have to fix my face”或“Sorry, I have to give myself ease”。” To be in a delicate condition(处于碰不起的状态);
A lady-in-waiting(处于等待中的妇女);
Eating for two(吃两份饭);
Have one’s watermelon on the vine(藤上有瓜了);
Have one on the way(有人要来了);
An expectant mother(期待中的妈妈);
Full of heir(怀有继承人);
She is knitting little bootees(她在织幼儿的毛绒鞋)。”[5]P.100
三.礼貌功能
委婉语的另一个功能是在交际中避免冒昧和非礼,当迫不得已要涉及令人不快的事情时,应选择委婉的表达法以避免伤害对方的感情。在社交时,人们总讲究以礼相待,尽量避免非礼言行。使用委婉语,说话人不仅显得彬彬有礼,还因照顾了对方的情面往往可获取对方的好感和认可。委婉语因其意的“温和性”(mildness) 使之具有礼貌功能。
“如见到英(美)国老太太,开口闭口old(老) 字当头,常常会惹得对方不理睬,于是一些委婉语就应运而生,如用senior citizen , second childhood(第二次童年) ,the longer living(年长者)等来代替“old age”(长者,前辈)和“senility”(老态龙钟)等。如果是教师,千万不要当家长面说他的孩子是a stupid pupil(笨学生),你得小心地说成a slow learner(他学得慢),或underachiever (他尚未发挥潜力)”[6]P.89
“又比如说depends on others to do his\her work=cheats in class(靠别人做作业=课堂上考试作弊);has a tendency to stretch the truth=sometimes lies(有夸大事实的倾向=有时说谎);take other people’s things without permission=steals(未经许可拿别人的东西=偷东西)。”[7] P.39
在英语中各种残疾人都可以被称为handicapped, inconvenienced(行动不便的)或invalid(病弱的);称deaf(耳聋的)为slow of hearing(听觉迟钝的);称blind(失明的)为visually retarded(视力上有障碍的);称color blind(色盲)为color deficient(色觉有缺陷的)。
“解雇某人不用fire, 而用discontinue(终止);“professor”一词,我们都知道,它指大学教授,可也往往被给予酒店老板、上司,它又可以被给予几乎所有的普通人,称师傅,无疑出自尊重。”[8]P.108
四.掩饰功能
在经济、政治和战争,也涌现出一批外交上的委婉语。外交人员是这类委婉语的丰富来源。由于他们常常企图将国际紧张局势的严重性缩小到最低限度,因而让自己的真正动机或失败给人以模糊的印象。只有行家才会明白;两位外交官之间的a useful and businesslike meeting(有益而一本正经的会晤)是什么问题也不解决的会晤,a serious and candid discussion(严肃而坦率的讨论)是事实上存在很大分歧的讨论。
例如,1976年基辛格创造了quite diplomacy(静悄悄的外交)一词,用的指秘密的外交活动。类似的还有我们熟悉的Ping-Pong diplomacy(乒乓外交),用以委婉地指中美关系史上通讨乒乓球队交流推动外交关系正常化的做法。
例如,对北约领导人(或侵略者) 而言,他们对南斯拉夫发动的战争不是“invasion/ raid/ aggression(侵略) ”,只是“military action (军事行动) / police action (政治行动) ”或称之为“pre - emptive action (先发制人) ”(听起来似乎南斯拉夫要对北约有所行动他们不得已而为之) 。他们下令“ bombing and blasting of whole villages(轰炸村庄) 可以被说成“pacification of the enemy infrastructure(瓦解敌人的永久性防御设施) / softening up of enemy resistance(削弱敌人的抵抗力) / give massive air support (给予大规模的空支援) ”。如果被“击溃”( retreat/ rout) , 也会被说成是“(phased withdrawal 分阶段撤军) ”。他们的一切谎言不是“lies (谎言) ”,而是“terminological inexactitude(用词不妥) ”。因此,对受话人而言,洞察说话人使用委婉语的动机是非常重要的。
五.褒扬功能
委婉语的另一个功能是起到褒扬的作用,既用中性或褒义的词语或句子代替含有贬义色彩的词语或句子。从交际的角度看,委婉语的这种褒扬功能实际上是说话人对对方的一种“抬举”(uplift) 。从心理上看,对于社会上那些从事较低微工作的人们,即便是听到说话人口头上对他们职业的称赞,这种“抬举”对方的委婉语也未尝不是“一种心里需求”。
“当人们提到看门人janitor 时,会委婉地将其称为building maintenance engineer (大楼维护工程师) , security officer (保安人员) ;将清洁工(garbage - men , garbage collectors) 委婉称为waste managers (垃圾管理人员) , sanitation engineers(保洁工程师) ,sanitation worker(保洁工作者) 。将理发师hairdresser 委婉称为beautician (美容师) 。将染发的人委婉称为dye artist (染发艺术家) 。农民farmer 被委婉称为agriculture technician(农业技术员) , agriculture engineer (农业工程师) , agriculture science specialist (农业科学专家) 。mechanic (机修工) automobile engineer(汽车工程师) 。家庭主妇housewife 被委婉称为domestic engineer (家务工程师) 。洗盘子的人dishwashers 被委婉称为utensil maintenance men(器皿维护人员) 。花匠tree - trimmer 被委婉称为tree surgeon(树木外科医生) 。屠夫butcher 被委婉称为meat cutter (切肉者) 或meat technologist (肉类技术员) 。”[12]P.90
“据统计,由engineer 美化的职称竟达两千多种以上成了最受人们喜爱的职业拔高词(uplifting word) 。不仅众多的“下贱”工作争相以engineer 来抬高自己,就是一些“体面”的职业也附庸时髦,先后往自己的工种上加一个engineer 的头衔,如:optician (眼镜商) 称自己为vision engineer (视力工程师) 。bedding manufacturer (床具制造商) 称自己为mattress engineer (床垫工程师) 或sleep engineer (睡眠工程师) 。School principal ( 中小学校长) 称为educational engineer ( 教育工程师) 。而human engineer 其本义为:人性工程师,在委婉语中称为:人事管理专家,是一门研究如何能使职工人尽其才提高工作效率的心理分析专家。publicity engineer (广告工程师) 是press agent (宣传员,广告员) 的委婉语。一般来说,在这两千多个合成的委婉语中,engineer 实质上也就是man 或person 的意思。如: advertising engineer = advertising man (广告员) , sales engineer = salesperson (营业员,推销员) 。”[13]P.40
总之,委婉语产生的环境和条件是很复杂的,它深深地植根于社会生活中,并随着社会的发展不断地发展和被不断地取代,这样可以使语言处于不断的变化之中。有些人认为委婉语虚伪,而一些人则认为它们是一种“心理需要”。事实上,语言总是和社会紧密地联系着,而委婉语则是社会的一面镜子,具有丰富的文化内涵。比如,宗教、价值观、生活方式、习俗和政治生活等;它是语言的一个必不可少的组成部分。但需强调的是,委婉语的使用必须因时、因地、因人、因事而制宜,滥用委婉语显得荒唐、滑稽,适得其反。
参考文献:
[1] 徐晓红. 英语交际中的委婉语初探[J].扬州大学学报高校研究版,2003外语教学与研究,P.57.
[2] 刘弈. 英语委婉语的产生、发展及其交际功能[J].黑龙江教育学院学报,2002年 1月,第21卷第1期,P.108.
[3] 王亚平,万雪琴. 解读英语委婉语之交际功能[J].教学经纬,2004年,第6期,P.37.
[4] 同[1].
[5] 胡爱萍. 也谈英语委婉语在交际中的语用功能[J].铜陵学院学报,2004年,第1期,P.100.
[6] 杜曾慧. 浅析英语委婉语的心理基础及其交际功能[J].宜宾学院学报,2002年12月,P.89.
[7] 李龙. 英语委婉语在日常交际中的应用[J].教法与教学,2002年9月中旬,P.39.
[8] 同[2] P.109.
[9] 杨鹏鲲. 英语委婉语的交际功能[J].词语天地,2005年5月,总第188期,P.28.
[10] 袁永菊,杨慧. 英语委婉语及其应用[J].沙洋师范高等专科学校学报,2002年,第5期,P.86.
[11] 孙立春. 英语委婉语在语言交际中的应用[J].长春工程学院学报(社会科学报), 2000年,第1卷第1期,P.33.
[12] 卢长怀. 英语委婉语在交际中的作用[J].辽宁师范大学学报(社会科学版),2003年11月,第26卷第6期,P.90.
[13] 马松梅. 职业委婉语的交际功能探析[J].山东外语教学,2000年,第4期(总第81期),P.40、41.