Изменение цены = производная от сантимента

Как найти сантимент без интегрирования?

Достойно цитирования:

Из книги "How I Became a Quant":

Wall street has finally come to understand that investing is an intellectual arms race.

Образец для подражания

The Code Breaker

Jim Simons's Renaissance Technologies, the world's largest hedge fund firm, is deciphering the secrets of global financial markets with its $35.4 billion in assets and a campus loaded with Ph.D.s.
By Richard TeitelbaumBloomberg Markets January 2008


On a hot afternoon in September, Renaissance Technologies LLC founder Jim Simons is too busy to take a phone call. It is, he says, from Cumrun Vafa, a preeminent Harvard University professor and expert on string theory, which describes the building blocks of the universe as extended one-dimensional particles. "Get another time when I can talk to him," Simons tells his assistant. Then he mentions that the next day, he'll be meeting with Thomas Insel, director of the National Institute of Mental Health, to discuss autism research. And he's slated that Saturday to host a gala honoring Math for America, or MFA, a four-year-old nonprofit he started that provides stipends to New York City math teachers.
"I'm undoubtedly involved in too many things at the same time," Simons says in his 35th-floor office in midtown Manhattan. "But you make your life interesting."
String theory, autism, math education: It's fair to ask how Simons, 69, manages his day job overseeing the world's biggest hedge fund firm. The answer, judging from the numbers, is very well.
Renaissance is on fire: Its Medallion Fund--which uses computers and trading algorithms to invest in world markets--returned more than 50 percent in the first three quarters of 2007. It had about $6 billion in assets as of July 1. Simons registered that performance as subprime and related markets were collapsing, sending two mortgage-related hedge funds run by Bear Stearns Cos. into bankruptcy. The turmoil pummeled the Goldman Sachs Global Alpha Fund, a rival to Renaissance's funds, which fell more than 25 percent during the same time. Morgan Stanley's computer jockeys lost $390 million in a single day in early August.
Medallion's returns are no anomaly. The fund, which trades everything from soybean futures to French government bonds in rapid fire, hasn't had a negative quarter since early 1999. From the end of 1989 through 2006, it returned 38.5 percent annualized, net of fees.
More surprising than those returns is Simons's life story. At an age when hedge fund pioneers such as Michael Steinhardt have long since stopped managing other people's money, Simons is building on Medallion's success. He's adding funds and strategies and accumulating assets, which totaled $35.4 billion as of Sept. 28.
In August 2005, Simons started Renaissance Institutional Equities Fund, or RIEF, which invests in U.S. stocks. Through Sept. 30, it has returned 12.8 percent annualized. Unlike Medallion, which turns over its holdings dozens of times each year, RIEF keeps its positions for months or longer. Simons said at the time of the fund's inception RIEF could theoretically manage as much as $100 billion. In December 2006, he limited new investments in the fund to $1.5 billion a month. As of Sept. 30, 2007, it had $25.6 billion in assets. In October, Simons started Renaissance Institutional Futures Fund, or RIFF, to invest in commodities.
It's up 5.2 percent for the month. He says Renaissance's research shows the new fund can manage as much as $50 billion. Along with RIEF, it will promote cross-fertilization of ideas inside Renaissance, Simons says. "Challenge is good," he says. "It opens one's eyes to new possibilities."
When not in Manhattan, Simons runs his empire from a 15-foot (4.6- meter) by 20-foot office in Renaissance's gated and guarded campus off Route 25A in East Setauket on New York's Long Island, some 50 miles (80 kilometers) east of the Empire State Building. With most of the trading automated, there's little of the hurly-burly of a typical hedge fund firm. Along with routine personnel and marketing tasks, Simons makes time for the researchers and programmers who stop by his office to discuss mathematical and statistical issues they've encountered as they work on new trading strategies.
More than 200 employees, of whom about a third have Ph.D.s, work in East Setauket. Another 100 are based in Manhattan, San Francisco, London and Milan. "He creates an environment where it's easy to be creative and works hard to keep the bullshit level to a minimum," says former managing director Robert Frey, who worked at Renaissance from 1992 to 2004.
Even without the new commodities fund, Renaissance's assets have more than doubled in a year from about $16 billion on Sept. 30, 2006. That growth has catapulted Renaissance past such titans as Daniel Och's Och-Ziff Capital Management Group LLC, Ray Dalio's Bridgewater Associates Inc. and David Shaw's D.E. Shaw & Co. to become the world's largest hedge fund manager, according to data compiled by Hedge Fund Research Inc. and Bloomberg. Medallion's 3.9 percent return during August, though that fund too was whipsawed by volatility, bolstered Simons's reputation as the silver-bearded wizard of quantitative investing. In quant funds, mathematicians and computer scientists mine enormous amounts of data from financial markets looking for correlations among stocks, bonds, derivatives and other instruments. They search for predictive signals that will foretell whether, say, a palladium futures contract is likely to rise or fall.
"There are just a few individuals who have truly changed how we view the markets," says Theodore Aronson, principal of Aronson + Johnson + Ortiz LP, a quantitative money management firm in Philadelphia with $29.3 billion in assets. "John Maynard Keynes is one of the few. Warren Buffett is one of the few. So is Jim Simons." Aronson credits Renaissance with validating the entire field of quantitative investing and proving that the freedom accorded to hedge fund managers to short stocks, borrow money and invest in myriad instruments can produce results that far outstrip typical market returns.
Simons, standing just under 5 feet 10 inches tall and weighing 185 pounds (84 kilograms), has trod an unlikely path. A former code cracker for the U.S. National Security Agency, in 1968 he became chairman of the mathematics department at Stony Brook University, part of the New York state university system. He built the department into what David Eisenbud, former director of the Mathematical Sciences Research Institute in Berkeley, California, calls one of the world's top centers for geometry. In 1977, frustrated with a math problem and eager for change, he abandoned academia to start what would become Renaissance, hiring professors, code breakers and statistically minded scientists and engineers who'd worked in astrophysics, language recognition theory and computer programming.
"All the quants in the world are trying to follow in Jim's footsteps because what he's built at Renaissance is truly extraordinary," says Andrew Lo, director of the Massachusetts Institute of Technology Laboratory for Financial Engineering and chief scientific officer of quant hedge fund firm AlphaSimplex Group LLC. "I and many others look up to him as a tremendous role model."
The tendency for fund managers to try to emulate Simons may become more curse than blessing in the years ahead. As the selloffs in July and August showed, many quant funds are chasing the same investments. For example, as of June, Renaissance and rival AQR Capital Management LLC had four of the same top 10 stock holdings: Johnson & Johnson, Lockheed Martin Corp., International Business Machines Corp. and Chevron Corp.
The overlap became problematic as the subprime contagion spread beyond housing-related stocks, bonds, collateralized debt obligations and commercial paper, forcing some funds to lighten their holdings precisely as demand was drying up.
"All these quant funds are using similar models, looking to buy something cheap and sell something dear," says Sol Waksman, founder of Barclay Hedge Ltd., a consulting firm based in Fairfield, Iowa. While expensive securities are by their nature easily traded--liquid, in industryspeak--the cheap securities hunted by most quantitative managers aren't, Waksman says. After all, the reason they're cheap is that nobody wants them. "Once you try and sell a low-liquidity stock, by definition there is no one to buy it," Waksman says. Overpriced stocks rose in August as hedge funds bought shares to cover their short positions, and cheap stocks plummeted as managers rushed to raise cash.
Renaissance is under increasing pressure to stay ahead of the pack--and to keep its secrets under wraps. Save current employees and a few former ones, nobody knows precisely how the firm makes its millions. Medallion stopped taking new money from outside investors in 1993 and returned pretty much the last of their capital 12 years later. Today, the fund is run almost exclusively for the benefit of Renaissance staff. The wise-cracking Simons himself is mum on virtually all of its details.
What can he say about Medallion's trading strategy? "Not much," Simons says with a chortle, and then takes a drag on one of the Merit cigarettes he often smokes.
What kind of instruments does it trade?
"Everything."
How many different strategies does it use?
"A lot."
Simons says his Ph.D.s laugh when they read the far-fetched theories about what their fund might be doing. One chat room participant speculated that Renaissance uses audio hookups to futures exchanges and analyzes the noise from the pits with voice- recognition software.
"All of us in the quant business have conjectures and hypotheses but very little data," MIT's Lo says. "So we like to speculate about what Renaissance could possibly be doing. They are so far ahead of everybody else that it's both challenging as well as exciting to engage in that kind of idle speculation." For his part, Simons says he once explored whether sunspot activity affects the markets. He doesn't say what he found.
Interviews with former Medallion fund managers and with investors, rivals and quantitative scientists provide a glimpse into how the fund is run. So do annual reports, marketing materials and court documents: Ever secretive, Renaissance is suing in New York State Supreme Court two of its former Ph.D.-level researchers who were fired in 2003 after refusing to sign noncompete contracts. The firm accuses Alexander Belopolsky and Pavel Volfbeyn of appropriating trade secrets. Belopolsky and Volfbeyn deny the charges. In a July decision, the two briefly described three strategies that Renaissance had explored. One involved swaps, which are contracts to exchange interest or other payments; another used an electronic order matching system that anonymously links buyers and sellers; and a third made use of Nasdaq and New York Stock Exchange limit order books, which are real-time records of unexecuted orders to buy or sell a stock at a particular price.
With his myriad positions in different markets, Simons likens his approach to the extensive farming he once practiced in Colorado, using center pivot irrigation to grow wheat on thousands of acres. "Every little stalk of wheat was not doing so great, but most of them were, so you're working on statistics," Simons says. By contrast, he says, the traditional focused investing practiced by Warren Buffett is akin to intensive farming, in which each individual plant really counts. "It's two completely different ends of the spectrum," Simons says.
Medallion's farm stand sports quite a markup: The firm generally charges a 5 percent management fee and 36 percent of profits compared with the industry standards of 2 percent and 20 percent. With virtually no outside investors in Medallion, Simons and Renaissance employees are paying the tab--and reaping the rewards. RIEF investors can select from four share classes with varying and far less expensive fee structures.
Though Simons dislikes talking about it, Renaissance has built him a tidy fortune. U.S. Securities and Exchange Commission documents show he controls 25-50 percent of Renaissance, having spread the rest of the firm's ownership among employees. So Simons's share of the performance fees earned by RIEF and Medallion was roughly between $375 million and $750 million in 2006, according to data compiled by Bloomberg. With Medallion's 44.3 percent return in 2006, if Simons had invested $2 billion in the fund, he would have garnered an $885 million profit. He declines to comment on his investment. According to Bloomberg calculations, Simons ranks No. 3 among the world's hedge fund managers with $1.01 billion in firm-wide performance fees during the first three quarters of 2007. (See "The Money Makers," also in this issue.)
Chief Scientist Henry Laufer, who helped build the Medallion trading system, owns 10-25 percent of Renaissance, the SEC document says. Chief Financial Officer Mark Silber and Executive Vice Presidents Peter Brown and Robert Mercer each own 5-10 percent. Simons's son Nathaniel, 41, who manages the Meritage fund of funds out of San Francisco, owns less than 5 percent, as does Renaissance trading desk manager, Paul Broder.
At the core of Renaissance's success--and the wealth Simons is creating--is his own mathematical mind-set. Outside the financial markets, he's best known for the Chern-Simons theory, which he co- developed with Chinese-American mathematician Shiing-Shen Chern in 1974. In simple terms, the theory provides the tools, known as invariants, that mathematicians use to distinguish among certain curved spaces--the kinds of distortions of ordinary space that exist according to Albert Einstein's general theory of relativity. Chern-Simons is viewed as important partly because it has proven useful in explaining aspects of another field: string theory. This describes the building blocks of the universe as vibrating one- dimensional extended particles called strings. "It turns out these things we invented, Chern-Simons invariants, had their real applications to physics, about which I knew nothing," Simons told the International Association of Financial Engineers in May.
Simons says he's also proud of the work he did in differential geometry at the Institute for Defense Analyses' research and development center in Princeton, New Jersey. In 1968, he published a paper in the Annals of Mathematics called "Minimal Varieties in Riemannian Manifolds." The paper helped him win the American Mathematical Society's Oswald Veblen Prize in Geometry in 1976. The prize is named for the Princeton University geometrician who became the first professor of the Institute for Advanced Study.
Simons's most enduring legacy may be as a philanthropist as he builds on the mathematics and science that have shaped his life. In his New York office, Simons gets up and walks across the room to grab a newspaper clipping. It's an article about the administration of President George W. Bush planning to add $50 billion to the defense budget. "Just a little extra; give them an extra $50 billion," Simons says, his voice rising in anger. "Well, for $2 billion, we could revolutionize math education in the U.S."
He's referring to what he considers paltry funding for a key provision of the America Competes Act, which was signed into law on Aug. 9. The act includes a federal program to bolster math and science education based on the pilot project Simons has bankrolled with more than $25 million of his money: MFA.
Simons says America's economic competitiveness is at stake. A 2003 study of 15-year-olds by the Program for International Student Assessment found the U.S. trailing 23 Organization for Economic Cooperation and Development countries, including No. 1 Finland, in math literacy at that age level. The U.S. was ahead of just five countries, among them Greece, Turkey and Mexico.
Simons places the blame for poor high school math scores largely on unqualified teachers. Because of low pay, good math and science teachers tend to get sucked into the private sector--and the rate is accelerating. "Students, up and down the line from affluent to impoverished, are being cheated," Simons says.
MFA pays full scholarships for math teachers to earn their master's degrees in education at designated graduate schools. Then, it pays a stipend of $90,000 over five years of teaching as a subsidy. Fellows and other experienced teachers are eligible to apply for a master fellowship program, which provides a stipend of $50,000 over four years. MFA is rolling out the program in Los Angeles and San Diego in 2008.
Simons has donated tens of millions of dollars to math and science endeavors worldwide, including Stony Brook University and MSRI. In 2005, he kicked in $13 million with other Renaissance employees to keep the Relativistic Heavy Ion Collider operating at the Brookhaven National Laboratory in Upton, New York, after the U.S. Energy Department cut funding. The collider creates hot, dense matter similar to that which is believed to have existed in the first 10 microseconds, or millionths of a second, of the universe's existence after the big bang.
Simons's other major push: research into autism, a disorder marked by repetitive behavior and impairment in social communication and language. In 2005, he hired Gerald Fischbach, former dean of the faculties of health sciences at Columbia University in New York, to serve as scientific director for the Simons Foundation. The foundation funds a variety of math and science-related projects. Simons's wife, Marilyn, 57, is president. Their daughter Audrey, 21, displays some symptoms of Asperger's syndrome, a milder disorder that bears similarities to autism.
Under Fischbach, the foundation is building a database of DNA samples and clinical information from thousands of families across the U.S. with affected children. Scientists will use the data to identify genes that may contribute to autism. The foundation is also attracting scientists from outside the field, such as geneticist Michael Wigler of Cold Spring Harbor Laboratory in New York. Fischbach says that, in the past, autism research has had trouble luring top talent because of its complexity.
Simons splits his week between two homes. His Manhattan apartment is in the same limestone building as another investor-turned- philanthropist, George Soros, 77. In Setauket, the white, gambrel- roofed house Simons has lived in for 31 years has broad picture windows overlooking the herons that populate the shimmering waters of Conscience Bay.
For all of his achievement and material success, Simons's life has been beset by the kind of tragedy that few parents can fathom--the death of not one but two of his five children in separate accidents. In 1996, his son Paul, 34, was struck by a car and killed while riding a bicycle near Simons's Setauket home. In 2003, 24-year-old son Nick drowned while on a trip to Bali. Simons grimaces when asked whether Nick's death played a role in his flurry of recent activity. He pauses before answering. "There was some connection between losing Nick and my desire to get as busy as I could," he says.
Scientific exploration underpins all of Simons's work. "What motivates me?" he says. "I'm ambitious and I like to do things well. I love to create something that really works. We have lots and lots and lots of strategies, and each new one gives me a lot of pleasure, to see something new that works."
The laws of the financial markets present a special challenge, Simons says. Unlike the laws governing physics or chemistry, they tend to change over time. "One can predict the course of a comet more easily than one can predict the course of Citigroup's stock," he says. "The attractiveness, of course, is that you can make more money successfully predicting a stock than you can a comet." Investments, philanthropy, academia--it all traces to a life steeped in math.
James Harris Simons was born in 1938, the only child of Marcia and Matthew Simons. He grew up in Brookline, Massachusetts, a Boston suburb designed partly by landscape architect Frederick Law Olmsted. Early on, Simons asked complicated mathematical questions. At about age 3, he was shocked to learn that a car could run out of gasoline. Why? By Simons's reckoning, a car would go through half a tankful, then half of what remained and then half of that, and so on: There would always be a small amount left. He'd discovered one of Zeno's paradoxes, named for the ancient Greek pre-Socratic philosopher, which would puzzle mathematicians for centuries. "Those were sophisticated thoughts for a little guy," Simons says, laughing.
At high school in Newton, Massachusetts, Simons blew through the equivalent of advanced placement math and went on to MIT. In his freshman year, he was cocky enough to enroll in a graduate level class. "The course said no requirements," he says. At MIT, Simons worked hard and played hard--mostly late-night poker. By 1 a.m., he and friends would pile into his Volkswagen Beetle and head off to Jack & Marion's delicatessen in Brookline for $1.25 chicken in a basket. Simons recalls how two renowned MIT mathematicians, Isadore Singer and Warren Ambrose, would sit down, order food and work into the wee hours on math problems. "I just thought it was kind of a great life," Simons says. "Here they were, grown-ups, eating in this deli, late, late at night, just working away. That seemed wonderful to me." Singer, still an MIT professor, would become a close personal friend.
In June 1958, after just three years, Simons collected his bachelor's degree in mathematics from MIT, returning that September for his first year of graduate school. He then headed west to the University of California, Berkeley, to complete his Ph.D. in math. There, Simons dabbled in commodities--using his and his then wife Barbara's wedding gift money to make a $500 killing in soybeans.
Simons's thesis adviser--Bertram Kostant, now professor emeritus at MIT--was skeptical about him pursuing the proof that would form the basis of his dissertation, "On the Transitivity of Holonomy Systems." It dealt with the geometry of multidimensional curved spaces and related to work by Singer and Ambrose. "He solved it in a remarkably short period of time, under two years," Kostant says. "Jim's an original guy. He likes to go off in his own direction."
After UC Berkeley, Simons won a three-year teaching position at MIT. He left after a year to become an assistant math professor at nearby Harvard. He stayed in touch with two poker-playing MIT classmates, Colombian nationals Edmundo Esquenazi and Jimmy Mayer. In 1958, Simons and Mayer had celebrated their graduation by buying Lambretta motor scooters and driving to Bogotá from Boston. In 1964, the three cobbled together money with Simons's father to start a Colombian vinyl-floor-tile factory. It would eventually prove a lucky move, providing the younger Simons with a stake to build his empire.
Simons was growing restless at Harvard. He was eager to earn more money--and frustrated by some of the math he was working on. The Institute for Defense Analyses offered a better-paying solution: Simons could spend half of his time on math at the nonprofit's Princeton center and half breaking codes for the NSA. In 1967, the IDA's president, General Maxwell Taylor, former chairman of the Joint Chiefs of Staff, wrote an article for the New York Times Magazine in favor of the Vietnam War. Soon after, Simons penned a note to the editors. "Some of us at the institution have a different view," he wrote. "The only available course consistent with a rational defense policy is to withdraw with the greatest possible dispatch."
Maxwell eventually fired Simons, who was then 29, married and a father of three. Stony Brook University President John Toll wanted a star to build the school's math department. In 1966, the university had made a splash by luring Nobel Prize-winning physicist Chen Ning Yang from the Institute for Advanced Study. Simons would hire stars for the math department.
Stung by his firing from the IDA, Simons threw himself into the task. "Having just sort of been knocked around a little bit, I liked the idea of being my own boss," he says. Simons negotiated all of the elements of a math position to lure great geometers to a young school: salary, class load, leave policy and research support. "He'd figure what you needed and get it for you," Toll, 84, says. "He did an outstanding job of building the department at Stony Brook."
Among the future stars Simons lured were Detlef Gromoll from the University of Bonn; Jeff Cheeger from the University of Michigan; and Mikhael Gromov, who'd taught at Leningrad University. All had published in prestigious journals. "It was viewed as one of the two or three best geometry groups in the world," says Irwin Kra, who succeeded Simons as math department chairman and is executive director at MFA. One of Simons's other hires was a Bronx, New York-raised math professor from Cornell University: James Ax. Simons dabbled again in commodities while at Stony Brook. The Colombian factory investment had made some profit. Simons and his partners invested about $600,000 of it with Charles Freifeld, a former math student of his from Harvard. During seven months in 1974, Freifeld increased the investment 10-fold, after fees, as sugar futures more than doubled. The $600,000 was now $6 million, Freifeld says.
Simons suddenly had money--but he was at a crossroads. He had separated from his wife Barbara. As the '70s wore on, he grew frustrated with a math problem related to the Chern-Simons theory. "It was driving me crazy," he says. Simons met Marilyn Hawrys, a graduate student in economics at Stony Brook who helped take care of Simons's children and would become his second wife.
Simons left Stony Brook in 1977 and started Monemetrics, a predecessor to Renaissance, in a strip mall across from the Setauket train station. He wanted someone to trade currencies and commodities and turned to an old friend, a fellow code cracker from the IDA: Leonard Baum. Baum was co-author of the Baum-Welch algorithm, which is used to determine probabilities in, among other things, biology, automated speech recognition and statistical computing. Simons's idea was to harness the mathematical models that Baum was writing to trade currencies. "Once I got Lenny involved, I could see the possibilities of building models," Simons says.
Baum never traded using the models. In the late '70s and early '80s, Baum was making too much money on fundamental trading. Such trading involves betting based on, say, whether British Prime Minister Margaret Thatcher would let the pound rise. In an era of one-way markets, it was much easier than using models. "The dollar was very weak; all you had to do was short the dollar and you'd make a lot of money," Simons says.
Simons brought in Ax to look over Baum's efforts. Ax declared that not only would the models work with the currencies Baum had written them for, they could be applied to any commodity future-- wheat, crude oil, you name it, Simons says.
Simons set up Ax with his own trading account, Axcom Ltd., which eventually gave birth to Medallion. Ax died of colon cancer in 2006 at age 69.
In Axcom's early days, professionals were skeptical about the kind of systematic trading Ax was doing. Still, he was brilliant and a natural at understanding probability, having shared the American Mathematical Society's Frank Nelson Cole Prize in Number Theory in 1967. "He had the ability to see patterns in trading data," says Brian Keating, 36, the younger of Ax's two sons. "People in the business thought it was magic, or nonsense."
Ax was also sometimes difficult to work with. "Most of times things went well," says Kevin Keating, 39, Ax's older son, who talked with his father about his days at Axcom. "But when they didn't, they'd butt heads."
During the 1980s, Ax and his researchers improved on Baum's models and used them to explore correlations from which they could profit. If a futures contract opened sharply higher versus its previous close, they would short it; if it opened sharply lower, they would buy it, says Sandor Straus, a former manager for Medallion who now runs his own investment firm, Merfin LLC, in Walnut Creek, California.
The stuff wasn't complicated, and it worked. In 1985, Ax persuaded Simons to let him move Axcom to Huntington Beach, California, to escape a painful divorce and enjoy year-round boating. By 1988, investors wanted to invest directly in Axcom. Simons and Ax started a hedge fund and christened it Medallion in honor of the math awards that they had won.
Ax's signals soon seemed to short-circuit. Peak-to-trough losses by April 1989 had mounted to about 30 percent. Ax had accounted for such a drawdown in his models and pushed to keep trading. Simons wanted to stop to research what was going on. "Both were talking to their lawyers," Straus says. Ax, in fact, threatened to sue. Simons pulled rank, and Ax left. He went on to write a screenplay and poems in addition to working on problems involving the mathematical foundations of quantum mechanics with Princeton University professor Simon Kochen, with whom Ax shares the Cole prize.
Simons turned to Elwyn Berlekamp to run Medallion from Berkeley, California. A consultant for Axcom whom Simons had first met at the IDA, Berlekamp had bought out most of Ax's stake in Axcom. He worked with Straus, Simons and another consultant, Laufer, to overhaul Medallion's trading system during a six-month stretch. In 1990, Berlekamp led Medallion to a 55.9 percent gain, net of fees- -and then returned to teaching math at UC Berkeley. "I got a lot more pleasure talking to academics than financial types," says Berlekamp, who is now professor emeritus. "Most people in this business are pretty dollar-centric. It makes for a dull life."
Ax was gone. Berlekamp was gone. Medallion's revamped trading system remained. Straus took the reins. Medallion returned 39.4 percent in 1991, 34 percent in 1992 and 39.1 percent in 1993, according to Medallion annual reports.
Back on Long Island, Simons was gathering an A-team of math brains. Laufer, a former Stony Brook professor, joined full time as research chief in late 1991. Frey, a trader from Morgan Stanley's Analytical Proprietary Trading group, the pioneering black-box quant desk, came in 1992. Nick Patterson, another cryptologist from the IDA, joined in 1993. That year, Simons also hired Brown and Mercer, two language technology experts from the IBM Thomas J. Watson Research Center.
The nastier that stock or bond markets turned, the better Medallion seemed to perform. In 1994, as the Federal Reserve raised its federal funds target rate six times to 5.5 percent from 3 percent, Medallion returned 71 percent for the year. The Bloomberg/Effas long-term U.S. government bond index lost 6.7 percent that year. In 1995, Simons moved most of Renaissance's California operations to Long Island. The firm needed computing power to model the data Renaissance was harnessing, and Simons bought it: From 1994 to 2000, Renaissance's total CPU power grew by a factor of 50. Data bandwidth in and out of Renaissance headquarters rose by a factor of 45, according to a Medallion annual report.
The year 2000, during which the Standard & Poor's 500 Index tumbled 10.1 percent, proved Medallion's best to date. It gained 98.5 percent, net of fees. By the end of that year, Renaissance had 148 employees--and the fund had a 43.6 percent annualized return over 11 years, net of fees, according to an annual report. It hasn't had a down quarter since.
Performance such as that feeds the hedge fund industry's insatiable curiosity. Rivals search for the signals underpinning Renaissance's returns. One set of clues came in the New York State Supreme Court decision in July, which the court heavily redacted. It cites three strategies tested at the firm, including one using limit order book data. MIT's Lo says that a fund firm could look at such data and identify a large sell order for, say, $15 a share when a stock was trading at $15.05. The fund could short the stock at $15.01 and benefit if the stock hit the $15 trigger. "There's going to be tremendous downward pressure on the stock," Lo says.
Former employees say observers may gain as much insight into Renaissance's performance by scrutinizing a more obvious factor: Simons has succeeded in building a pretty good business model.
First, it's a firm run by and for scientists. "I've always said Renaissance's secret is that it didn't hire MBAs," says Berlekamp, who blames the herdlike mentality among business school graduates for poor investor returns. Programming and modeling are treated as the heart of the firm's advantage--not an expense. "If you needed a lot of computer power, the decision was based on whether you needed it, not the budget," says Peter Weinberger, former chief technology officer at Renaissance and now a software engineer at Google Inc.
Decisions are made quickly and feedback is constant. "One of the things about Renaissance is that there's a feeling of urgency," says Frey, who left to teach applied mathematics and statistics at Stony Brook in 2004. "We always believed that there was a wolf at the door, that somebody would get there before we did."
From Simons on down, the company encourages openness, whether it's about market signals that show where a security might be headed or about technology or trading. Simons says new employees are encouraged to troll computer files detailing Renaissance's past strategies, successful or not. "If Simons's door was open, you could walk in," Weinberger says. That would go for everyone from secretaries on up. For his part, Simons says he's proud of Renaissance's low personnel turnover. The firm is owned by 80-85 employees. From managing directors to cleaning staff, everyone receives a percentage of the profits, Simons says. It's compensation for what he expects them to contribute over the long term. The notion of paying someone based on a single year's performance makes no sense in an environment where some projects take years to complete, Simons says. "We want everyone to want everyone else to do well," he says.
In his New York office, Simons pauses for a full eight seconds when asked who will run Renaissance after he retires--a simple question given that the firm has just two executive vice presidents. "Most likely someone inside the company," he finally says.
Does his likely successor have any idea he or she will be taking over? "I suppose who would succeed me has a pretty good idea it would be he," he says. Will it be a surprise?
"I don't think so--but I can't guarantee it," Simons says.
Simons is busy as he rounds out his seventh decade: the new RIEF and RIFF hedge funds, Math for America and the Simons Foundation's support for autism research. He's even returned to geometry, working with a friend, Stony Brook professor Dennis Sullivan, to solve a problem involving multidimensional spaces that's long bedeviled him. In January, they published a paper proving the theorem. When pressed about retirement, Simons responds with a trademark mathematical paradox. "I've always intended to retire in the next two years," he says, laughing. "I've been saying that for a long time. The two years is a constant."
In the end, whether Simons is building charities, plotting strategies or contemplating his own legacy, it always comes back to the math.
Richard Teitelbaum is a senior writer at Bloomberg News in New York. rteitelbaum1@bloomberg.net

О методе «белой вороны» III,

или первые результаты

Дмитрий Толстоногов

Чтобы стать Лучшим, нужно:

Или делать то, чего не делает никто.

Или делать то, что делают все, но так, как никто не делает.

Или делать то, что делают многие, но более качественно.

Г. Павленко

Приступим к построению механической торговой системы при помощи Data Mining и оптимального управления.

1. Выбираем торговую идею.

Первым делом возникает соблазн собрать всевозможные индикаторы теханализа, загрузить ими какой-нибудь модный турбо-нейро-фаззи-генетический алгоритм, и подождать с недельку, пока он не найдет для нас Holy Grail. К сожалению, почти наверняка это будет артефакт, а не реально существующая закономерность.

В одном хорошем месте, при приеме на работу на должность статистика, кандидатам перед интервью предлагался тест: в таблице данных из 1000 строк и 51-го столбца надо было найти закономерные связи, если они есть, между первым столбцом и остальными 50-ю столбцами. Кандидатам предоставлялся компьютер и статистические пакеты на выбор. Время теста не ограничивалось. Большинство находили закономерности, хотя все значения в таблице данных были получены при помощи генератора случайных чисел.

Собственно, поэтому мы с недоверием относимся к традиционной технологии построения МТС, основанной на оптимизации индикаторов на исторических данных¹. Люди тестируют всевозможные стохастики на истории, торгуют их в реале и теряют деньги. Потому что эти стохастики – не более чем числа. В основе торговой стратегии должна быть идея, основанная на фундаментальных, поведенческих или иных закономерностях. По нашему глубокому убеждению, МТС можно использовать, когда мы понимаем, почему и за счет кого на рынке она делает деньги. Самый лучший способ построить приносящую деньги МТС – взять за основу заведомо работающий классический метод и заведомо предиктивные данные, и, применяя к ним современные технологии Data Mining, найти скрытые от остальных паттерны и оптимальным образом их эксплуатировать.

2. По нашему убеждению, большую ценность имеют неценовые данные.

Сюда же можно отнести интермаркет² и парный трейдинг. В свое время произвела впечатление фраза известного в сети трейдера Марка Брауна (Mark Brown): «самая лучшая торговая система, которую я когда-либо видел, не использовала ценовых данных вообще». А из Энциклопедии торговых стратегий запомнилось то, что «поиск необычных данных открывает интересные возможности – зачастую, чем более необычны и труднодоступны данные, тем они ценнее», а также, что торговля по солнечным и лунным циклам при бэктестинге показала лучшие результаты, чем популярные методы теханализа. Это не означает, что теханализ бесполезен. Напротив, он очень полезен тем, что структурирует неоднородную толпу трейдеров по конфессиям верующих в те или иные его методы и постулаты. Например, что "МТС должна работать с ценами, а не обращать внимание на всякую около рыночную чушь... которую создают исключительно для обувания лохов..."³. Но это не та вера, по которой воздастся.

3. В качестве приложения сил рассмотрим фьючерсные рынки.

Как обычно, следуем методу «белой вороны», то есть, зрим в корень. Основной экономический смысл фьючерсных рынков – перераспределить ценовые риски между участниками, имеющими дело с реальными товарами, и желающими застраховаться от нежелательных для них изменений цен при помощи противоположных фьючерсных позиций, и участниками, желающими получить прибыль от этих изменений цен. Первые – это, по терминологии CFTC⁴, commercials, или хеджеры. Вторые – noncommercials, или крупные спекулянты. Хеджеры, согласно их роли на фьючерсных рынках, минимизируют ценовые риски, открывая позиции против тренда. Действительно, когда они ожидают повышения цен, они используют т.н. «короткий хедж», т.е. открывают шорты на фьючерсах. И наоборот, когда они ожидают понижения цен, они используют т.н. «длинный хедж», т.е. открывают лонги на фьючерсах. Обратной стороной сделок для них выступают спекулянты, выкупающие риски. Следовательно, спекулянты, по крайней мере, теоретически, открывают позиции в сторону тренда, со всеми вытекающими последствиями. Что мы и будем использовать в процессе подготовки данных.

CFTC еженедельно⁵ публикует отчет – Commitment of Traders Report (COT) – о текущем числе открытых длинных и коротких позиций (открытом интересе) для 3-х различных групп трейдеров: commercials, noncommercials и мелких спекулянтов. Важно, что эти группы трейдеров открывают и закрывают позиции по разным причинам. В частности, из того, что хеджеры, как правило, стоят против тренда, не следует, что они систематически «сливают» деньги в пользу спекулянтов: они не извлекают прибыль из изменений цен, а фиксируют устраивающие их цены на споте. Нам кажется естественным и разумным использовать данные СОТ вместе с ценами.

4. Мнения о предсказательной ценности СОТ неоднозначны.

Гэри Смит (Gary Smith), ссылаясь на статью⁶, на самостоятельные исследования, и на известные ему работы других трейдеров, пришел к заключению, что «СОТ потерял большую часть своей прогнозирующей силы».

С другой стороны, академическая статья Чангюн Ванга (Changyun Wang) утверждает, что «индекс сентимента инвесторов, основанный на действительных позициях трейдеров, полезен для предсказания приращений цен фьючерсов на индекс S&P500». В частности, он нашел, что сентимент крупных спекулянтов является индикатором продолжения движения, а сентимент хеджеров – слабым противоположным индикатором. В статье приводится статистически значимая стратегия:

когда сентимент крупных спекулянтов экстремально бычий, а сентимент хеджеров экстремально медвежий, то время открывать лонги, и наоборот. Когда сентимент крупных спекулянтов экстремально медвежий, а сентимент хеджеров экстремально бычий, то время открывать шорты. Время удержания позиций – 1-8 недель.

Чтобы количественно оценить сентимент, в качестве индекса сентимента, SI, в момент времени t автор использовал нормализованные в диапазоне 1:100 нетто-позиции для соответствующих групп трейдеров:

SI(t) = (NetPosition(t) – min(NetPosition(1:t))) / …

(max(NetPosition(1:t)) - min(NetPosition(1:t)))*100.

Индекс сентимента меньше 25% считается экстремально медвежьим, а выше 75% – бычьим. В то же время автор не нашел предсказательной ценности прошлых приращений цен по отношению к будущим.

Недавно переведенная книга Ларри Уильямса (Larry Williams) целиком посвящена СОТ. Пролистав ее, мы не нашли там стратегии в явном виде. Но мы знаем, что на него долгое время работал (-ет?) Мюррей Руджеро (Murray Ruggiero), а в его книге 1997 года приведена такая стратегия. Можно предположить, что это и есть стратегия Ларри Вильямса. Идея ее заключается в том, что 1) Commercials торгуют против трендов. Будучи инсайдерами и из-за размера своих позиций, они начинают и завершают тренды. 2) Мелкие спекулянты, напротив, обычно покупают у вершин и продают на дне. Отсюда, собственно, стратегия:

Если хеджеры открыли экстремально большие лонги, а мелкие спекулянты открыли экстремально большие шорты, то время покупать. И наоборот, если хеджеры открыли экстремально большие шорты, а мелкие спекулянты – лонги, то время продавать.

Здесь используется индекс сентимента, аналогичный SI, за исключением того, что нормализация производится не на всей предыдущей истории, а на скользящем окне длиной 1.5-4 года. Стратегия покупает около существенных минимумов, продает около существенных максимумов, имеет на T-Bonds 75% выигрышных сделок и профит-фактор = суммарная прибыль / суммарный убыток = 7.45. Утверждается, что СОТ является ценным индикатором для многих рынков – T-Bonds, S&P500, сельскохозяйственных рынков, таких как кукуруза или соевые бобы, и таких рынков, как золото и нефть.

5. Очень важно правильно синхронизировать данные с ценами.
Еженедельные данные СОТ представляют собой значения открытого интереса при закрытии торгов во вторник, а публикуются они по пятницам, после закрытия торгов. Следовательно, обновленные данные мы можем использовать только в следующий понедельник с открытия торгов, и запаздывание по отношению к ценам составляет от 4-х до 9-ти торговых дней. Поэтому необходимо моделировать последовательное поступление данных СОТ в реальном времени с корректировкой их задним числом при получении новых значений. В частности, при использовании weekly разрешения необходимо на баре t использовать данные СОТ в момент t-1. То же самое справедливо для любых других данных, если время их публикации не совпадает с их отметкой времени. Подглядывание в будущее является одной из наиболее частых ошибок при создании «граалей».

6. Проверим эти стратегии.

Возьмем, к примеру, кукурузу. Результаты, мягко говоря, не впечатляют:

Справедливости ради, не утверждалось, что «академическая» стратегия должна работать на других фьючерсах, помимо индекса S&P500. Можно, конечно, подобрать рынки и оптимизировать на истории уровни для экстремального сентимента и размер окна нормализации. Но, как вы понимаете, лучше что-то подправить в консерватории. Поэтому «мы пойдем другим путем»⁷.

7. Этапы большого пути.

1) Мы решали непосредственно заявленную задачу: максимизировать ожидаемую прибыль при ограничениях на ожидаемую максимальную просадку. Обычно же декларируют одно, а решают совсем другое. Например, часто приходится слышать, что ПИФам очень сложно превзойти бенчмарк из-за ограничений на структуру активов. Но вместо того, чтобы непосредственно искать управление, максимизирующее матожидание разности (или отношения) эквити ПИФа и бенчмарка, при заданных ограничениях⁸, люди накручивают какие-то коэффициенты Шарпа и прочие малозначимые в рамках поставленной задачи величины. Естественно, речь здесь идет о ликвидных активах. Хотя, может быть, и «рисование» неликвидами имеет смысл оптимизировать.

2) Наш препроцессинг основан не на формальных преобразованиях данных из учебников, а на знаниях предметной области и сформулированной на их основе торговой идее.

3) Мы использовали «правильный» для нашего круга задач метод Data Mining, созданный нашим партнером, неопубликованный, и значительно превосходящий разрекламированные публичные аналоги.

4) В свое время мы немало времени потратили на управление капиталом. Сейчас мы используем наиболее эффективный из возможных способов оптимального управления – с обратной связью и упреждением.

8. Оценим полученные результаты.

Для корректного сравнения с традиционными МТС мы решили «игрушечную» задачу, ограничив область допустимых управлений множеством {-1, 0, 1}, что соответствует торговле одним контрактом без реинвестирования. Здесь «-1» соответствует позиции «шорт», «0» – «позиция отсутствует», и «1» – «лонг». Каждому недельному бару исторического ряда цен мы поставили в соответствие требуемую позицию. Случайным образом выбрали из ряда цен out-of-sample множество объемом в половину длины выборки. На оставшемся, обучающем, подмножестве мы нашли закономерности между текущими и прошлыми данными и нужной позицией⁹. Точность распознавания правильных позиций на out-of-sample составила 80%.

Отметим, что на 7% баров никаких закономерностей обнаружить не удалось. Эти бары соответствуют так называемым джокерам¹⁰. Примечательно, что в 22% случаев джокеры объединены в связные множества из 2-х и более последовательных баров, т.е. прогнозируемые области чередуются с непрогнозируемыми, на которых лучше не торговать. Наилучший прогноз при джокере – это предыдущее значение, или приращение = 0.

Если бы мы могли торговать справа налево, то мы бы ограничились траекторией эквити на тестовом множестве. Но, поскольку траектория цен в будущем заведомо будет другой, мы методом Монте-Карло на распределении приращений цен out-of-sample строим множество всевозможных эквити:

Среднегодовая прибыль в единицах начальной маржи варьируется от 5.81 до 9.68, с матожиданием 7.58. Матожидание максимальной просадки за весь 10-летний тестовый период составляет 2.2 начальных маржи. Это означает, что минимальный размер капитала должен быть больше $9500. В «привычных» терминах мы имеем:

средняя прибыль за один недельный бар – $152 (14% от начальной маржи);

прибыльных баров – 61%;

коэффициент Шарпа – от 2.05 до 3.7, с матожиданием 2.85 (при безрисковой доходности 6.38%).

Фактически, торгуя одним контрактом, мы использовали только результаты шагов 1)-3). Отметим, что аналогичные результаты получаются на всех товарах из разных групп, которые мы успели проанализировать.

9. Оптимальное управление фьючерсным портфелем обсудим в следующий раз.

Для затравки, приведем пример управления размером позиции для одного актива – кукурузы. Задавая ограничения на ожидаемую максимальную просадку, мы можем построить оптимальную границу в плоскости доход-риск, аналогично тому, как это делается в классической теории портфеля. В частности, задав максимальную просадку в 30%, мы получаем следующую картинку для эквити, разумеется, out-of-sample:

Здесь начальный капитал $100000, на проскальзывание и комиссию вычитается $25 на контракт. Среднегодовая прибыль составляет 169.4%. При ограничении на просадку в 50% среднегодовая прибыль при тех же условиях составляет уже 402.7%.

Успехов в трейдинге.

1 В используемых нами методах оптимизация на исторических данных не производится.

2 Фундаментально связанные рынки.

3 Из одного трейдерского форума.

4 Commodity Futures Trading Comission.

5 с 1992 года, до этого дважды в неделю, еще раньше – ежемесячно.

6 Howard Simons, Futures Magazine, Jun 1998.

7 В.И. Ульянов (с)

8 Эта задача проще, чем та, которую мы решили, по крайней мере, математически: она не содержит в ограничениях недифференцируемых нелинейностей. Однако список приоритетных для нас задач содержит гораздо более интересные. Хотя, it depends…

9 Разумеется, мы попробовали и более распространенный способ – разделить ряд цен пополам на обучающее и тестовое множества. Результаты аналогичные – стабильные на out-of-sample периоде в 10 лет.

10 «… В фазовом пространстве многих объектов, с которыми мы имеем дело в жизни, есть места, называемые областями джокеров, в которых случайность или игровой элемент, или фактор, не играющий никакой роли в другой ситуации, может оказаться решающим и не только повлиять на судьбу системы, но и скачком перевести ее в другую точку фазового пространства. Правило, по которому совершается этот скачок, и называется джокером. Название пришло из карточной игры. Джокер - карта, которой можно присвоить значение любой карты по желанию играющего. Понятно, что это резко увеличивает число вариантов и степень неопределенности.» – Г. Малинецкий. Подробнее здесь.

О методе «белой вороны» II,

или как решать задачу оптимального управления,

имея вместо уравнений исторические данные

Дмитрий Толстоногов

- Они все с ума посходили.

- Нет, Мид. Один такой тип - сумасшедший. А когда их превеликое множество - это марш леммингов к смерти. И даже не пытайтесь со мной спорить - я нанес все эти данные на график. Когда у нас в прошлый раз возникла схожая ситуация, ее назвали "Эрой Замечательной Чепухи". Но сейчас все гораздо хуже. - Он засунул руку в нижний ящик и достал большой лист бумаги. - Амплитуда уже почти в два раза больше, чем тогда, а мы еще не достигли максимума. Что будет, когда мы его достигнем, мне, честно говоря, даже не хочется думать. Три различных кривые одновременно достигнут наибольшего значения.

Роберт Хайнлайн. Год резонанса.

Итак, мы решаем задачу построения механической торговой системы (МТС) с экстраординарными, как ожидается, результатами, формулируя ее в виде задачи оптимального управления.

1. На чем основана наша уверенность в выдающихся результатах?

Во-первых, в более эффективном управлении капиталом. Как работают традиционные МТС? Открывается позиция, и мы пассивно ждем, закроется она с прибылью или убытком. В нашем случае мы действуем активно. Мы можем регулировать размер и направление позиции хоть на каждом баре, если ожидаемая прибыль больше ожидаемых издержек на комиссии и проскальзывание. Контролируя позицию на каждом баре, мы значительно уменьшаем рыночный риск. Легко показать, что риск позиции, удерживаемой в течение одного бара, меньше риска позиции, удерживаемой в течение N баров, в (N)^(-1/2) раз.

Во-вторых, легко показать, что частые небольшие прибыли гораздо эффективнее, чем редкие большие, за счет эффекта реинвестирования, и за счет фрактальности ценового ряда¹.

В третьих, мы не открываем и закрываем сразу большую позицию, а, как правило, совершаем относительно небольшие частые сделки. Тем самым проскальзывание значительно уменьшается.

В четвертых, мы не используем отдельные редкие закономерности, как это делают обычные МТС. Поэтому мы не подвержены эффекту «умирания» метода торговли из-за того, что многие трейдеры находят и начинают эксплуатировать эти единичные закономерности. Напротив, мы извлекаем возможную прибыль из всех ситуаций. Это эквивалентно одновременному использованию портфеля из сотен МТС для каждого торгуемого актива.

В пятых, мы существенно уменьшаем возможность подгонки моделей под исторические ряды цен. Поскольку мы не привязаны к отдельным сделкам и можем управлять капиталом на каждом шаге, мы можем в качестве тестового множества использовать случайные выборки, проводить анализ Монте-Карло, использовать эффективные способы тестирования моделей, например, leave-one-out cross validation.

В шестых, рассмотрим задачу с точки зрения управления портфелем инвестиций. Классическая теория оптимального портфеля Марковица предполагает единовременный выбор долей капитала, инвестированных в те или иные финансовые инструменты на основе их статистических свойств, оцененных по историческим данным. При этом решается задача оптимизации. Это неявно предполагает, что статистические свойства рынка неизменны во времени. В нашем случае «управление» предполагает постоянную реструктуризацию портфеля в соответствии с текущими и ожидаемыми рыночными условиями и текущим состоянием управляемого объекта – капитала.

2. Мы имеем задачу оптимального управления

dEquity(t) = leverage(t) * dPrice(t) – Slippage&Comission(t),

где

dEquity(t) = Equity(t+1) / Equity(t) – 1

dPrice(t) = Price(t+1) / Price(t) – 1

Equity(T)  max

плюс ограничения на управление leverage(t) и состояние Equity(t). Целевая функция может быть и другой.

Управление можно разделить на следующие три типа.

1) Программное управление строится по историческим данным и не учитывает текущего состояния системы. Примерами такого управления является решение задачи оптимизации портфеля по Марковицу.

2) Управление с обратной связью является функцией от текущего состояния системы. Данная задача является более общей, так как доли капитала могут меняться в соответствии с изменениями состояния.

3) Управление с обратной связью и упреждением является функцией от текущего состояния системы и его прогноза

3. Существует мнение, что цены, в принципе, не прогнозируемы.

Смеем утверждать, что это не совсем так: временами изменения цен вполне прогнозируемы, а временами совсем не прогнозируемы. Перефразируя Эйнштейна, «Бог иногда играет в кости». Разумеется, под прогнозом мы понимаем статистический прогноз изменений цен в терминах матожидания. Если бы было возможно точно их прогнозировать, то оптимальное управление строилось бы очевидным образом: long с максимально возможным плечом в точках разворотов цен снизу вверх, и short с максимально возможным плечом в точках разворотов цен сверху вниз. Это соответствует так называемому «бэнг-бэнг» принципу управления, когда управляемый объект дискретно переключается между экстремально допустимыми значениями.

4. В линейном случае можно строить модель состояния независимо от управления. Процедура построения модели состояния по экспериментальным данным называется идентификацией. В нашем случае, если мы положим управление равным единице, то получим ситуацию buy’n’hold, т.е. модель состояния совпадет с моделью изменения цен. Эту задачу пытаются решить с той или иной степенью успешности уже более ста лет.

5. Классические методы решения задач управления капиталом и ценообразования можно условно разделить на следующие (пересекающиеся) классы.

1) Эконометрика, или прикладная статистика – корреляционный, регрессионный, факторный и прочий анализ. Ключевая фраза для поиска здесь – анализ временных рядов.

2) Классические методы теории управления, основанные на аналитических методах механики и физики. Интересующихся отсылаем к справочнику А.А. Красовского или к свежему учебнику Дорфа и Бишопа².

3) Использование стохастических дифференциальных уравнений. Интересующихся отсылаем к Пугачеву и Синицыну. Robert C. Merton, помимо своего вклада в ценообразование опционов (за который он совместно с Myron Scholes получил в 1997 году Нобелевскую премию по экономике), известен также решением «задачи Мертона о портфеле» в терминах оптимального управления. Среди других известных нам авторов, решающих задачу об оптимальном управлении портфелем при помощи стохастических дифференциальных уравнений, Sergei Maslov и В. И. Жижилев.

Кстати, вы задумывались, почему экономисты так любят моделировать приращения цен броуновским движением? Наш ответ: потому что это позволяет решить задачу об управлении портфелем в явном виде.

Ключевые термины для этого раздела: фильтр Калмана, уравнение Беллмана, динамическое программирование, принцип максимума Понтрягина. Последний метод оказался на редкость плодотворным: говорят, его развитию посвящено более двухсот докторских диссертаций, не считая решенных задач. Но на практике такими методами обычно удается решить лишь задачи с известными аналитическими функциональными зависимостями, либо упрощенные до практической бесполезности «игрушечные» ³ задачи.

4) Наиболее продвинутым из известных нам методов оптимального управления является Model Predictive Control. Суть его в следующем:

а) рассматривается относительно простая модель управляемого объекта. При текущем состоянии в качестве начального, и известном программном управлении строится прогноз состояния на несколько шагов вперед;

б) выполняется оптимизация программного управления на горизонте прогноза с учетом всех ограничений на управление и состояние;

в) реализуется найденное оптимальное управление на один шаг вперед и измеряется состояние;

г) горизонт прогноза сдвигается на шаг вперед, и повторяются пункты а)-в).

Это позволяет управлять достаточно сложными объектами в режиме реального времени.

Оптимально управлять портфелем инвестиций при помощи Model Predictive Control пытается В.В. Домбровский с учениками.

6. Data Mining,

или получение знаний из эмпирических данных. В отличие от статистических методов, оперирующих выборочными моментами⁴, методы Data Mining не делают предположений о виде распределений вероятностей и ищут закономерности в подмножествах выборочных данных. Методами Data Mining решают задачи кластеризации – группировке похожих в определенном смысле примеров данных, классификации определении принадлежности примеров к одному из заданных классов, и регрессии – обнаружении количественных зависимостей между признаками и прогнозируемой величиной.

Используя технологии Data mining, современные методы идентификации и управления вместо заданных аналитических зависимостей могут использовать обучение на эмпирических данных без математической формализации объектов управления.

Имея исторические данные, мы знаем, что нужно было делать в прошлом в той или иной ситуации. Мы можем поставить в соответствие каждой ситуации адекватную на нее реакцию – управление. Мы можем определенным способом обучить систему управления распознавать и нужным образом реагировать на эти ситуации. Для этого необходимо

а) Определить и разметить на истории примеры ситуаций. Это могут быть, например, приращения цен на следующем шаге, или их знак. Можно вручную отметить нужные бары: в TradeStation легко сделать, чтобы при клике мышкой на данный бар на графике его координаты – дата, время и требуемое значение – писались в лог, а при использовании глобальных dll типа pulse – в файл.

б) Задать множество признаков для каждого примера.

в) Создать множество примеров ситуаций с соответствующими управлениями.

г) Обучить систему распознавать ситуации.

д) Обеспечить адаптацию системы управления к текущим изменениям рынков.

Эту процедуру можно реализовать при помощи большого числа методов.

1. Самым популярным методом машинного обучения являются нейронные сети⁵. Это не случайно: нейронные сети естественным образом связаны с дискретными динамическими системами⁶, т.е. теоретически решают задачу идентификации. Доступным введением в тему является книга Neural Networks in Finance, охватывающая также тему генетических алгоритмов. Из русскоязычных книг нам понравилась Нейронные сети: распознавание, управление, принятие решений А.Б. Барского. Стиль изложения таков, что книгу можно читать вместо беллетристики на ночь.

2. Следующим большим классам методов, которым можно решить наши задачи, являются эволюционные методы, и в частности, генетические алгоритмы. Здесь нельзя не упомянуть нашего бывшего соотечественника академика А.Г. Ивахненко, который изобрел Метод Группового Учета Аргументов (МГУА). Им написано как минимум 15 книг и множество научных статей, его учениками защищено свыше двухсот диссертаций, а его метод реализован в известных программах NeuroShell и PolyAnalyst.

3. Стоит отметить нечеткую логику, которая хорошо сочетается с вышеупомянутыми методами. Хорошим, на наш взгляд, руководством является только что вышедшая книга С.Д.Штовбы Проектирование нечетких систем.

4. В последнее время на Западе вошел в моду метод еще одного нашего бывшего соотечественника В. Н. Вапника: метод опорных векторов, или Support Vector Machines. Представляют интерес и его ранние русскоязычные книги, дающие теоретическую основу для решения задач регрессии и классификации по ограниченному набору данных.

5. И, наконец, отметим алгебраические методы обнаружения логических закономерностей в данных вида «если …, то …». Главным в этой области считается академик Ю.И. Журавлев с учениками. Одним из наиболее популярных алгоритмов здесь являются деревья решений. Традиционные торговые стратегии, как правило, оперируют именно логическими правилами «если …, то …».

7. Принцип «зачем делать просто, когда можно сложно»

популярен в этой области как нигде. Приведем показательный пример. Однажды к одному ученому за отзывом на автореферат диссертации пришла аспирантка, представительница известной научной школы, уверенная, что она решила уникальную задачу классификации большой размерности. Как выяснилось, классов было два, а признаков всего восемь. Искалась разделяющая классы линейная граница. Идея была в том, что при поиске вектора весов граничной линии использовался довольно сложный функционал качества решения, назначением которого было бороться с многоэкстремальностью. Перед тем, как приступить к классификации, аспирантка провела отбор признаков самым простым эвристическим методом, оставив в итоге 4 или 5 признаков, потому что «так до нее делали другие» и «программа долго считает». Даже с оставшимися признаками программа считала целый день. Большим разочарованием для нее оказалось то, что аналогичные результаты можно было получить самыми простыми методами, типа деревьев решений, без всяких математических наворотов, и за считанные минуты.

8. Мы сознательно не делаем обзоров упомянутых методов.

Нет смысла копировать параграфы из Википедии. Кому это будет нужно, тот найдет всю необходимую информацию в Сети. Так же сознательно мы не рецензируем тот или иной метод, его плюсы и минусы и т.п. и свои предпочтения. Каждый должен пройти свой путь. Мы могли бы вам все рассказать, но тогда вы ничему не научитесь. Обсудить результаты – пожалуйста. В следующий раз.

1 Классическая иллюстрация фрактальности – это ответ на вопрос о длине береговой линии Англии. Правильных ответов два: 1) зависит от разрешения линейки; 2) бесконечность.

2 Аннотация данной книги не имеет ничего общего с ее содержанием. Вероятно, поэтому книга продается с 50%-й скидкой. У нас это называется buying opportunity.

3 Определение принадлежит одному специалисту по оптимальному управлению, доктору наук, профессору и т.д.

4 Пример выборочного момента 1-го порядка – средняя температура по больнице.

5 Google на «нейронные сети» возвращает в два раза больше ссылок, чем на «генетические алгоритмы».

6 См. Лекции по нейроинформатике-2002. Там много интересного.

О методе «белой вороны»

применительно к построению механических торговых систем

Дмитрий Толстоногов

Разум человека всё привлекает для поддержки и согласия с тем, что он однажды принял, потому ли, что предмет общей веры, или потому, что ему нравится. Каковы бы ни были сила и число фактов, свидетельствующих о противном, разум или не замечает их, или пренебрегает ими, или отводит и отвергает их посредством различений с большим и пагубным предубеждением, чтобы достоверность прежних заключений осталась ненарушенной.

Ф. Бэкон

1. Contrarian opinion.

Известно, что метод «белой вороны», или «contrarian opinion»¹, может быть весьма эффективен на финансовых рынках. Причины этой эффективности изучает новый раздел финансовой науки, называющийся «поведенческие финансы». За исследования в этой области Daniel Kahneman даже удостоился в 2002 году Нобелевской премии по экономике². В частности, он показал, что инвесторы в своей массе действуют нерационально³. Что примечательно, Harry Markowitz ранее получил Нобелевскую премию за теорию оптимального портфеля, которая основывалась на постулате о рациональном поведении инвесторов. Интересующихся поведенческими финансами отсылаем к книге Поведенческие финансы или Между страхом и алчностью⁴.

2. Нерыночный пример.

Опыт показывает, что метод «белой вороны» может быть очень эффективен и за пределами рынков.

Лет двадцать назад один студент-математик получил в качестве курсовой работы задание: применить метод функций Ляпунова к исследованию устойчивости какой-либо математической модели термоядерного реактора. Самым сложным оказалось найти подходящую модель. Для этого пришлось проштудировать подшивку журнала «Физика плазмы» за всю его историю. Остальное было делом техники: построить функцию Ляпунова и получить результат. Как выяснилось позднее, данная математическая модель была создана академиком, одним из создателей водородной бомбы и теории термоядерного синтеза, и вопрос о ее устойчивости был до того времени открыт. Все дело в том, что физики исследовали устойчивость традиционными спектральными методами, которые неприменимы для задач такого типа. В итоге данная работа по математике выиграла Всесоюзный конкурс студенческих научных работ в разделе «физика плазмы».

3. О том, как надо строить механические торговые системы.

Это многократно обсуждалось на трейдерских форумах и описывалось в многочисленных книгах и т.п. Мы все учились понемногу на книгах Компьютерный анализ фьючерсных рынков , Разработка, тестирование, оптимизация торговых систем, и многих других. Чему-нибудь, и как-нибудь…

Собственно говоря, способ построения торговых систем был задан еще в 1987 году с появлением популярной торговой платформы TradeStation, ставшей де-факто стандартом индустрии, и в кругу российских трейдеров известной как «Омега»⁵. Это способ растиражирован программами-аналогами разной степени навороченности – от простой MetaStock, до очень продвинутой MultiCharts, и мало у кого вызывает сомнения.

Напомним этот общепринятый алгоритм создания механической торговой системы. Он заключается в следующем.

Прежде всего, временной ряд цен для выбранного торгуемого актива на выбранном таймфрейме загружается в торговую платформу и отображается в виде графика цен.

Далее, выбирается торговый метод и его формализация при помощи индикаторов теханализа. Что любопытно, при их выборе люди склонны руководствоваться принципом «зачем делать просто, когда можно сделать сложно». Например, широкую известность среди российских трейдеров получила торговая система, основанная на «индикаторе динамического ценового канала»⁶, опубликованном в одном из выпусков почившего в бозе русскоязычного журнала «Современный трейдинг». Примечательно, что в том же выпуске журнала независимо был приведен тот же самый метод под названием «простейшая торговая система». Он содержал один параметр вместо трех у «динамического ценового канала» и программный код на EasyLanguage в три раза короче предыдущего. Но что может быть интересного в простейшей торговой системе!

Что касается методов, то в лучшем случае они базируются на торговых идеях из нескольких работающих методов теханализа. Или на контр-идеях. Например, эксплуатировать дисциплинированное закрытие убыточных позиций поклонниками торговли трендов⁷. Но, похоже, большинство торговых систем есть просто результат скрещивания скользящих средних с осцилляторами и т.п.

Далее, параметры индикаторов оптимизируются на участке ряда данных in sample, как правило, простым перебором. Результаты оптимизации оцениваются по критериям Net Profit, Profit Factor и т.п., и выбираются наилучшие значения параметров. Считается, что график значений критерия оптимизации как функции от параметров у надежной торговой системы должен иметь некое подобие плато в области оптимальных значений параметров. Затем, система с оптимальными параметрами тестируется на участке ряда данных out of sample. Если результаты тестирования мало отличаются от результатов на участке in sample, то считается, что найдена некоторая устойчивая закономерность в ценах, которая гипотетически будет сохраняться в будущем. Механическая торговая система при этом представляет собой набор из нескольких логических правил с параметрами, описывающих эту закономерность. В точках на графике, где эти правила выполняются, система генерирует сигналы на совершение сделок – открытие или закрытие позиций.

Следует отметить, что результаты тестирования существенно зависят от выбора участков in sample и out of sample. Например, если на участке данных out of sample для метода, эксплуатирующего тренды, преобладает ненаправленное движение, то результаты тестирования на нем будут заведомо хуже, чем на участке оптимизации. Это может повлечь за собой то, что хорошая система будет отвергнута.

Если результат тестирования не удовлетворителен, то возвращаемся в начало алгоритма, меняются индикаторы и процедура исполняется заново.

Большинство останавливается на этом, ограничившись нахождением правил для открытия и закрытия позиций. Меньшинство идут дальше, решая задачу об оптимальном определении размера позиции, т.е. сколько купить или продать по каждому сигналу торговой системы.

И уже совсем мало кто доходит до решения отдельно стоящей задачи распределения капитала по активам и торговым системам.

4. Человек думает, компьютер пашет.

Эффективность данного процесса можно многократно повысить, используя вместо случайного поиска методом проб и ошибок целенаправленный поиск, в частности, при помощи генетических алгоритмов. Для этого задаются критерий оптимизации любой сложности и с любыми ограничениями, или даже одновременно несколько независимых критериев, и пространство поиска, состоящее из

1. допустимого набора входных данных – индикаторов и т.п., из которых можно гипотетически сгенерировать торговую систему;

2. допустимого набора значений параметров;

3. допустимого набора элементарных логических правил, способов комбинации индикаторов и т.п.

В данном случае задача сводится к тому, чтобы выбрать разумные альтернативы для возможных торговых систем и хороший критерий оптимизации.

Несмотря на эффективность такого применения генетических алгоритмов, ничего принципиально нового в идеологию построения торговых систем это не приносит.

5. И снова метод «белой вороны».

Теперь посмотрим на задачу построения механической торговой системы с точки зрения вышеупомянутого студента. В нашем случае это означает выйти за рамки метастоков, профит-факторов и всего вышеупомянутого, чтобы увидеть целостную картину ситуации и отсечь лишние сущности. Мы знаем конечную цель. Мы хотим получить экспоненциальный, без значительных просадок, рост капитала. Все остальное несущественно.

Каким образом мы можем воздействовать на капитал, чтобы достичь этой цели? Единственно, покупкой или продажей тех или иных активов, что мы, в принципе, можем делать на каждом шаге. Регулировать изменение капитала мы можем, изменяя в любой момент времени leverage – «плечо». Положительное «плечо» означает нетто-лонг позицию, отрицательное – нетто-шорт, нулевое – деньги.

Приращение капитала на каждом шаге по времени описывается уравнением

dEquity(t) = leverage(t) * dPrice(t) – Slippage&Comission(t),

где

dEquity(t) = Equity(t+1) / Equity(t) – 1

dPrice(t) = Price(t+1) / Price(t) – 1.

Здесь leverage и dPrice в общем случае векторы⁸, «*» означает скалярное произведение векторов, Slippage&Comission означает проскальзывание и комиссию.

Ограничением на управление является максимальное плечо. Ограничения на состояние – это недопустимость маржин-колла, максимально допустимый дроудаун, и т.п. В качестве целевой функции можно, в частности, выбрать т.н. терминальную функцию

Equity(T)  max,

т.е. максимизировать прирост капитала за отчетный период. В итоге мы получаем обыкновенную задачу оптимального управления, где управляемый объект, или состояние – это капитал, а управление – изменение «плеча».

Понятия «входы», «выходы», «стоп-лоссы», «тейк-профиты» и т.п. как таковые в данном контексте попросту отсутствуют. Здесь нет прибыльных или убыточных сделок, как нет и самих сделок. Есть только положительный либо отрицательный прирост капитала. Тем самым, мы упрощаем задачу, убирая все лишние переменные.

Как известно, правильная постановка задачи – половина ее решения. Остается решить вторую половину – собственно, саму задачу. С чего начать?

Во-первых, у нас нет модели изменения цен dPrice. Во-вторых, даже если у нас есть адекватная модель изменения цен dPrice, найти оптимальное управление – сама по себе нетривиальная задача, имеющая эффективные алгоритмы решения только в некоторых частных случаях.

Но, в-третьих, стоит заметить, что раздельное решение задачи идентификации и задачи оптимального управления теоретически обосновано только для линейных систем с квадратичной целевой функцией. То есть идентификацию и управление можно искать одновременно.

Иными словами, решив задачу оптимального управления, мы за один шаг проскочим все необходимые этапы построения механической торговой системы, а именно, получим торговую модель, оптимальное управление капиталом и оптимальный портфель. При этом, как в случае с нашим студентом, результаты обещают быть качественно отличными от тех, которые могут быть получены общепринятыми методами.

Что самое интересное, и при решении этой сложной задачи метод «белой вороны» тоже может быть очень полезен.

1 contrarian 1) "белая ворона" 2) противоположный инвестор (инвестор, действующий вопреки тенденциям рынка; это выражается в таких действиях, как покупка акций, падавших в цене в последнее время, или продажа акций, цена которых возрастала) – Lingvo FinancialMarkets

2 Будучи психологом, а не экономистом.

3 Рациональные инвесторы при равном риске выбирают больший доход, а при равном доходе меньший риск.

4 Строгалев, верни, наконец, книгу! 

5 которая уже 6 лет не Omega Research, а TradeStation Group Inc.

6 Google выдал 26000 ссылок на «индикатор динамического ценового канала».

7 Linda Raschke называет этот метод «Черепаховый суп», см. Биржевые секреты.

8 Одномерный вектор означает торговлю одним активом, многомерный – портфелем активов.